Scraper tretirajte kao produkcioni softver

Prva verzija scrapera je uvek skripta: otvori URL, uzmi CSS selektor, baci JSON. Ta verzija je korisna za spike. To nije sistem koji možete da ostavite na rasporedu i kome da verujete u ponedeljak ujutru.

Python automatizaciju tretiramo isto kao web aplikaciju. Tipizirani ulazi, jasni načini da padne, logovi bez ličnih podataka i putanja deploy-a koja nije "pokreni na mom računaru." Ako posao meri, dobija isti CI i monitoring prag kao sve ostalo što isporučujemo.

Selektor će se slomiti. Dizajnirajte za to.

Sajtovi se redizajniraju. Imena klasa se menjaju. Anti-bot stranica stigne u utorak. Produkcioni scraper pretpostavlja da će se DOM promeniti i pada na način koji čovek može da dijagnostikuje: koji korak je umro, koji selektor je promašio, koji status kod se vratio. Tihi prazni fajlovi su gori od glasne greške.

• Retry sa backoff-om na timeout i 5xx. 404 ne retry-ujte kao da će se stranica vratiti.
• Beležite metrike run-a: upisani redovi, trajanje, razlozi preskakanja. Dashboard koji nikad ne otvorite i dalje pobeđuje print.
• Držite ugovor za šemu izlaza. Downstream poslovi ne treba da parsiraju šta je HTML danas osetio.

Poštujte javni web od kog zavisite

Javni podaci nisu slobodna zona. Poštujte robots.txt, sami se rate-limit-ujte, keširajte kad izvoru ne treba live pogodak, i čuvajte samo ono što posao zahteva. Ako sajt nudi API, koristite ga. Scraping je poslednja opcija za izvore bez podržanog interfejsa, ne prečica oko jednog.

Isporučite ga kao servis

Koristan scraper ima raspored, vlasnika i alarm kad prestane da proizvodi. Radi u okruženju koje možete da ponovo podignete. Tajne ostaju u environmentu, ne u repou. Izlaz ide u skladište koje ostatak steka može da čita. To je razlika između vikend skripte i automatizacije na koju biznis može da se osloni.