Skip to main content

Schrapen

TL;DR

Scrape is een term die staat voor het extraheren van gegevens van een website. Deze taak wordt uitgevoerd door een code die "scraper" wordt genoemd. De gegevens kunnen worden weergegeven door tekst, foto's, video's, contactinformatie of product items.

Over Scrape

Scrapen, ook wel web scraping of web data extractie genoemd, is de techniek om grote hoeveelheden gegevens van een website te halen. Dit proces wordt gevolgd door het opslaan van gegevens op een computer of in een database in een tabelformaat.

Zelfs het schrapen kan manueel gebeuren, meestal worden geautomatiseerde tools gebruikt bij het schrapen van webgegevens omdat het een sneller en minder duur proces is.

Web scraping is in wezen een vorm van data-extractie. Items zoals weerberichten, marktprijzen, of elke andere lijst van verzamelde gegevens kan worden gevonden in web scraping inspanningen.

Wanneer wordt scrape gebruikt?

Meestal wordt web scraping gebruikt wanneer bots van zoekmachines een site crawlen om deze te analyseren of te rangschikken, wanneer bots prijsvergelijkingen inzetten of wanneer marktonderzoeksbedrijven scrapers gebruiken om gegevens van forums te halen.

Hoe werkt het?

Al het werk wordt uitgevoerd door een scraper, dat is een stukje code.

In de eerste stap stuurt het een "get"-code query naar de website die het wil schrapen. De scraper kan worden geconfigureerd om met elke website te werken, of hij kan worden gebouwd voor een specifieke website.

Vervolgens zal de web scraping software automatisch gegevens laden en extraheren van meerdere pagina's van websites op basis van de vereiste.

Daarna definieert het een HTML-document op basis van de resultaten van de query.

In de laatste stap worden de gevraagde gegevens door de scrapers in het document gezocht en worden de resultaten omgezet in een document dat vooraf door de gebruiker is gespecificeerd. Met een eenvoudige klik op een knop kunnen de op de website beschikbare gegevens gemakkelijk worden opgeslagen.