Skrapa

TL;DR

Scrape är en term som står för utvinning av data från en webbplats. Detta arbete utförs av en kod som kallas "scraper". Uppgifterna kan representeras av text, foton, videor, kontaktinformation eller produktartiklar.

Om Scrape

Scrape, även kallat web scraping eller web dataextraktion, är en teknik för att hämta stora mängder data från en webbplats. Denna process följs av att data sparas på en dator eller i en databas i tabellformat.

Även om skrapningen kan göras manuellt används vanligtvis automatiserade verktyg vid skrapning av webbdata eftersom det är en snabbare och mindre kostsam process.

Webbskrapning är i huvudsak en form av datautvinning. Poster som väderrapporter, marknadspriser eller någon annan lista med insamlade data kan hittas i webbskrapningsförsök.

När används skrapning?

Vanligtvis används webbskrapning när sökmotorrobotar kryper en webbplats för att analysera den eller rangordna den, när prisjämförelser som distribuerar robotar görs eller när marknadsundersökningsföretag använder skrapor för att hämta data från forum.

Hur fungerar det?

Allt arbete utförs av en skrapare, som är en bit kod.

I det första steget skickar den en "get"-kodförfrågan till den webbplats som den vill skrapa. Den kan konfigureras så att den fungerar med vilken webbplats som helst, eller så kan den byggas för en specifik webbplats.

Därefter laddar och extraherar programvaran för webbskrapning automatiskt data från flera sidor på webbplatser baserat på kravet.

Därefter definierar den ett HTML-dokument baserat på resultaten av förfrågan.

I det sista steget söks de begärda uppgifterna i dokumentet av skraparna och resultaten omvandlas till ett dokument som användaren har angett i förväg. Med ett enkelt klick på en knapp kan de uppgifter som finns på webbplatsen enkelt sparas.