Skip to main content

Skrape

TL;DR

Scrape er et begrep som representerer utvinning av data fra et nettsted. Denne jobben utføres av en kode som kalles "skraper". Dataene kan representeres av tekst, bilder, videoer, kontaktinformasjon eller produktartikler.

Om Scrape

Scrape, også kalt web-skraping eller nettdatautvinning er teknikken for å hente store mengder data fra et nettsted. Denne prosessen etterfølges av lagring av data på en datamaskin eller i en database i tabellformat.

Selv skraping kan gjøres manuelt, vanligvis brukes automatiserte verktøy når du skraper nettdata fordi det er en raskere og mindre kostbar prosess.

Nettskraping er i hovedsak en form for datautvinning. Elementer som værmeldinger, markedspriser eller en hvilken som helst annen liste over innsamlede data kan finnes i nettskraping.

Når brukes skraping?

Vanligvis brukes nettskraping når søkemotorroboter gjennomsøker et nettsted for å analysere det eller rangere det, når prissammenligninger distribuerer roboter eller når markedsundersøkelsesselskaper bruker skrapere for å hente data fra fora.

Hvordan virker det?

All jobben utføres av en skraper, som er et stykke kode.

I det første trinnet sender den en "get"-kodeforespørsel til nettstedet den ønsker å bli skrapet. Den kan konfigureres til å fungere med hvilken som helst nettside, eller den kan bygges for en bestemt nettside.

Deretter vil programvare for nettskraping automatisk laste inn og trekke ut data fra flere sider med nettsteder basert på kravet.

Etter dette definerer den et HTML-dokument basert på resultatene av spørringen.

I det siste trinnet søkes de forespurte dataene i dokumentet av skraperne og resultatene konverteres i et dokument spesifisert av brukeren tidligere. Med et enkelt klikk på en knapp kan dataene som er tilgjengelige på nettstedet enkelt lagres.