Was ist Web Crawlers?
Dabei handelt es sich um Software-Bots, die automatisch Seiten im Internet durchsuchen und Daten aufzeichnen.
Definition
Sie bilden die Grundlage von Suchmaschinen. Indem sie den Links auf einer Seite folgen, springen sie zu anderen Seiten und indizieren alles, was sie sehen, wodurch eine riesige Datenbank entsteht. Man kann sie sich als digitale Entdecker vorstellen, die das Internet kartieren.
So funktioniert es
Sie starten mit einer bestimmten Startliste. Sie lesen die Texte, Bilder und Links auf der Seite, verarbeiten sie in ihren eigenen Datenbanken und bewegen sich dann weiter auf die neuen Links zu, die sie finden.
Wo es eingesetzt wird
Es wird bei der Suchmaschinenindizierung, Datenerfassungsprojekten und Preisvergleichsseiten verwendet.
Häufig verwechselt mit
Es kann mit Web Scraping verwechselt werden; Der Crawler crawlt das gesamte Netzwerk, während der Scraper Daten von einer bestimmten Seite abruft.
Häufige Fragen
Können sie jede Website besuchen?
Websitebesitzer können mit der Datei „robots.txt“ bestimmen, welche Teile Bots besuchen können und welche nicht.
Verwandte Begriffe
Diese Erklärung wurde für TreScout in einfacher Sprache verfasst und maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung. Wenn etwas falsch oder unvollständig wirkt, schreiben Sie an hello@trescout.com. Auf Türkisch lesen →