Web Crawlers nedir?
İnternetteki sayfaları otomatik olarak gezip verileri kaydeden yazılım botlarıdır.
Tanım
Arama motorlarının temelini oluştururlar. Bir sayfadaki bağlantıları takip ederek diğer sayfalara atlarlar ve gördükleri her şeyi indeksleyerek devasa bir veri tabanı oluştururlar. İnternetin haritasını çıkaran dijital gezginler olarak düşünülebilirler.
Nasıl çalışır?
Belirli bir başlangıç listesiyle başlarlar. Sayfadaki metinleri, görselleri ve linkleri okuyup kendi veri tabanlarına işlerler, ardından buldukları yeni linklere doğru ilerlemeye devam ederler.
Nerede kullanılır?
Arama motoru indekslemede, veri toplama projelerinde ve fiyat karşılaştırma sitelerinde kullanılır.
Sık karıştırılanlar
Web scraping ile karıştırılabilir; crawler tüm ağı gezer, scraper ise belirli bir sayfadan veri çeker.
Sıkça sorulanlar
Her siteyi gezebilirler mi?
Site sahipleri 'robots.txt' dosyası ile botların hangi kısımları gezip gezemeyeceğini belirleyebilir.
İlgili terimler
Bu açıklama TreScout için sade dille hazırlandı · yanlış ya da eksik gördüğünüz bir şey olursa hello@trescout.com. TreScout her gün GitHub, Hacker News ve HuggingFace trendlerini Türkçe özetler.