Web Crawlers nedir?
İnternetteki sayfaları otomatik olarak gezip verileri kaydeden yazılım botlarıdır.
Tanım
Arama motorlarının temelini oluştururlar. Bir sayfadaki bağlantıları takip ederek diğer sayfalara atlarlar ve gördükleri her şeyi indeksleyerek devasa bir veri tabanı oluştururlar. İnternetin haritasını çıkaran dijital gezginler olarak düşünülebilirler.
Nasıl çalışır?
Belirli bir başlangıç listesiyle başlarlar. Sayfadaki metinleri, görselleri ve linkleri okuyup kendi veri tabanlarına işlerler, ardından buldukları yeni linklere doğru ilerlemeye devam ederler.
Nerede kullanılır?
Arama motoru indekslemede, veri toplama projelerinde ve fiyat karşılaştırma sitelerinde kullanılır.
Sık karıştırılanlar
Web scraping ile karıştırılabilir; crawler tüm ağı gezer, scraper ise belirli bir sayfadan veri çeker.
Sorular ve yanıtlar
Her siteyi gezebilirler mi?
Site sahipleri 'robots.txt' dosyası ile botların hangi kısımları gezip gezemeyeceğini belirleyebilir.
İlgili terimler
Bu açıklama TreScout için yapay zekâ ile sade dille hazırlandı · yanlış ya da eksik gördüğünüz bir şey olursa hello@trescout.com. TreScout her gün GitHub, Hacker News ve Hugging Face'te öne çıkanları Türkçe özetler.