# Web Crawlers nedir?

**Kategori:** Veri & Altyapı  
**Son güncelleme:** 2026-08-31

İnternetteki sayfaları otomatik olarak gezip verileri kaydeden yazılım botlarıdır.

## Tanım
Arama motorlarının temelini oluştururlar. Bir sayfadaki bağlantıları takip ederek diğer sayfalara atlarlar ve gördükleri her şeyi indeksleyerek devasa bir veri tabanı oluştururlar. İnternetin haritasını çıkaran dijital gezginler olarak düşünülebilirler.

## Bir benzetmeyle
Bir kütüphanedeki tüm kitapları tek tek açıp içindeki bilgileri not eden ve sonra diğer kitaplara yönlendiren bir görevli gibidir.

## Nasıl çalışır?
Belirli bir başlangıç listesiyle başlarlar. Sayfadaki metinleri, görselleri ve linkleri okuyup kendi veri tabanlarına işlerler, ardından buldukları yeni linklere doğru ilerlemeye devam ederler.

## Nerede kullanılır?
Arama motoru indekslemede, veri toplama projelerinde ve fiyat karşılaştırma sitelerinde kullanılır.

## Sık karıştırılanlar
Web scraping ile karıştırılabilir; crawler tüm ağı gezer, scraper ise belirli bir sayfadan veri çeker.

## Sıkça sorulanlar

**Her siteyi gezebilirler mi?**  
Site sahipleri 'robots.txt' dosyası ile botların hangi kısımları gezip gezemeyeceğini belirleyebilir.

## İlgili terimler
- [Web Scraping](/dictionary/web-scraping/)
- [Data Pipeline](/dictionary/data-pipeline/)

---
Kaynak: TreScout Teknoloji Sözlüğü · https://trescout.com/dictionary/web-crawlers/
TreScout her gün GitHub, Hacker News ve HuggingFace trendlerini Türkçe özetler.