robots.txt

User-agent: *
Disallow: /admin/
Disallow: /private/
Crawl-delay: 10

robots.txt

User-agent: *

Disallow

Crawl-delay

• Python: Şüphesiz en popüler web kazıma dilidir. Zengin kütüphane ekosistemi, basit sözdizimi ve geniş topluluk desteği sayesinde yeni başlayanlardan deneyimli geliştiricilere kadar herkes için uygundur.
• Node.js: JavaScript tabanlı olduğu için web geliştiricileri için tanıdıktır. Eşzamansız (asynchronous) yapısı sayesinde yüksek performanslı kazıyıcılar oluşturmak mümkündür.
• Ruby: `Nokogiri` ve `Mechanize` gibi güçlü kütüphanelere sahiptir. Python kadar yaygın olmasa da oldukça yeteneklidir.
• PHP: Özellikle web tabanlı araçlar veya basit kazıma görevleri için kullanılabilir.

import requests

url = "https://www.example.com"
response = requests.get(url)
print(response.status_code) # HTTP durum kodu (200 başarılı)
print(response.text[:500])  # Sayfanın HTML içeriğinin ilk 500 karakteri

from bs4 import BeautifulSoup
import requests

url = "https://www.example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

# Başlık etiketini bulma
title = soup.find('title')
if title:
    print(f"Sayfa Başlığı: {title.text}")

# Belirli bir sınıf adına sahip tüm bağlantıları bulma
links = soup.find_all('a', class_='nav-link')
print("Navigasyon Bağlantıları:")
for link in links:
    print(f"- {link.text}: {link.get('href')}")

# Belirli bir ID'ye sahip bir div bulma
content_div = soup.find('div', id='main-content')
if content_div:
    print("\nAna İçerik Bölümü:")
    print(content_div.get_text(separator=' ', strip=True)[:200]) # İçeriğin ilk 200 karakteri

# Scrapy projesi oluşturma (komut satırı)
# scrapy startproject my_scraper
# cd my_scraper
# scrapy genspider my_spider example.com

# my_spider.py içeriği (örnek)
# import scrapy

# class MySpider(scrapy.Spider):
#     name = 'my_spider'
#     start_urls = ['http://quotes.toscrape.com/']

#     def parse(self, response):
#         for quote in response.css('div.quote'):
#             yield {
#                 'text': quote.css('span.text::text').get(),
#                 'author': quote.css('small.author::text').get(),
#                 'tags': quote.css('div.tags a.tag::text').getall(),
#             }

#         next_page = response.css('li.next a::attr(href)').get()
#         if next_page is not None:
#             yield response.follow(next_page, callback=self.parse)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# Chrome WebDriver'ı başlatma (WebDriver'ı PATH'inize eklediğinizden emin olun)
driver = webdriver.Chrome() # Ya da webdriver.Firefox()

url = "https://www.example.com/dynamic-content"
driver.get(url)

try:
    # Sayfadaki belirli bir elemanın yüklenmesini bekleme
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "dynamic-data"))
    )
    print(f"Dinamik İçerik: {element.text}")

    # Bir butona tıklama
    button = driver.find_element(By.CLASS_NAME, "load-more-button")
    button.click()

    # Tıklama sonrası yeni verilerin yüklenmesini bekleme
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "new-item"))
    )
    new_items = driver.find_elements(By.CLASS_NAME, "new-item")
    for item in new_items:
        print(f"Yeni Öğe: {item.text}")

except Exception as e:
    print(f"Hata oluştu: {e}")
finally:
    driver.quit() # Tarayıcıyı kapatma

Selenium, "headless" modda da çalıştırılabilir, yani tarayıcı arayüzü olmadan arka planda işlem yapabilir. Bu, sunucu ortamlarında veya görsel arayüze ihtiyaç duyulmayan durumlarda performans için önemlidir.

Genişletmek için tıkla ...

• robots.txt Kontrolü: Her zaman ilk adım olmalıdır. Sunucuyu yormamak ve yasal sorunlardan kaçınmak için bu dosyayı okuyun ve kurallarına uyun.
• İstekler Arası Gecikme (Crawl Delay): Sunucuya aşırı yük bindirmemek için ardışık istekler arasına bilerek bir gecikme (
  Kod:

  time.sleep()

  Python'da) ekleyin. Aksi takdirde IP adresiniz banlanabilir.
• Kullanıcı Aracısı (User-Agent): Varsayılan Python user-agent'ı yerine gerçek bir tarayıcı user-agent'ı kullanmak, bazı sitelerin bot tespiti mekanizmalarını atlatmaya yardımcı olabilir.
  
  Kod:

  headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
  }
  response = requests.get(url, headers=headers)

• Hata Yönetimi: Ağ hataları, HTTP durum kodları (404, 500), beklenmedik HTML yapısı gibi durumlara karşı betiklerinizi dirençli hale getirin (
  Kod:

  try-except

  blokları kullanın).
• Veri Saklama: Çektiğiniz verileri yapılandırılmış bir şekilde saklayın. CSV, JSON dosyaları veya bir veritabanı (SQLite, MySQL, PostgreSQL, MongoDB) yaygın seçeneklerdir.
  
  Kod:

  import json
  
  data = [
      {"başlık": "Makale 1", "yazar": "X"},
      {"başlık": "Makale 2", "yazar": "Y"}
  ]
  
  with open('output.json', 'w', encoding='utf-8') as f:
      json.dump(data, f, ensure_ascii=False, indent=4)

• IP Rotasyonu ve Proxy'ler: Büyük ölçekli kazımalarda IP adresinizin engellenmesini önlemek için proxy sunucuları veya IP rotasyon hizmetleri kullanmayı düşünebilirsiniz.
• CSS Seçiciler ve XPath: Veri çekmek için BeautifulSoup veya Scrapy ile CSS seçiciler (
  Kod:

  .class-name

  ,
  Kod:

  #id

  ,
  Kod:

  tag

  ) veya XPath (
  Kod:

  //div[@id='content']//a

  ) kullanmayı öğrenmek çok önemlidir. Bu seçiciler, HTML belgesi içindeki belirli elemanları hedeflemek için güçlü araçlardır.
• Yapısal Değişikliklere Adaptasyon: Web siteleri zamanla HTML yapılarını değiştirebilirler. Bu durumda betikleriniz bozulabilir. Betiklerinizi periyodik olarak kontrol edin ve sitenin yapısı değiştiğinde güncelleyin.
• İlerleme Kaydı (Logging): Betiğinizin ne yaptığını, hangi hatalarla karşılaştığını ve hangi verileri işlediğini kaydetmek için
  Kod:

  logging

  modülünü kullanın. Bu, sorun gidermeyi ve betiğin performansını izlemeyi kolaylaştırır.
• Paralel ve Dağıtılmış Kazıma: Çok büyük veri setleri için birden fazla betiği aynı anda çalıştırmak veya farklı makinelerde dağıtılmış kazıma yapmak performansı artırabilir. Ancak bu, sunucular üzerindeki yükü de artıracağı için robot.txt ve sunucu politikalarına daha sıkı uyulmasını gerektirir.
• Başarısız İstekleri Yeniden Dene: Geçici ağ sorunları veya sunucu tarafı kısıtlamalar nedeniyle bir istek başarısız olabilir. Bu durumda, betiğinizin belirli bir gecikmeyle isteği birkaç kez yeniden denemesini sağlamak, betiğin daha sağlam olmasını sağlar.

• Pazar Araştırması: Rakip fiyatlarını, ürün özelliklerini ve müşteri yorumlarını toplama.
• Gayrimenkul Analizi: Emlak sitelerinden ilan verilerini çekerek pazar eğilimlerini belirleme.
• Haber ve İçerik Toplama: Belirli konularda sürekli güncellenen haberleri veya makaleleri otomatik olarak alma.
• Akademik Araştırma: Bilimsel makalelerin özetlerini, anahtar kelimelerini veya atıflarını toplama.
• Sosyal Medya Analizi: Kamu açık profillerden veya paylaşımlardan veri toplayarak trendleri ve kamuoyu görüşlerini anlama.
• SEO Analizi: Web sitelerinin arama motoru sıralamalarını, geri bağlantılarını ve anahtar kelime kullanımlarını izleme.
• Finansal Veri Çekme: Borsa verileri, döviz kurları, şirket bilançoları gibi halka açık finansal bilgileri toplama.

robots.txt