import re
import csv
from datetime import datetime

# Regex deseni (Apache Combined Log Format için)
APACHE_LOG_PATTERN = re.compile(
    r'(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - - \[(.*?)\s[+\-]\d{4}\] "(.*?)" (\d{3}) (\d+) "(.*?)" "(.*?)"'
)

def read_log_file_generator(filepath):
    """
    Belirtilen log dosyasını satır satır okuyan bir jeneratör.
    Büyük dosyalar için bellek verimliliği sağlar.
    """
    try:
        with open(filepath, 'r', encoding='utf-8', errors='ignore') as f:
            for line in f:
                yield line.strip()
    except FileNotFoundError:
        print(f"[HATA] Dosya bulunamadı: {filepath}")
        return
    except Exception as e:
        print(f"[HATA] Dosya okunurken bir sorun oluştu: {e}")
        return

def parse_apache_log_entry(log_line):
    """
    Bir Apache log satırını ayrıştırır ve bir sözlük döndürür.
    Eşleşme bulunamazsa None döner.
    """
    match = APACHE_LOG_PATTERN.match(log_line)
    if match:
        try:
            ip_address, timestamp_str, request, status_code_str, bytes_sent_str, referrer, user_agent = match.groups()

            # Tarih ve saat bilgisini datetime objesine dönüştür
            # Örnek: "10/Oct/2023:10:00:01"
            dt_obj = datetime.strptime(timestamp_str.split(' ')[0], "%d/%b/%Y:%H:%M:%S")

            return {
                "ip_address": ip_address,
                "timestamp": dt_obj.isoformat(), # ISO formatına dönüştürüyoruz
                "request_method": request.split(' ')[0] if request else "",
                "request_path": request.split(' ')[1] if len(request.split(' ')) > 1 else "",
                "http_version": request.split(' ')[2] if len(request.split(' ')) > 2 else "",
                "status_code": int(status_code_str),
                "bytes_sent": int(bytes_sent_str),
                "referrer": referrer,
                "user_agent": user_agent,
                "raw_log_line": log_line # Orijinal log satırını da tutmak faydalı olabilir
            }
        except (ValueError, IndexError) as e:
            print(f"[UYARI] Ayrıştırma veya dönüşüm hatası: {e} - Satır: {log_line}")
            return None
    return None

def main_parser(log_filepath, output_csv_filepath, filter_status_code_gte=None):
    """
    Log dosyasını okur, ayrıştırır, filtreler ve CSV'ye kaydeder.
    """
    parsed_entries = []
    processed_count = 0
    error_count = 0

    print(f"'{log_filepath}' dosyası işleniyor...")

    for line in read_log_file_generator(log_filepath):
        processed_count += 1
        parsed_data = parse_apache_log_entry(line)

        if parsed_data:
            if filter_status_code_gte is None or parsed_data["status_code"] >= filter_status_code_gte:
                parsed_entries.append(parsed_data)
        else:
            error_count += 1

    if parsed_entries:
        # CSV başlıkları için ilk öğenin anahtarlarını kullan
        fieldnames = list(parsed_entries[0].keys())

        try:
            with open(output_csv_filepath, 'w', newline='', encoding='utf-8') as csvfile:
                writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
                writer.writeheader()
                writer.writerows(parsed_entries)
            print(f"Başarıyla ayrıştırılan {len(parsed_entries)} kayıt '{output_csv_filepath}' adresine kaydedildi.")
        except IOError as e:
            print(f"[HATA] CSV dosyasına yazarken hata oluştu: {e}")
    else:
        print("Filtreleme kriterlerine uyan veya ayrıştırılabilecek kayıt bulunamadı.")

    print(f"Toplam işlenen satır: {processed_count}, Hata veren satır: {error_count}")
    print("Log ayrıştırma işlemi tamamlandı.")

# Betiği çalıştırma örneği (bu kısmı gerçek kullanımda yorumdan çıkarılmalıdır)
# if __name__ == "__main__":
#     # Örnek bir log dosyası oluşturun veya mevcut bir dosyayı kullanın
#     # test_log_content = """
#     # 127.0.0.1 - - [20/Nov/2023:10:00:01 +0300] "GET /index.html HTTP/1.1" 200 1234 "-" "Mozilla/5.0"
#     # 192.168.1.5 - - [20/Nov/2023:10:00:02 +0300] "POST /api/users HTTP/1.1" 201 56 "-" "Postman"
#     # 10.0.0.10 - - [20/Nov/2023:10:00:03 +0300] "GET /nonexistent HTTP/1.1" 404 345 "-" "curl/7.64.1"
#     # 172.16.0.1 - - [20/Nov/2023:10:00:04 +0300] "GET /admin HTTP/1.1" 401 223 "-" "Chrome"
#     # invalid log entry here
#     # 192.168.1.10 - - [20/Nov/2023:10:00:05 +0300] "GET /error.php HTTP/1.1" 500 1200 "-" "Firefox"
#     # """
#     # with open("sample_apache.log", "w") as f:
#     #     f.write(test_log_content.strip())
#
#     # main_parser("sample_apache.log", "parsed_errors.csv", filter_status_code_gte=400)
#     # main_parser("sample_apache.log", "all_access.csv") # Tüm logları kaydet

#!/bin/bash

LOG_FILE="syslog.log"
OUTPUT_FILE="filtered_errors.log"

echo "Hata logları filtreleniyor ve '$OUTPUT_FILE' dosyasına yazılıyor..."

# syslog dosyasındaki "error" veya "fail" kelimesini içeren satırları bul
# ve tarih, işlem ve mesajı ayıkla
grep -E "error|fail" "$LOG_FILE" | awk '{print $1, $2, $3, $5, $6, $7, $8, $9, $10, $11}' > "$OUTPUT_FILE"

echo "İşlem tamamlandı."
echo "Örnek kullanım (Bash):"
echo '  # son 100 satırda "Failed password" içeren logları göster'
echo '  tail -n 100 /var/log/auth.log | grep "Failed password"'
echo ''
echo '  # Belirli bir IP adresinden gelen Apache isteklerini say'
echo '  awk "$1 == \"192.168.1.1\" {count++} END {print count}" /var/log/apache2/access.log'