Smart Crawl

Smart Crawl (Akıllı Site Gezinme ve Keşif) https://github.com/pixlie/SmartCrawler​

Smart Crawl, hedef web uygulamasını statik bir URL listesi gibi değil, gerçek bir kullanıcı davranışı gibi otomatik olarak gezerek analiz eden bir keşif mekanizmasıdır.
Sayfalar arası linkleri takip eder
GET ve POST parametrelerini otomatik keşfeder
HTML formlarını (input, textarea, select, hidden alanlar) analiz eder
Dinamik olarak üretilen endpoint’leri ortaya çıkarır
Smart Crawl’un temel farkı şudur:
Uygulamayı tek bir URL üzerinden değil, bütünsel bir yapı olarak ele alır.

Neden Önemlidir?​

Gerçek hayatta LFI / RFI gibi zafiyetler çoğu zaman:

• Ana sayfada değil
• Derin dizinlerde
• Sadece form submit sonrası oluşan endpoint’lerde
• Kullanıcıdan parametre alan sayfalarda bulunur.
• Test yalnızca görünen yüzeyle sınırlı kalmaz, uygulamanın gerçek attack surface’i ortaya çıkarılır.

Advanced LFI Payloads (Gelişmiş Local File Inclusion Analizi)
Bu modül, uygulamanın sunucu üzerindeki yerel dosyaları yanlış yapılandırma veya hatalı input doğrulaması nedeniyle açığa çıkarıp çıkarmadığını davranış bazlı olarak analiz eder.

• Dosya yolunu parametre olarak alan endpoint’leri hedefler
• İşletim sistemi farkındalığı gösterir (Linux / Windows)
• Dosya işleme davranışını response üzerinden değerlendirir
• Hata, uzunluk ve içerik farklarını ölçer
• Tek bir deneme ile karar vermez
• Farklı path işleme senaryolarını analiz eder
• False positive üretmemeye odaklanır

RFI Payloads (Remote File Inclusion Davranış Analizi)

• Uygulamanın remote include yeteneği
• Farklı protokollere karşı teorik davranış
• Hangi parametrelerin “remote source” kabul ettiğine dair sinyaller
• Bu analiz, uygulamanın uzaktan içerik çekmeye açık olup olmadığını yanlış yapılandırılmış include mekanizması bulunup bulunmadığını anlamaya yöneliktir.

Bypass Analizi (Filtre Davranışı Testi)
Birçok uygulama basit filtrelerle korunmaya çalışılır:

• Belirli karakterler engellenir
• Bazı ifadeler blacklist’e alınır
• Wrapper Bypass analizi, bu filtrelerin gerçekten işe yarayıp yaramadığını test eder.