Google Search Console’da “Keşfedildi – şu anda dizine eklenmedi” uyarısını sık görüyorsanız, sorun her zaman içerik kalitesi değildir. Çoğu zaman mesele, arama motorlarının sitenizi nasıl taradığıdır. Tam da bu noktada robots.txt ve sitemap optimizasyonu, teknik SEO’nun arka planda en çok sonuç üreten ama en sık ihmal edilen alanlarından biri haline gelir.
Özellikle hizmet satan, lead toplayan ya da sağlık turizmi gibi rekabeti yüksek dikeylerde çalışan web sitelerinde tarama verimliliği doğrudan görünürlüğü etkiler. Çünkü arama motoru botları sınırsız zaman ayırmaz. Hangi sayfaları tarayacağını, hangilerini geçeceğini ve hangi URL’leri dizine almaya değer bulacağını büyük ölçüde sizin teknik kurgu belirler.
robots.txt ve sitemap optimizasyonu neden kritik?
Robots.txt dosyası, arama motoru botlarına sitenizin hangi alanlarına girip girmemesi gerektiğini söyler. XML sitemap ise hangi URL’lerin önemli olduğunu işaret eder. Biri erişim kontrolü, diğeri öncelik sinyali verir. İkisi birlikte çalıştığında arama motoru uyumlu altyapı güçlenir, tarama bütçesi daha verimli kullanılır ve indeksleme süreci daha tutarlı ilerler.
Ancak burada kritik bir detay var. Robots.txt bir sayfayı dizinden çıkarmak için değil, taramayı yönlendirmek için kullanılır. Sitemap de her URL’yi dizine sokan sihirli bir dosya değildir. Yani bu iki yapı, yanlış beklentiyle değil doğru görev tanımıyla ele alınmalıdır.
KOBİ’ler, klinikler ve çok dilli hizmet siteleri için bu konu daha da önemlidir. Çünkü bu tip projelerde filtreli URL’ler, medya dosyaları, kampanya sayfaları, test ortamları ve farklı dil versiyonları kolayca kontrol dışına çıkabilir. Sonuç olarak botlar değerli sayfalara gitmeden önce düşük değerli sayfalarda zaman harcar.
Robots.txt dosyasında en sık yapılan hatalar
En yaygın hata, robots.txt dosyasını “gizleme aracı” gibi kullanmaktır. Örneğin bazı siteler admin dışındaki pek çok klasörü topluca engellerken CSS, JavaScript veya görsel kaynaklarını da yanlışlıkla kapatır. Bu durumda Google sayfayı tam render edemez. Mobil uyumluluk, sayfa düzeni ve içerik algısı bozulabilir.
Bir diğer hata, noindex etkisi beklemektir. Robots.txt ile engellenen bir URL, dış bağlantılar veya eski sinyaller nedeniyle yine de dizinde görünebilir. Sadece içerik tam taranamadığı için arama sonucunda zayıf bir görünüm oluşur. Bu da marka kontrolü açısından istenmeyen bir tablo yaratır.
Test ortamının unutulması da ciddi bir risktir. Staging alanı açık kalırsa kopya içerik sinyalleri oluşabilir. Özellikle çok dilli yapılarda aynı şablonun farklı alt dizinlerde çoğalması, indeks kalitesini aşağı çekebilir.
robots.txt dosyasında ne engellenmeli?
Bu sorunun tek bir cevabı yok. E-ticaret, kurumsal hizmet sitesi, sağlık turizmi landing page yapısı ya da blog altyapısı farklı ihtiyaçlar doğurur. Yine de genel yaklaşım nettir: Arama sonucunda görünmesi gerekmeyen, kullanıcıya organik giriş kazandırmayacak ve tarama maliyeti oluşturan alanlar kontrol altına alınmalıdır.
Örneğin dahili arama sonuçları, parametreli çoğaltılmış URL’ler, sepet veya üyelik adımları, bazı sistem klasörleri ve test sayfaları çoğu projede öncelikli adaydır. Buna karşılık hizmet sayfaları, doktor profilleri, lokasyon sayfaları, blog içerikleri ve dönüşüm odaklı ana landing page’ler botlar için açık kalmalıdır.
Sitemap tarafında asıl mesele dosya üretmek değil, doğru URL seçmektir
Birçok CMS sitemap dosyasını otomatik üretir. Fakat otomatik üretim, iyi optimizasyon anlamına gelmez. Sıklıkla noindex sayfalar, canonical olarak başka sayfayı işaret eden URL’ler, yönlendirmeli adresler ya da ince içerikli arşiv sayfaları da sitemape girer. Bu da arama motoruna karışık sinyal verir.
İyi bir XML sitemap temiz olmalıdır. İçinde sadece 200 durum kodu veren, canonical olarak kendisini işaret eden, indekslenmesi istenen ve gerçekten değer taşıyan URL’ler yer almalıdır. Başka bir ifadeyle sitemap, sitenin tüm envanteri değil, dizine alınmasını istediğiniz seçilmiş sayfaların listesidir.
Bu yaklaşım özellikle sağlık sektörü projelerinde fark yaratır. Doktor, tedavi, şehir, ülke ve dil bazlı sayfa kurguları çoğaldıkça URL sayısı artar. Eğer sitemap bu yapıyı kontrollü sunmazsa, botlar önceliklendirmeyi yanlış yapabilir. Sonuç olarak ticari değeri yüksek sayfalar geç indekslenir.
İyi bir sitemap kurgusu nasıl olmalı?
Öncelikle sitemap segmentlere ayrılabilir. Sayfalar, blog yazıları, görseller ve çok dilli varyasyonlar ayrı dosyalarda tutulduğunda takip kolaylaşır. Büyük sitelerde bu yöntem raporlama ve hata ayıklama açısından ciddi avantaj sağlar.
İkinci olarak sadece güncel URL’ler yer almalıdır. Silinmiş, yönlendirilmiş veya geçici kampanya için açılmış ama artık aktif olmayan sayfalar sitemape girmemelidir. Search Console raporlarında sık görülen “Gönderildi ancak dizine eklenmedi” sorunlarının bir kısmı doğrudan buradan çıkar.
Üçüncü nokta, hreflang ve canonical yapısıyla uyumdur. Çok dilli projelerde TR, EN, DE veya AR sürümleri varsa, sitemap mantığı da bu kurguya paralel gitmelidir. Dil sayfaları birbirini desteklemeli, birbirini çoğaltmamalıdır.
robots.txt ve sitemap optimizasyonu birlikte nasıl ele alınmalı?
Burada en doğru yaklaşım, bu iki dosyayı ayrı görevleri olan ama aynı SEO stratejisine hizmet eden parçalar olarak yönetmektir. Robots.txt ile düşük değerli alanları tarama açısından sınırlandırırsınız. Sitemap ile yüksek değerli alanları öne çıkarırsınız. Yani biri filtreler, diğeri odak oluşturur.
Fakat çelişki oluşmamalıdır. Robots.txt ile engellediğiniz bir URL’yi sitemap içine eklemek kötü bir sinyaldir. Aynı şekilde noindex verdiğiniz sayfaları sitemap içinde tutmak da kaliteyi düşürür. Teknik tarafta küçük görünen bu tutarsızlıklar, büyük sitelerde indeksleme verimsizliğine dönüşür.
Bu yüzden en sağlıklı yöntem şu sırayla ilerlemektir: önce URL envanteri çıkarılır, sonra indekslenmesi istenen sayfalar belirlenir, ardından robots.txt kuralları ve sitemap kapsamı buna göre netleştirilir. Son aşamada Search Console üzerinden doğrulama yapılarak raporlama ve sonuç takibi sürdürülür.
Hangi sitelerde etki daha hızlı görülür?
Yeni açılan küçük bir kurumsal sitede etkiler daha sınırlı olabilir. Çünkü URL sayısı azdır ve tarama karmaşası düşüktür. Buna karşılık yüzlerce sayfası olan hizmet sitelerinde, blog arşivi büyümüş markalarda, çok dilli yapılarda ve reklamla desteklenen landing page ekosistemlerinde sonuç daha net hissedilir.
Sağlık turizmi odaklı siteler bunun iyi bir örneğidir. Bir tedavi hizmeti için farklı ülkeler, farklı diller ve farklı uzmanlık alanları hedefleniyorsa teknik mimari çok hızlı büyür. Eğer robots.txt ve sitemap optimizasyonu baştan planlanmazsa, içerik üretimi artsa bile organik görünürlük aynı hızda yükselmez.
Uygulamada kontrol edilmesi gereken teknik sinyaller
İyi bir optimizasyon sadece dosya düzenlemekten ibaret değildir. Sunucu yanıt kodları, canonical etiketleri, noindex kullanımı, yönlendirme zincirleri ve iç link yapısı da tabloyu etkiler. Çünkü sitemap temiz olsa bile içeride 301 zinciri varsa ya da canonical başka URL’yi işaret ediyorsa botun karar süreci uzar.
Aynı şekilde robots.txt doğru yazılmış olsa bile sayfa şablonları zayıfsa, Core Web Vitals sorunları sürüyorsa veya iç bağlantılar yetersizse istenen sonuç gecikebilir. Teknik SEO’da tek bir dosya nadiren tek başına oyunu değiştirir. Etki genellikle doğru altyapı, temiz bilgi mimarisi ve düzenli performans optimizasyonu bir araya geldiğinde ortaya çıkar.
Bu nedenle biz bu alanı keşif ve yol haritası, teknik düzenleme, ardından raporlama ve sonuç takibi mantığıyla ele alıyoruz. Özellikle https://lqdesign.net üzerinden yürüttüğümüz projelerde Search Console, GA4, Tag Manager ve sayfa SEO kontrollerini aynı çerçevede değerlendirerek karar veriyoruz. Çünkü dosya bazlı düzenlemeler ancak ölçümle desteklendiğinde anlamlıdır.
Ne zaman profesyonel destek gerekir?
Eğer sitenizde indeksleme dalgalanması varsa, önemli sayfalar geç dizine giriyorsa, Search Console’da kapsam hataları artıyorsa veya çok dilli yapı nedeniyle URL yönetimi zorlaştıysa profesyonel destek almak zaman kazandırır. Özellikle geliştirici ekip, içerik ekibi ve pazarlama ekibi farklı yönlere çekiyorsa teknik SEO kararlarının merkezi bir planla yönetilmesi gerekir.
Çünkü robots.txt ve sitemap optimizasyonu küçük bir bakım işi gibi görünse de aslında organik büyümenin altyapı kararlarından biridir. Doğru kurgulandığında botlara daha net bir yol haritası verirsiniz. Bu da sadece indeks sayısını değil, değerli sayfaların görünürlük kazanma hızını da etkiler.
En iyi teknik yapı, en karmaşık olan değil en net olandır. Arama motoruna neyi tarayacağını, neyi önceliklendireceğini ve hangi sayfaların gerçekten iş değeri taşıdığını açıkça gösterebiliyorsanız, SEO performansı daha öngörülebilir hale gelir. Tam da bu yüzden küçük dosyalar bazen büyük büyüme farkları yaratır.
