Robots.txt Dosyası Nedir ve Nasıl Oluşturulur?

Bu İçeriği Yapay Zekâ (AI) ile Özetleyin:

Robots.txt dosyası, web sitenizde arama motoru tarayıcılarının (botların) hangi sayfalara erişebileceğini belirleyen basit bir metin dosyasıdır. 1990’lardan beri kullanılan bu standart, web yöneticilerinin tarama trafiğini kontrol etmesine ve gereksiz sayfaları arama motorlarına gizlemesine olanak tanır. Bu yazıda robots.txt’in temellerinden ileri düzey kullanımına, SEO açısından faydalarına ve en iyi uygulamalar ile yaygın hatalara kadar her ayrıntıyı ele alacağız. İçerik boyunca örnek kodlar, ipuçları ve güvenilir kaynaklar kullanılacak; böylece konu hakkında eksiksiz bir bilgi sahibi olacaksınız.

Robots.txt Nedir?

Robots.txt dosyası, web sitenizin kök dizininde barındırılan ve arama motoru botlarına hangi URL’leri tarayıp taramayacaklarını bildiren bir metin dosyasıdır. Bir robots.txt dosyası mutlaka sitenin ana dizininde (örneğin https://www.orneksite.com/robots.txt) yer almalı ve dosya adı tam olarak robots.txt olmalıdır.

Büyük/küçük harf duyarlıdır: Robots.txt veya ROBOTS.TXT şeklinde yanlış adlandırmak arama motorlarının dosyayı bulmasını engeller. Eğer robots.txt dosyası sunucuda bulunamazsa, arama motorları siteyi tamamen tarar; başka bir deyişle hiç kural yokmuş gibi davranılır. Bu dosya arasında boş bırakılmış veya hiç kural içermeyen basit bir metin bile tüm botlara “dilediğiniz gibi tarayın” mesajı vermek için yeterlidir.

Robots.txt, arama motorlarına zorunlu bir kural listesi değil, bir dizi yönlendirme sunar. Tüm büyük arama motorları robots.txt’e uymaya çalışsa da, onlar da bir nevi nezaket kuralı olarak kabul eder: istediği takdirde tarama kurallarını göz ardı edebilir. Örneğin Google, başka sitelerden gelen bağlantılar nedeniyle engellenmiş sayfaları yine de dizine ekleyebilir. Bu nedenle bir sayfanın kesinlikle arama sonuçlarında çıkmaması için noindex meta etiketi gibi ayrı yöntemler kullanmak gerekir. Yine de robots.txt, geniş web site yapılarında tarayıcı trafiğini yönetmek, gereksiz sayfaların rastgele taranmasını önlemek ve SEO performansını yükseltmek için çok güçlü bir araçtır.

Robots.txt ile Meta Robots Etiketi Arasındaki Fark Nedir?

Daha önce belirttiğim gibi, robots dışlama protokolü (robots exclusion protocol) aynı zamanda sayfanın HTML koduna eklenen “meta robots etiketlerini” de kapsar. Bu etiketler, belirli web sayfalarında arama motoru tarayıcılarına talimat verir. Böylece tarayıcıların ya tüm sayfaya ya da sayfa içindeki belirli dosyalara (örneğin fotoğraf veya videolar) erişmesini engelleyebilirsiniz.

Buna karşılık, robots.txt dosyaları bir web sitesinin tamamında veya belirli bölümlerinde (örneğin yalnızca dahili kullanım için tasarlanmış bir alt dizin) taramayı kısıtlamak amacıyla kullanılır. Robots.txt dosyası tekil sayfalara değil, sitenizin kök dizinine yerleştirilir ve içindeki yönergeler, belirtilen dizin veya alt dizinlerin tamamındaki tüm sayfaları etkiler.

Bir Web Sitesi Neden Robots.txt Dosyasına İhtiyaç Duyar?

Robots.txt dosyası, basit bir metin dosyası gibi görünse de SEO açısından son derece kritik bir rol oynar. Bu dosya olmadan, web tarayıcıları (crawler’lar) sitenizde buldukları her sayfayı tarar ve indeksler.

Peki bu neden önemli?

Öncelikle, bir sitenin tamamını taramak zaman ve kaynak tüketir. Google gibi arama motorları, bu tarama sürecini “crawl budget” adı verilen bir kavramla sınırlar. Crawl budget; sitenizin yanıt süresi, düşük değerli URL’lerin sayısı ve karşılaşılan hata oranları gibi teknik faktörlerden etkilenir. Yani tarama bütçeniz sınırlıdır ve her sayfa için harcanan kaynak, aslında daha değerli içeriklerinizden çalınan bir fırsat olabilir.

Ayrıca, tüm sayfaların serbestçe taranmasına izin verirseniz index bloat adı verilen bir sorunla karşılaşabilirsiniz. Index bloat, arama motorlarının önemsiz sayfaları da dizine eklemesi anlamına gelir. Bu da hem kullanıcı deneyimini olumsuz etkiler hem de asıl sıralamasını istediğiniz önemli sayfalarla rekabete girerek SEO performansınızı zayıflatır.

İşte bu yüzden robots.txt dosyanızı doğru şekilde oluşturmak veya mevcut dosyanızı düzenlemek, crawl budget israfını önler ve index bloat riskini azaltır. Böylece arama motorlarının enerjisi öncelikli içeriklerinize yönlendirilir ve siteniz arama sonuçlarında daha sağlıklı bir performans sergiler.

Robots.txt Dosyamı Nerede Bulabilirim?

Bir sitenizde robots.txt dosyası olup olmadığını öğrenmenin çok basit bir yolu var: İnternette URL’nize bakın.

Bunun için, sitenizin adresinin sonuna “/robots.txt” ekleyin. Örneğin:
ahmetabic.com/robots.txt adresine girdiğinizde, benim sitemin robots.txt dosyasını görebilirsiniz.

Aynısını kendi sitenizde deneyin:

Site URL’nizi yazın → www.orneksite.com/robots.txt

Çıkan sonuca göre üç olasılıktan biriyle karşılaşırsınız:

Birkaç satırlık bir metin: Bu, geçerli bir robots.txt dosyanız olduğu anlamına gelir.
Tamamen boş bir sayfa: Sitenizde aslında robots.txt dosyası yok demektir.
404 hata sayfası: Yine robots.txt bulunamadığını gösterir.

Eğer kendi sitenizde ikinci veya üçüncü senaryoyla karşılaşıyorsanız, arama motorlarının hangi sayfalara odaklanması gerektiğini daha iyi anlaması için acilen bir robots.txt dosyası oluşturmanız gerekir.

Temel Robots.txt Komutları Nelerdir?

Robots.txt dosyası, kullanıcı aracısı (user-agent) ve disallow (yasakla) direktifleri başta olmak üzere basit komutlarla çalışır. Aşağıdaki komutları öğrenerek robots.txt’in temellerini kavrayabilirsiniz:

➥ User-agent: Bu komut, kural setinin hangi tarayıcıya uygulandığını belirtir. Örneğin User-agent: * tüm tarayıcıları ifade eder. Özel bir bot için (örneğin Googlebot, Bingbot) o botun adını yazabilirsiniz.

➥ Disallow: Bu satır, belirtilen botun tarayamayacağı dizin veya URL’yi gösterir. Örnek: Disallow: /yonetim/ komutu, ilgili botun /yonetim/ klasörü altındaki sayfaları taramasını engeller. Eğer Disallow: komutu boş bırakılırsa (veya yazılmazsa), hiçbir URL engellenmez; tüm site taranabilir.

Örneğin tüm botlara izin vermek için:

User-agent: *
Disallow:

Bu ayarlar, tüm tarayıcıların sitenin tamamını tarayabileceği anlamına gelir.

➥ Allow (İzin Ver): Google ve Bing gibi arama motorları, robots.txt içinde “Allow” direktifini de kullanır. Bu direktif, bir dizini genel olarak yasaklar (Disallow) ancak belirli dosya veya alt dizinlere istisna tanımak için kullanılır.

Örneğin:

User-agent: *
Disallow: /
Allow: /onemli-dosya.html

Bu kurallar, tüm siteyi yasaklarken /onemli-dosya.html dosyasının taranmasına izin verir. Uzun örnekler yerine basit bir sözel anlatım yaparsak: “Tüm siteyi blokla ama önemli-dosya.html’i taramayı yeşille” demektir. Google ve Bing, iki komut arasında çelişki olduğunda daha uzun (spesifik) direktifi tercih edebilir; yani verdiğiniz kural ne kadar uzunsa, o kadar öncelikli kabul edilecektir.

➥ Sitemap: Robots.txt’e istenirse sitenizin XML site haritasının adresini de ekleyebilirsiniz.

Örneğin:

Sitemap: https://www.ahmetabic.com/sitemap_index.xml

Google ve Bing, XML site haritalarını doğrudan ilgili araçlar üzerinden eklemeyi önerse de, robots.txt dosyasının altında sitemap URL’si eklemek daima kabul gören bir standarttır. Zararı yoktur ve arama motoruna harita konumunu bildirmek faydalıdır.

➥ Joker karakterler (Wildcards): * ve $ jokerleri robots.txt içinde kullanılabilir. * herhangi bir karakter dizisini temsil ederken, $ URL’nin sonunu belirtir.

Örneğin:

User-agent: *
Disallow: /*.pdf$

Bu kural, sitenizdeki tüm .pdf uzantılı dosyaları engeller. Benzer şekilde User-agent: * satırıyla tüm botları hedefleyip, Disallow: /*/test/ gibi ifadelerle herhangi bir yerdeki “test” klasörünü de kapatabilirsiniz. Joker kullanımı, geniş kapsamlı kurallar yazarken işi kolaylaştırır.

➥ Yorum satırları: # işareti ile başlayan satırlar robots.txt içinde yorum olarak değerlendirilir. Gerekirse kodun yanına açıklama yazabilirsiniz; tarayıcılar bu satırları yoksayarlar.

Örnek:

# Bu kural Googlebot'u yönetim dizininden engellemek içindir
User-agent: Googlebot
Disallow: /yonetim/

➥ Dosya konumu ve erişim: Robots.txt dosyası sadece bulunduğu protokol ve alt alan (subdomain) için geçerlidir. Örneğin https://ornek.com/robots.txt dosyası https://www.ornek.com veya http://ornek.com için geçersizdir. Her alt alanın (subdomain) kendi robots.txt dosyasına sahip olması gerekir.

Ayrıca unutmayın ki bu dosya her tarayıcı tarafından herkese açık olarak görülebilir; gizli URL’leri burada belirtmek, kötü niyetliler için nereleri gizlediğinizi ilan etmek anlamına da gelebilir.

Bu temel komutları kullanarak, farklı tarayıcı grupları için ayrı kural setleri tanımlayabilir veya genel kurallar koyabilirsiniz. Örneğin birden fazla bot için aynı kuralı uygulamak isterseniz, birden fazla User-agent satırı altında disallow yapabilirsiniz:

User-agent: ExampleBot
User-agent: OtherBot
Disallow: /arama-sonuclari/

Bu yapı, hem ExampleBot hem de OtherBot’un /arama-sonuclari/ yolunu taramasını engeller. Bir başka örnek olarak, bir botun blog klasörünü tarayabilip drafts klasörünü taramasını engellemek isterseniz:

User-agent: *  
Allow: /blog/  
Disallow: /blog/drafts/

Yukarıdaki kurallar, tüm botların blog dizinine girmesine izin verir, ancak blog/drafts alt dizinindeki içerikleri taramasını engeller. Bu tür örneklerle robots.txt, çok basit veya oldukça karmaşık hâle gelebilen bir ailenin İsveç Çakısı gibidir.

Robots.txt’in SEO’ya Faydaları Nelerdir?

Doğru yapılandırılmış bir robots.txt dosyası, SEO stratejinizde önemli rollere sahiptir. İşte başlıca yararları ve dikkat edilecek noktalar:

Tarama (Crawl) Yönetimi: Robots.txt ile gereksiz veya özel sayfaların taranmasını engelleyebilir, web sitenizin tarama bütçesini (crawl budget) daha verimli kullanabilirsiniz. Arama motoru botları sınırlı sayıda sayfa taradığı için, gereksiz alanları kapatarak daha önemli içeriklerin daha hızlı taranmasını sağlayabilirsiniz.

Örneğin kullanıcı profilleri, admin panelleri veya geçici sayfalar genellikle gereksizdir ve robots.txt ile saklanabilir. Sonuçta botlar, önemli içeriklerinizi öne çıkararak SEO’ya olumlu katkı sağlayabilir.
Gizlilik ve Dizinleme: Robots.txt, tamamen görünmezlik sağlamaz; sadece taramayı sınırlar. Google, dış bağlantılarla erişilen sayfaları dizine ekleyebileceğini belirtiyor. Örneğin, engellediğiniz bir sayfaya başka sitelerden bağlantı verilmişse, Google bu sayfayı dizinde gösterebilir ancak içeriğini taramayacaktır.

Eğer bir sayfanın arama sonuçlarında kesinlikle görünmesini istemiyorsanız, “noindex” meta etiketi kullanmanız gereklidir.
Sitemap Bildirimi: Robots.txt’e site haritası eklemek, arama motorlarına sitenizdeki güncellemeleri daha kolay bulma imkanı sağlar. Google/Bing gibi araçlar ayrıca doğrudan site haritası ekleme yapsa da, robots.txt altında Sitemap: URL yazmak ek bir rehberlik sunar. Bu sayede yeni içeriklerinizin hızla indekslenme şansı artar.
Güvenilirlik ve Kalite Sinyali: Düzenli ve hatasız bir robots.txt dosyası, arama motorları için sitenizin profesyonelce yönetildiğinin bir göstergesidir. Örneğin Google Search Console’un robots.txt test aracı ile dosyanızı düzenli olarak kontrol etmek, hatalı komutlara bağlı büyük sorunları önler.

Ayrıca arama motorları, robots.txt’de belirtilen kuralları okuduklarında sitenize karşı daha güvenilir bir yaklaşım sergiler. Google ve Bing gibi büyük arama motorları, robots.txt direktiflerine büyük ölçüde uyduğu için (sadece bu desteklenen yönergeleri dikkate alır), yazdığınız kuralların doğru olması SEO’nuzun teminatıdır.
AI ve Yeni Botlar: Yapay zeka temelli tarayıcılar (örneğin OpenAI’nin GPTBot, Anthropic’in ClaudeBot, Amazon’un botları vb.) giderek popülerleşmektedir. Bu botlar, web içeriğini büyük dil modellerini eğitmek için tarar. Site sahipleri bu botları robots.txt’te belirterek sınırlandırabilir veya izin verebilir.

Örneğin User-agent: GPTBot ile başlayan kurallarla GPTBot’un erişim iznini yönetebilirsiniz. Bazı site sahipleri bu botları robots.txt ile bloke ederek (ör. Disallow: /) onların sonuçlarında yer almamak isterken, bazıları “AI botlarıyla sorun yok, geniş kitlelere ulaşmak önemli” görüşünde olabilir.

Çok az site robots.txt içerisinde AI botlarına özel kural eklemektedir; dolayısıyla pek çok yeni bot tarayıcısı için default olarak izin verilmiş sayılır. İhtiyaçlarınıza göre GPTBot, ClaudeBot vb. için özel kurallar koymayı düşünebilirsiniz (ör. Disallow: / veya sadece belirli klasörleri engellemek gibi).

Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt dosyası, arama motoru botlarının okuyup uygulayabileceği belirli komutlardan oluşur. Bu dosyayı hazırlarken sıkça kullanacağınız bazı terimler ve anlamları şunlardır:

User-Agent

User-agent, web içeriğini kullanıcıya getirmek ve sunmak için çalışan herhangi bir yazılımdır. Tarayıcılar, medya oynatıcılar veya eklentiler user-agent olarak değerlendirilebilir. Ancak robots.txt bağlamında user-agent, web sitenizi tarayıp dizine ekleyen arama motoru botlarını (örneğin Googlebot) ifade eder.

Allow

Robots.txt dosyasında “Allow” komutu, belirtilen sayfaların taranmasına izin verir.

Örneğin: Allow: / → Bu, tarayıcının kök dizin altındaki tüm sayfaları tarayabileceği anlamına gelir.
Ancak dikkat: Robots.txt’de “Disallow” ile engellenmemiş her sayfa zaten varsayılan olarak taranabilir. Bu yüzden Allow komutu genellikle, engellenmiş bir klasör içindeki belirli bir dosyaya istisna tanımak için kullanılır.
Örneğin WordPress sitelerinde /wp-admin/ klasörü genellikle engellenir. Ama AJAX isteklerinin çalışabilmesi için şu kural eklenir:

Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Disallow

Disallow komutu, belirli user-agent’ların ilgili klasör veya sayfayı taramasını yasaklar.

Örneğin: Disallow: /blog/ → Bu, /blog/ dizini altındaki hiçbir URL’nin taranmaması anlamına gelir.
Bu, tüm blogu arama motorlarından gizleyeceği için çok dikkatli kullanılmalıdır. Disallow direktifini eklemeden önce SEO etkilerini mutlaka değerlendirin.

Crawl-Delay

Resmî olarak Google tarafından desteklenmeyen bir komut olsa da, bazı arama motorları “Crawl-delay” ifadesini tanır.

Amaç, botların sunucuya çok fazla istek göndererek yük bindirmesini önlemektir.
Örneğin: Crawl-delay: 10 → Botun her istek arasında 10 saniye beklemesini sağlar.
Google bu komutu desteklemez. Google için tarama hızını ayarlamak isterseniz, Google Search Console’a girip ilgili sitenizin “Crawl Rate Settings” bölümünden ayarlama yapabilirsiniz. Google, genelde kendi algoritmasının en iyi hızı belirlediğini savunur; siz farklı düşünüyorsanız özel talep göndermeniz gerekebilir.

XML Sitemap

Bu direktif, botlara sitenizin XML site haritasının konumunu bildirir.

Örnek:

Sitemap: https://www.orneksite.com/sitemap.xml

Bu sayede arama motorları, sitenizdeki URL’leri daha verimli bulur ve indeksler.

Robots.txt Dosyasının Sınırlamaları

Robots.txt dosyaları oldukça faydalıdır, ancak bazı önemli kısıtlamaları vardır.

Gizlilik için uygun değildir: Robots.txt, sitenizin belirli bölümlerini gizlemek veya korumak için kullanılmamalıdır. Çünkü bu dosya herkese açıktır; sitenizin adresine /robots.txt ekleyen herkes görebilir. Eğer gerçekten gizli tutmak istediğiniz sayfalar veya belgeler varsa, en güvenli yöntem onları şifreyle korumaktır.
Yalnızca “istek” niteliğindedir: Robots.txt’de yazdığınız kurallar, arama motoru botlarına bir rica gibidir. Googlebot ve diğer güvenilir botlar genellikle bu kurallara uyar; ancak spam amaçlı veya kötü niyetli botlar bu kuralları yok sayabilir.
Engellediğiniz sayfalar tamamen görünmez değildir: Robots.txt ile bir URL’yi kapatsanız bile, başka siteler o sayfaya bağlantı verirse Google yine de o URL’yi dizine ekleyebilir. İçeriği tarayamaz ama bağlantıyı gösterebilir. Eğer sayfanın arama sonuçlarında kesinlikle çıkmasını istemiyorsanız, sayfa HTML’sine noindex etiketi eklemelisiniz.

Robots, tarama kontrolü için güçlü bir araçtır ama güvenlik veya tam gizlilik sağlamaz. Hassas bilgileri korumak için şifreleme; indekslenmesini istemediğiniz sayfalar için ise noindex kullanmalısınız.

Dikkat Edilmesi Gerekenler

Robots.txt oluştururken bir profesyonel olarak sizlere aktaracağım (aşağıdaki) adımları ve uyarıları dikkate alın:

Konum ve Adlandırma: Dosya mutlaka sitenizin kök dizininde ve adı robots.txt olmalıdır. Örneğin www.ornek.com/robots.txt doğru yerleşimdir, www.ornek.com/altklasor/robots.txt yanlıştır. Aksi hâlde arama motorları “dosya yok” sanıp tüm siteyi tarar.
Yazım (Sözdizimi) Hatası Yapmayın: Robots.txt sözdizimi çok hassastır. Her direktifin doğru yazıldığından emin olun. Örneğin satır başlarında boşluk olmamalı, komut isimleri doğru yazılmalı (User-agent, Disallow, Allow, Sitemap gibi). Küçük bir yazım hatası bile yanlış tarama veya tüm siteyi bloke etme sorununa yol açabilir.

Yaygın hatalara karşı Google Search Console’daki “robots.txt Test Aracı”nı kullanarak dosyanızı test edin. Ayrıca arama motorları bazen farklı robot grupları arasında çakışma olduğunda ilk eşleşeni kullanır, bu yüzden grupları sıraya dikkat ederek yazın.
Aşırı Kısıtlama Yapmayın: Çok fazla sayfayı Disallow ile kapatmak SEO’ya zarar verebilir. Yalnızca gerçekten gereksiz olan dizinleri engelleyin. Örneğin CSS, JavaScript veya görsellerinizi engellemekten kaçının. Google, sayfanın tam olarak görüntülenebilmesi için CSS ve JS erişimine ihtiyaç duyar.

Aslında John Mueller’ın da belirttiği gibi, robots.txt ile CSS/JS engellemek kötü bir uygulamadır ve mobil uyumluluk testlerinde hataya neden olur. Sadece tarayıcı erişimine gerek olmayan, gizli admin panelleri gibi bölümleri engellemek gerekir.
Engellediğiniz Botların Sonuçta Görünmeyebileceğini Unutmayın: Robots.txt ile yasakladığınız botlar sayfayı taramasalar da, bu sayfalar arama sonuçlarında ortaya çıkabilir. Örneğin bir forum sayfası robots.txt ile kapatılsa bile, başka sitelerden gelen bağlantılar nedeniyle Google dizininde çıkabilir. Eğer sayfayı kesinlikle arama motorlarından saklamak istiyorsanız, <meta name=”robots” content=”noindex”> etiketi kullanın.
CSS/JS ve Mobil Uyumluluk: Yukarıda belirtildiği gibi, Googlebot’un sitenizi tamamen anlaması için CSS ve JS dosyalarınıza izin verin. Robots.txt ile bu kaynakları engellemek, site hızını artırmaz; aksine Google’ın sayfayı “eksik” görmesine neden olur. Sayfanızın mobil uyumluluk raporunu yeşile döndürmek için tüm kritik kaynaklar erişilebilir olmalı.
Yanlış Alt Alan (Subdomain) Kullanmaktan Kaçının: Robots.txt sadece kendi alt alanında geçerlidir. Örneğin https://blog.ornek.com/robots.txt sadece blog.ornek.com için geçerlidir; ana alanı etkilemez. Eğer birden fazla alt alan kullanıyorsanız, her biri için ayrı robots.txt dosyası oluşturun veya diğerlerini yönlendirin.
Güncel Standartları Takip Edin: Google, robots.txt yönergelerini güncelleyebiliyor. Yeni politika uyarınca Google artık sadece dört ana direktife önem verir: User-agent, Allow, Disallow ve Sitemap. Dolayısıyla eski tarihli Crawl-delay, Host veya Noindex gibi desteklenmeyen alanlar artık tamamen göz ardı edilecektir. Örneğin Google, 2019’dan bu yana robots.txt içindeki Noindex direktifini desteklemiyor. Siz de yalnızca güncel direktifleri kullanın.
Dosyayı İzleyin ve Test Edin: Her değişiklikten sonra dosyanızı mutlaka kontrol edin. Google Search Console’un “robots.txt Test Aracı” ile güncellemelerin beklediğiniz şekilde çalıştığını doğrulayın. Ayrıca SEMrush veya ContentKing gibi SEO araçları, robots.txt değişikliklerini takip ederek anlık uyarılar verebilir (örn. yeni bir “Disallow: /” kuralı eklenirse sizi uyarır).

SEMrush’un Robots.txt Widget’ı, dosyanızdaki değişiklikleri tespit eder ve olası hataları vurgular. Güvenilir SEO araçları bu sayede robots.txt’inizin sağlık durumunu takip etmenize yardımcı olur. Robots.txt analizi yaparken bu tür araçları kullanarak denetimi kolaylaştırabilirsiniz.

Robots.txt Kullanırken Unutulmaması Gerekenler

Tam Yetkili Botlar ve Engeller: Belirli botları tamamen engellerseniz, onların sonuçlarında çıkma şansınız sıfırlanır. Örneğin User-agent: Googlebot için Disallow: / koyarsanız, Google botu sitenize hiç giremeyecek ve dolayısıyla aramalarda yer alamayacaksınız. Bu genellikle istenmeyen bir durumdur. Yalnızca bilinçli bir nedeniniz varsa (ör. site test aşamasındaysa) böyle bir blokaj uygulayın.
Robots.txt ve Google Search Console Çelişkileri: Google Search Console’da “Tarama” ayarlarında bazı duraklatmalar veya kısıtlamalar yapabilirsiniz. Bazı durumlarda Google, robots.txt’deki kurallarla GSC ayarları çelişiyorsa GSC ayarlarını önde tutabilir. Yani bir dizini hem robots.txt ile hem GSC’dan engellediğinizde, Google Search Console’un ayarı daha belirleyici olabilir.
BOM (Byte Order Mark) Sorunu: Robots.txt dosyanızı UTF-8 olarak kaydederken başında gizli karakter (BOM) olmamasına dikkat edin. BOM içeren robots.txt’ler tarayıcılar tarafından doğru okunmayabilir. Modern editörlerde “UTF-8 (BOM yok)” formatını seçmek güvenlidir.
CSS/JS ve Önbellek Konusu: Daha önce de bahsedildiği gibi, robots.txt dosyasında CSS/JS engellemekten kaçının. Googlebot sitenizi tam olarak render edebilmek için tüm kaynaklara erişim ister. Ayrıca sitenizin hız optimizasyonu için robots.txt dışında önbellekleme (caching) veya resim sıkıştırma gibi yöntemleri kullanmak daha etkili olacaktır.

Teknik Temeller SEO’da Önemlidir.

Robots.txt dosyası, SEO stratejinizdeki en hassas parçalardan biridir; küçük bir hata tüm site erişimini engelleyebilir. Bu rehberde robots.txt’in ne olduğunu, nasıl yazıldığını, SEO’ya etkilerini ve güncel uygulama kurallarını detaylıca ele aldım. Robots.txt dosyanızı her zaman sitenizin kök dizinine robots.txt adıyla yerleştirin, yalnızca gerekli dizinleri Disallow komutuyla kapatın, Allow ile özel durumlar belirleyin ve Sitemap direktifi eklemeyi ihmal etmeyin. Google’ın son güncellemeleri ışığında yalnızca desteklenen yönergeleri kullanın (user-agent, allow, disallow, sitemap). CSS/JS gibi kritik kaynakları engellemeyin; çünkü Google bot sayfayı tam görebilmek ister.

Unutmayın, robots.txt yalnızca taranmayı yönetir; bir sayfanın arama sonuçlarından çıkmasını istiyorsanız onun HTML’ine “noindex” yazın. Her değişiklikten sonra dosyayı test edin (ör. Google Search Console). Ayrıca içerik tarafında başlık hiyerarşisi, meta açıklamalar, anahtar kelime yoğunluğu ve resim alt etiketleri gibi on-page SEO kurallarına da riayet edin. Bu şekilde hem robots.txt hem de sayfa içi SEO’da eksiksiz bir strateji oluşturmuş olursunuz.

Bu rehberi yararlı bulduysanız kendi sitenizde uygulamayı unutmayın (kontrollerinizi yapın) ve deneyimlerinizi yorumlarda benimle paylaşın! Ayrıca bu tip teknik konuları detaylıca ele aldığım kapsamlı teknik SEO blog içeriğimde de göz atmayı unutmayın.