» » » » DLE En İyi Robot.txt Dosyası Nasıl Olmalı ?

DLE En İyi Robot.txt Dosyası Nasıl Olmalı ?

Sembolbu
Sembolbu 3-10-2015, 20:00
Merhabalar sorun şuki site google tarafından güzel bir şekilde indexlenmekte ancak ilk sayfalarda arşiv ve 1.2.3 sayfaların indexlenmiş olduğunu görüyorum. Google'ın arşiv sayfalarını ve page/ uzantılı sayfaların indexlenmesini istemiyorum. Bu ve bunun gibi eklemeleri yaptığımızda en iyi robot.txt dosyası ne şekilde olmalı ?
Çözüldü İşleme Alındı Bekliyor Çözülemedi

Benzer Konular

Bilgilendirme
Yorum Ekleyebilmeniz için Sitemize Kayıt Olmanız Gerekmektedir.
0
Gokay 22 Şubat 2016 19:28
Sitemap: http://www.ceptim.net/image-sitemap.xml Bence bunu kullanman gereksiz diye düşünüyorum. Zaten normal sitemap oluşturduğunuzda resimleri'de okuyor Google Bot, diğer kısımlarda bir sorun ekleyin bu düzende..
Şikayet Et
0
CepTiM 22 Şubat 2016 17:36
Altdaki robots dosyasını kullanmaya başladım uygunmu sizce
Şikayet Et
0
CepTiM 21 Şubat 2016 01:25
User-agent: *
Disallow: /*ref=*
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /uploads/
Disallow: /admin.php
Disallow: /cron.php
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Allow: /engine/data/emoticons/

Disallow: /2016/
Disallow: /2015/
Disallow: /2014/
Disallow: /*page/

User-agent: *
Allow: /

Sitemap: http://www.ceptim.net/sitemap.xml
Sitemap: http://www.ceptim.net/image-sitemap.xml


ben bunu kullanacagım yeni yaptım uygunmudur kontrol edermisiniz arkadaşlar ...
Şikayet Et
0
Sembolbu 5 Ekim 2015 19:37
@OyunProgram, indexlerdeki url'lerden yola cıkarak 2015 olarak ekledim ve arşivler yavaş yavaş temizleniyor page hakkında yardımınız için teşekkür ederim iyi çalışmalar...
Şikayet Et