Robot.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.
Terkadang Google dan beberapa mesin pencari lainya tidak bisa merayapi seluruh artikel yang telah kita buat. Hal ini sangat memperlambat munculnya artikel di mesin pencari. Tidak lain dan tidak bukan di sebabkan oleh kerusakan di Robot.txt.
Kita bisa mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di blogg kita. Jika anda mendapat pesan peringatan segera perbaiki situs/blog anda.
Saya akan memberikan solusi bagaimana cara memperbaiki URL yang di cekal oleh Robot.txt.
1. Login ke Blogger.com
2. Pergi ke Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus.
5. Masukan kode dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://v2tricktop.blogspot.com/feeds/posts/default?orderby=updated
catatan: "ganti warna biru dengan URL blogg anda"
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs anda.
Saya menyarankan anda 1 minggu sekali untuk memeriksa kesehatan situs anda di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blogg anda.
Semoga " Cara Memperbaiki URL Yang di Cekal Robot.txt " dapat bermanfaat bagi anda dalam ilmu blogging anda. Terimakasih.
