Cara Memperbaiki URL Yang di Cekal Robot.txt

Robot.txt adalah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.

Terkadang Google dan beberapa mesin pencari lainya tidak bisa merayapi seluruh artikel yang telah kita buat. Hal ini sangat memperlambat munculnya artikel di mesin pencari. Tidak lain dan tidak bukan di sebabkan oleh kerusakan di Robot.txt.

Kita bisa mengetahui URL yang dicekal melalui Webmaster tools. Google akan mengirim pesan apa bila terdapat kerusakan yang cukup serius di blogg kita. Jika anda mendapat pesan peringatan segera perbaiki situs/blog anda.

Saya akan memberikan solusi bagaimana cara memperbaiki URL yang di cekal oleh Robot.txt.

1. Login ke Blogger.com
2. Pergi ke Setelan > Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan,
4. Klik Edit di bagian kanan robots.txt khusus.
5. Masukan kode dibawah ini


User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://v2tricktop.blogspot.com/feeds/posts/default?orderby=updated

catatan: "ganti warna biru dengan URL blogg anda"

6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.

Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs anda.

Saya menyarankan anda 1 minggu sekali untuk memeriksa kesehatan situs anda di Webmaster tools untuk mengetahui ada tidak nya kerusakan di blogg anda.

Semoga " Cara Memperbaiki URL Yang di Cekal Robot.txt " dapat bermanfaat bagi anda dalam ilmu blogging anda. Terimakasih.

Cara Setting Robot.txt Blogspot

Sebelum kita berbicara tentang robots.txt, yang perlu dan harus sobat tahu adalah tentang  Protokol Robots Exclusion.  Mungkin istilah ini jarang atau bahkan tumben sobat blogger dengar selama sobat blogger menekuni dunia website atau blog. Oleh karena itu, saya uraikan sedikit tentang  Protokol Robots Exclusion.

Pemilik situs Web atau blog menggunakan file / robots.txt untuk memberikan instruksi tentang situs/blog mereka untuk robot web, inilah yang disebut Protokol Robots Exclusion .

Protokol Robots Exclusion bekerja dengan cara seperti ini : Ketika sebuah robot akan mengunjungi URL dari sebuah blog, sebagai contoh http://lenterablogger.blogspot.com/welcome.html. Sebelum melakukan kunjungan tersebut, Robots Exclusion Protocol akan memeriksa terlebih dahulu http://lenterablogger.blogspot.com/robots.txt, dan menemukan

User-agent: *
Disallow: /

Kata "User-agent: *" artinya berlaku untuk semua robot dan kata "Disallow: /" memberi tahu robot untuk tidak mengunjungi beberapa halaman dari blog tersebut.

Ada dua pertimbangan penting yang harus kita pikirkan ketika menggunakan  /robots.txt yaitu :

1. Robot bisa saja mengabaikan / robots.txt sobat blogger.
2. File / robots.txt adalah file yang tersedia untuk umum.

Berikut ini contoh robots.txt beserta fungsinya masing-masing :

Memberikan pengecualian semua robot dari seluruh server

User-agent: *
Disallow: /

Membiarkan semua robot untuk melakukan Akses  di blog tersebut :

User-agent: *
Disallow:

Memberikan pengecualian terhadap semua robot dari bagian Server

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

Memberikan pengecualian terhadap single robot

User-agent: BadBot
Disallow: /

Membiarkan single robot

User-agent: Google
Disallow:
User-agent: *
Disallow: /

Memberikan pengecualian terhadap semua file kecuali satu

User-agent: *
Disallow: /~joe/stuff/

Atau sobat blogger dapat secara eksplisit melarang semua halaman dianulir:

User-agent: *
Disallow: /~joe/junk.html
Disallow: /~joe/foo.html
Disallow: /~joe/bar.html

Apakah sobat blogger sudah bisa memahami penjelasan di atas? Mungkin sobat blogger malah tambah pusing. Jadi, lebih baik saya jelaskan langsung tentang cara menambahkan Custom robots.txt pada blog yang bernaung di bawah Paltform blogger.com

Cara Setting Custom robots.txt di blog :

• Login di http://www.blogger.com
• Pada menu Drop Down, Klik Settings dan Search preferences

• Lihat bagian Crawlers and indexing

• Klik kata Edit pada Custom robots.txt ?
• Di bagian Enable custom robots.txt content?, kasih tanda pada kolom "yes"

• Masukkan kode berikut

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://v2tricktop.blogspot.com/feeds/posts/default?orderby=updated

• Klik Save Changes

Tambahan :
Jangan lupa ganti http://v2tricktop.blogspot.com dengan URL blog sobat.
Kode yang saya gunakan untuk Custom robots.txt di atas merupakan kode yang biasa di terapkan di blog.  Kalau sobat blogger ingin menggunakan kode yang berbeda dengan saya (Lentera Blogger), Sobat bisa gunakan salah satu dari kode yang sudah saya jabarkan sebelumnya.

Itu adalah tutorial singkat tentang cara Setting Custom robots.txt di blogger. Semoga informasi ini berguna buat sobat blogger. Untuk mendapatkan informasi yang lebih banyak tentang robots.txt, sobat blogger bisa mengunjungi halaman berikut : http://www.robotstxt.org/robotstxt.html

Sejarah SEO dan Pengertian SEO

Sejarah Singkat SEO

Pada tanggal 26 bulan juli tahun 1997 Search Engine Optimization mulai digunakan untuk pertama kalinya di usenet (sistem diskusi internet yang terdistribusi secara global). Pada waktu itu algoritma search engine masih didasarkan sepenuhnya melalui meta tag pada template kode html blog/web. Fungsi meta tag yaitu sebagai informasi mengenai isi dari blog/web tersebut dengan beberapa keywords atau kata kunci yang di targetkan. Dulu para webmaster pernah melakukan rekayasa dengan cara menuliskan beberapa keywords yang sama sekali tidak sesuai dengan isi dari konten web.

Ini tentu menimbulkan dampak negatif bagi search engines karena hasil pencarian search engine menjadi tidak sesuai/tidak relavan dan menimbulkan kerugian bagi user (pengguna internet) yang sedang melakukan searching, yang mengharapkan search engine memberikan hasil pencarian yang sesuai dan berkualitas sesuai keyword atau kata kunci yang di tulisnya.

Tapi sekarang Meta keywords itu sudah tidak berarti apa-apa lagi bagi search engines (Google, Bing dan Yahoo). Sejak 2009 yang lalu Matt Cutts seorang engineer Google telah mengumumkan kepada publik melalui video youtube bahwa meta tag keywords sudah tidak digunakan lagi untuk menentukan peringkat web pada mesin pencari Google.

Pengertian SEO

Search Engine Optimization atau lebih di kenal dengan nama SEO. Pengertian SEO menurut Wikipedia:

serangkaian proses yang dilakukan dengan sistematis, yang bertujuan untuk meningkatkan volume traffic melalui mesin pencari.

Jika diringkas menurut saya pribadi SEO (Search Engine Optimization) adalah suatu proses yang bertujuan untuk meningkatkan kualitas traffic  atau kunjungan blog/web melalui Search Engine (Mesin Pencari) seperi Google, Bing dan Yahoo dengan memanfaatkan algoritma dari masing-masing search engine tersebut.

Tujuan SEO yaitu untuk menempatkan blog/website pada posisi teratas atau setidaknya First Page (Halaman Pertama) di hasil pencarian Search Engine tersebut berdasarkan keyword atau kata kunci yang di tulis...

Semoga bermanfaat...

Manfaat manfaat SEO Untuk Blog/Website

Apa itu SEO? SEO (Search Engine Optimization) adalah proses optimisasi yang tidak pernah berhenti untuk menempatkan web/blog ke halaman pertama Google search engine. Lalu bagaimana sejarah tentang SEO? Selengkapnya simak Sejarah SEO dan Pengertian SEO. SEO banyak dimanfaatkan oleh banyak orang sebagai media bisnis (Online Marketing). Banyak para pebisnis online yang sudah merasakan manfaat seo untuk bisnisnya sehingga ia rela menganggarkan 1 juta hingga puluhan juta per bulannya atau per tahun demi untuk mensukseskan bisnisnya agar web/blognya teroptimisasi dengan baik di search engine melalui Jasa SEO.

Berikut Manfaat SEO untuk Blog/Website :
1. Meningkatkan kualitas traffic kunjungan web melalui search engine terbesar seperti Google, Bing dan Yahoo.
2. Meningkatkan popularitas blog/web.
3. Menjaga eksistensi bisnis online.
4. Meningkatkan brand awarness.
5. Meningkatkan sebuah bisnis online atau online marketing untuk mendapatkan banyak pelanggan baru.

Semoga bermanfaat....