Cara Mengaktifkan Robot.txt Dan Setting Robot Header Tags pada Blog di Google Webmaster

Assalamuallaikum wr,wb sahabat

Apakabar?

Semoga dalam keadaan sehat dan dalam lindungan Allah SWT.

Disini saya akan sedikit berbagi mengenai cara mengaktifkan Robot.txt  dan mengatur Robot Header Tags di Blogger,

Tentu teramat membingungkan bagi saya mengenai Robot.txt dan apa fungsinya?

Berikut sedikit penjelasan yang saya ketahui.

The Robot Exclusion Standard atau sering kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.

Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code, penggunanan robot.txt ini sangat berguna untuk mendongkrak SEO blog kita.

Misalkan ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita.

Sahabat, dapat mendaftarkan blog sahabat di Google Websmaster. Lalu liat pada kesalahan perayapan, fungsi pemblokiran akan dilakukan oleh robot.txt ini.

Cara Mengaktifkan Dan Setting Robot.txt:

ü  Log in ke blogger dengan akun blogger sahabat.

ü  Klik setelan > Preferensi penelusuran / Search preferences.

      

ü  Pada tab perayap dan pengindeksan pilih robot.txt. Klik aktif

ü  Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://ajnusantaramemasak.blogspot.co.id/feeds/posts/default?orderby=UPDATED

Ganti url ://ajnusantaramemasak.blogspot.co.id/ dengan url blog sahabat.

Seperti gambar dibawah ini

Keterangan:

Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi sahabat yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog sahabat, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.

Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.

Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog sahabat

Tanda "/" adalah tanda home page sahabat jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home sahabat.

ü  Klik simpan perubahan.

Diatas adalah cara mengatur dan hal diatas juga sangat bisa membantu kita dalam bekerja terutama di Google adsense. Selanjutnya kita lakukan pengaturan Robot Header Tags,

Cara setting Robot Header Tags

ü  Masih di menu setting Search preferences / Preferensi penelusuran

ü  Dibagian paling bawah ada menu Custom robots header tags. Klik edit.

ü   Pilih yes

ü   Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini 

ü  Save changes

Satu lagi catatan agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog sahabat yang diabaikan oleh mesin pencari.

Semoga bermanfaat dan terimakasih telah berkunjung.

Dan saya mohon maaf atas segala kesalahan yang telah saya lakukan.

Salam hangat dari saya AJ

Wassalam.