Cara Setting Custom robots.txt Blogger

 

Custom Robots.txt

Robots.txt berisi pedoman atau aturan untuk perayap bot tentang bagaimana crawlers mengindeks blog atau situs web. 

Blog atau situs web bisa dikatakan SEO karna mengatur beberapa pengaturan yang sangat diperlukan, salah satunya adalah mengatur robot.txt khusus. Saat crawler bot mesin penelusuran sedang mengunjungi suatu halaman atau website, hal pertama yang dicari adalah robots.txt (file robots.txt). 

Sebagai pengguna Blogger, pengguna diwajibkan mengontrol apa yang harus diikuti agar blog atau situs web gampang diindeks oleh crawler mesin telusur.

"Crawler" sendiri adalah istilah umum untuk program perayapan (seperti robot atau spider) yg digunakan untuk menemukan dan memindai situs secara otomatis dengan mengikuti link dari satu halaman ke halaman lainnya.

Setting Custom Robots.txt

Di bawah ini adalah Cara Setting Custom Robots.txt Blogger yg sering kali digunakan 

1. Login ke blogger

2. Di dashboard blogger, klik Settings >> Custom Robots.txt 

3. Copy tulisan di bawah ini , lalu paste

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://contoh.blogspot.com/feeds/posts/default?orderby=UPDATED
Sitemap: http://contoh.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

4. Klik Simpan

Di bawah ini adalah penjelasan dari setiap baris perintah di atas

User-agent: Mediapartners-Google

Disallow:

Baris User-agent: Mediapartners-Google ini khusus hanya untuk crawler adsense. Jika ingin menampilkan adsense, baris ini memungkinkan crawler adsense untuk mengunjungi semua halaman dari blog atau situs web sesuai dengan pedoman adsense.

Untuk User-agent yg lainnya, bisa lihat List Of Google Crawlers (User-agent)

User-agent: * 

Perintah ini digunakan untuk semua crawler (kecuali yang aturannya terpisah seperti crawler adsense). 

Disallow: / search

Baris ini menunjukkan bahwa halaman dengan / pencarian di URL tidak akan di-crawl dan diindeks oleh crawler. Perintah ini termasuk penting untuk SEO dari blog, karena menghentikan mesin pencari untuk mengindeks label, dan halaman arsip. 

Disallow: /p/ 

Untuk memblokir robot untuk tidak merayapi halaman blog. Tapi jika ingin halaman diindeks oleh crawler maka hapus baris ini. 

Disallow: /view/ 

Berhenti merayapi tautan blogger. 

Disallow: /?M=1

Disallow: /?M=0

Disallow: /*?M=1

Disallow: /*?M=0

Baris-baris di atas digunakan untuk menghentikan robot merayapi laman pengalihan ke tampilan seluler.  

Allow: /

Baris ini memberi tahu robot bahwa tautan lain di blog ini bebas untuk dirayapi atau diindeks.

Sitemap: http://contoh.blogspot.com/feeds/posts/default?orderby=UPDATED

Sitemap: http://contoh.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Baris di atas menunjukkan tautan ke peta situs blog atau situs web. Ganti tautan contoh.blogspot.com dengan URL blog. Begitu juga jika menggunakan custom domain di blog, maka gunakan URL itu. 

Demikian tutorial singkat Cara Setting Custom robots.txt Blogger yg mudah untuk diterapkan di blog agar blog lebih SEO dan mudah diindeks oleh crawlers.