Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat. Penerapan default inilah yang paling aman. Tapi kalau kamu mau melakukan konfigurasi tambahan, maka ikuti tutorial cara setting robots.txt di Blogger dibawah.


1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly

Buka menu Settings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.
Cara Setting file robots.txt di Blogger Agar SEO Friendly

Pada pilihan Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.
User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Nama Keterangan
User-agent Nama robot mesin pencari (web crawler software).
Disallow Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent.
Allow Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent.
Sitemap Lokasi sitemap. Ganti dengan alamat blog kamu.

Nama Keterangan
User-agent: *
Allow: /
Disallow: /search
Mengizinkan semua jenis user-agent untuk merayapi semua direktori, kecuali semua URL yang memiliki direktori /search. Contoh:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
Sitemap: https://www.blogkamu.com/sitemap.xml Memberitahukan pada robot perayap dimana lokasi sitemap berada.

Setelah selesai, klik tombol Save changes
Pengaturan robots.txt di Blogger Agar Artikel Cepat Terindex

1.1. Mencegah Perayapan Pada URL Halaman Tertentu

Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/kontak-lama.html
Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.
https://www.blogkamu.com/robots.txt


2. Mengatur Custom Robots Header Tags Di Blogger

Masih di menu yang sama yaitu Crawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.

Cara Setting tag tajuk robot khusus di Blogger Agar Blog SEO Friendly

Keterangan:
  1. Mengizinkan mesin pencari untuk merayapi semua direktori homepage (beranda), post, dan pages (halaman statis).
  2. Tidak mengizinkan mesin pencari untuk merayapi direktori archive (arsip) dan search (pencarian) seperti yang sudah dijelaskan diatas.


3. Kenapa Direktori Achive (Arsip) dan Search (Pencarian) Tidak Dirayapi?

Karena direktori kedua halaman itu mengandung URL yang depannya sama.
Sudah dicontohkan diatas, direktori hasil pencarian adalah:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2

dll masih banyak lagi sesuai jumlah artikel.

Format penulisan URL setelah homepage https://www.blogkamu.com selalu sama, yaitu diikuti oleh /search. Melarang robot merayapi direktori ini bertujuan untuk mencegah konten duplikat yang bisa berakibat terkena penalti dari mesin pencari.

Saya kira sudah jelas ya soal setting robots.txt dan custom robots header tags di Blogger ini. Saya bukan ahli SEO, jadi kalau ada yang salah harap koreksi dengan cara memberikan komentar dibawah.

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ
Baca Juga
DONASI VIA PAYPAL Bantu berikan donasi jika artikelnya dirasa bermanfaat. Donasi akan digunakan untuk memperpanjang domain www.igniel.com. Terima kasih.

Artikel Terkait

20 Komentar

  1. Igniel juga menerapkan cara diatas ya?

    ReplyDelete
  2. untuk settiing robot.txt agc blogspot gmn mba?

    ReplyDelete
    Replies
    1. User-agent: *
      Disallow:

      Sitemap: https://www.blogkamu.com/sitemap.xml


      Di custom robots header, bagian archive and search page centang ALL. Lainnya kosongkan.


      Delete
    2. kok di gambar All nya gak di centang bu ?.

      Delete
    3. Mas di atas tanya buat AGC, kakek. Sedangkan di gambar bukan buat AGC.

      Delete
  3. Terimakasih artikelnya sangat membantu saya. Dan sekarang saya lebih mengerti tentang bagaimana cara mengatur custom robot.txt

    ReplyDelete
  4. Saya mau bertanya apa bedanya pakai sitemap.xml dengan feeds/posts/default pada robot txt? Mana yang lebih bagus hasilnya?

    ReplyDelete
    Replies
    1. bantu jawab ya... yang standard google ya yang xml, tetapi google juga menyarankan sitemap dari pihak ketiga ... spt yg kamu tulis itu.. intinya sama saja

      Delete
  5. Pengaruh untuk SEO dan rank tidak?

    ReplyDelete
  6. setelah 4 bulan ngeblog baru ini dapet artikel yang detail menjelaskan ttg robot.txt, dan saya baru tahu kalau robot saya salah sehingga terjadilah canonical issue yang membuat banyak artikel saya gagal diindex
    terimakasih banyak mbak igniel
    https://healthyfurther.blogspot.com/

    ReplyDelete
  7. Hadeh pusing mikirin SEO nil, dulu mah waktu ngeblog jaman 2012an saya mah menangan di pencarian Google, cuman sekarang dah pada lupa trik-triknya, soale dah lama fakum, dan baru mulai lagi ngeblog 2018 akhir, sekarang mah lagi fokus ke konten aja lah, eeeeh eeeeeh ehhh malah curhat... Lagi test sama domain baru .info heee

    ReplyDelete
  8. lebih bagus yang defaul atau tang ini mba igniel?

    ReplyDelete
  9. mba, kalau ini gimana ? katanya mesti pake mediapartner, mohon pencerahannya

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: https://www.example.com/feeds/posts/default?orderby=updated

    ReplyDelete
  10. Makasih gan, ane coba ya

    ReplyDelete
  11. Mantap, tutor yang disarankan seperti bungfrangki (Y)

    ReplyDelete
  12. itu di bagian sitemap nya, ga usah ditambah allow: / mba?

    ReplyDelete

Gunakan tag HTML <em> untuk menuliskan URL, potongan kode, atau hal penting lainnya.
Contoh: <em>isi pesan</em>