Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat. Penerapan default inilah yang paling aman. Tapi kalau kamu mau melakukan konfigurasi tambahan, maka ikuti tutorial cara setting robots.txt di Blogger dibawah.


1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly

Buka menu Settings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.
Cara Setting file robots.txt di Blogger Agar SEO Friendly

Pada pilihan Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.
User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Nama Keterangan
User-agent Nama robot mesin pencari (web crawler software).
Disallow Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent.
Allow Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent.
Sitemap Lokasi sitemap. Ganti dengan alamat blog kamu.

Nama Keterangan
User-agent: *
Allow: /
Disallow: /search
Mengizinkan semua jenis user-agent untuk merayapi semua direktori, kecuali semua URL yang memiliki direktori /search. Contoh:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
Sitemap: https://www.blogkamu.com/sitemap.xml Memberitahukan pada robot perayap dimana lokasi sitemap berada.

Setelah selesai, klik tombol Save changes
Pengaturan robots.txt di Blogger Agar Artikel Cepat Terindex

1.1. Mencegah Perayapan Pada URL Halaman Tertentu

Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/kontak-lama.html
Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.
https://www.blogkamu.com/robots.txt


2. Mengatur Custom Robots Header Tags Di Blogger

Masih di menu yang sama yaitu Crawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.

Cara Setting tag tajuk robot khusus di Blogger Agar Blog SEO Friendly

Keterangan:
  1. Mengizinkan mesin pencari untuk merayapi semua direktori homepage (beranda), post, dan pages (halaman statis).
  2. Tidak mengizinkan mesin pencari untuk merayapi direktori archive (arsip) dan search (pencarian) seperti yang sudah dijelaskan diatas.


3. Kenapa Direktori Achive (Arsip) dan Search (Pencarian) Tidak Dirayapi?

Karena direktori kedua halaman itu mengandung URL yang depannya sama.
Sudah dicontohkan diatas, direktori hasil pencarian adalah:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2

dll masih banyak lagi sesuai jumlah artikel.

Format penulisan URL setelah homepage https://www.blogkamu.com selalu sama, yaitu diikuti oleh /search. Melarang robot merayapi direktori ini bertujuan untuk mencegah konten duplikat yang bisa berakibat terkena penalti dari mesin pencari.

Saya kira sudah jelas ya soal setting robots.txt dan custom robots header tags di Blogger ini. Saya bukan ahli SEO, jadi kalau ada yang salah harap koreksi dengan cara memberikan komentar dibawah.

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ
SHARE Pin Share
Artikel Terkait
58 komentar
  1. Igniel juga menerapkan cara diatas ya?

    BalasHapus
  2. untuk settiing robot.txt agc blogspot gmn mba?

    BalasHapus
    Balasan
    1. User-agent: *
      Disallow:

      Sitemap: https://www.blogkamu.com/sitemap.xml


      Di custom robots header, bagian archive and search page centang ALL. Lainnya kosongkan.


      Hapus
    2. kok di gambar All nya gak di centang bu ?.

      Hapus
    3. Mas di atas tanya buat AGC, kakek. Sedangkan di gambar bukan buat AGC.

      Hapus
  3. Terimakasih artikelnya sangat membantu saya. Dan sekarang saya lebih mengerti tentang bagaimana cara mengatur custom robot.txt

    BalasHapus
  4. Saya mau bertanya apa bedanya pakai sitemap.xml dengan feeds/posts/default pada robot txt? Mana yang lebih bagus hasilnya?

    BalasHapus
    Balasan
    1. bantu jawab ya... yang standard google ya yang xml, tetapi google juga menyarankan sitemap dari pihak ketiga ... spt yg kamu tulis itu.. intinya sama saja

      Hapus
    2. nah, untuk site xml sendiri itu cuma untuk yang self-hosted aja apa yang ngeblog melalui media Blogger juga bisa ya ?? soalnya saya cukup ragu dengan sitemap saya, saya menggunakan Blogger dan saat membuat sitemap juga menggunakan feeds/posts/default gitu ? yang saya takutkan nanti kalo menggunakan sitemap.xml gak kehubung kemana-mana soalnya saya bikin sitemap menggunakan feeds/posts/default, mohon pencerannya kakak-kakak.

      Hapus
    3. Sitemap di robots.txt itu akhirannya harus pake .xml
      Jadi pilih yang blog.com/sitemap.xml

      Hapus
  5. Pengaruh untuk SEO dan rank tidak?

    BalasHapus
  6. setelah 4 bulan ngeblog baru ini dapet artikel yang detail menjelaskan ttg robot.txt, dan saya baru tahu kalau robot saya salah sehingga terjadilah canonical issue yang membuat banyak artikel saya gagal diindex
    terimakasih banyak mbak igniel
    https://healthyfurther.blogspot.com/

    BalasHapus
  7. Hadeh pusing mikirin SEO nil, dulu mah waktu ngeblog jaman 2012an saya mah menangan di pencarian Google, cuman sekarang dah pada lupa trik-triknya, soale dah lama fakum, dan baru mulai lagi ngeblog 2018 akhir, sekarang mah lagi fokus ke konten aja lah, eeeeh eeeeeh ehhh malah curhat... Lagi test sama domain baru .info heee

    BalasHapus
  8. lebih bagus yang defaul atau tang ini mba igniel?

    BalasHapus
  9. mba, kalau ini gimana ? katanya mesti pake mediapartner, mohon pencerahannya

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: https://www.example.com/feeds/posts/default?orderby=updated

    BalasHapus
    Balasan
    1. Kalau saya nggak usah. User-agent dengan bintang (*) artinya mencakup semua jenis user agent, termasuk Mediapartners-Google.

      Hapus
  10. Makasih gan, ane coba ya

    BalasHapus
  11. Mantap, tutor yang disarankan seperti bungfrangki (Y)

    BalasHapus
  12. itu di bagian sitemap nya, ga usah ditambah allow: / mba?

    BalasHapus
  13. makasih min infonya ^_^

    BalasHapus
  14. terimakasih sangat membantu sekali artikelnya
    www.saudaramaya.blogspot.com

    BalasHapus
  15. Mbak igniel, saya mau tanya

    Saya menerapkan sitemap.xml pada setting robot saya.


    Apakah di peta situs hanya cukup 1 saja? (Sitemap.xml)

    Ataukah di peta situs saya boleh menambahkan peta situs lain?

    Saya saat ini memkai 14 peta situs mbak . namun kayaknya blog saya terabaikan oleh mesin pencari.


    Mohon pencerahannya

    BalasHapus
    Balasan
    1. Boleh lebih tapi yang terbaca sebenarnya cuma satu aja, yaitu sitemap.xml.

      Selengkapnya bacs di sini:
      https://www.igniel.com/2019/05/cara-submit-sitemap-google-search-console.html

      Hapus
  16. Kalo Muncul gini harus Gimana gan

    https://www.domainsaya .com/sitemap.xml Sitemap index Jul 11, 2019 Nov 15, 2017 1 error

    Sitemap index can be read, but has errors
    General HTTP error

    BalasHapus
  17. Mantap mas artikelnya sangat mencerahkan. salam sukses

    BalasHapus
  18. maaf mau nanya
    di webmaster punya saya ada Dikecualikan oleh tag ‘noindex’ itu terjadi pada
    urlblogsaya/search/label/C
    karena saya memasang meta tag pada template blog nya..apakah itu berpengaruh untuk blog saya di mata google dan apakah harus di hapus meta tag itu ??

    kemudian ada Di-crawl - saat ini tidak diindeks pada
    urlblogsaya/feeds/posts/summary
    cara ngatasi nya gimana yah ??

    BalasHapus
  19. saya kadang menemukan artikel dengan penulisan :

    User-agent: *
    Disallow: /search
    Allow: /

    apa bedanya antara penerapan Disallow: /search yang di tengah dan diakhir ?
    apakah sama atau berbeda ?

    BalasHapus
    Balasan
    1. Sama saja. Yang penting isi dari allow dan disallownya.

      Hapus
  20. Terima kasih banyak atas infonya, benar2 bermanfaat, semoga kedepannya terus berbagi info2 seperti ini khususnya buat kami para pemula...terimakasih ya bu, sukses terus buat anda, salam kenal.

    BalasHapus
  21. Terima kasih mas sudah berbagi ilmu semoga kedepanya dapat begai info terus.

    BalasHapus
  22. kalau kaya gini

    User-agent: Mediapartners-Google
    Disallow:
    User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=1
    Disallow: /?m=0
    Disallow: /*?m=1
    Disallow: /*?m=0
    User-agent: *
    Disallow: /search
    Sitemap: URL BLOG/sitemap.xml

    disarankan tidak ?

    BalasHapus
  23. Thanks gan membantu sangad.

    BalasHapus
  24. Thanks Pencerahan yang sangat membantu mbak igniel

    BalasHapus
  25. makasih mantap artikelnya bisa diterapkan di blog jualan saya

    BalasHapus
  26. mbak mau nanya kalo custom domain yg url blogspot aslinya ikut di kirim sitemap & robot.txt gk?
    misal custom domainb: abce.com
    url blogspotnya : abce.blogspot.com
    dua duanya dikirim apa satu aja?

    BalasHapus
    Balasan
    1. Satu aja. Pakai domain yang sedang digunakan.

      Hapus
  27. Terimakasih.. sangat membantu

    BalasHapus
  28. Sudah saya terapkan. Terima kasih.

    BalasHapus
  29. terima kasih ilmunya bermanfaat

    BalasHapus
  30. kalo blog yang ini pake yang mana mba?

    BalasHapus
  31. User-agent: Mediapartners-Google

    Mediapartners-Google itu maksudnya apa yaa ?
    Apa aja itu Mediapartner nya google

    BalasHapus
    Balasan
    1. Bot buat AdSense.
      Kalau tanda bintang (*) artinya udah mencakup semua, termasuk Mediapartners-Google.

      Hapus
  32. Thanks infonya. Saya blogger newbie, coba cek blog saya kak Cloud Heaven Liquid Official, sudah bagus belum ya?

    BalasHapus
  33. Mantap sekali tutornya mba igniel

    BalasHapus
  34. Terima kasih informasinya gan. Anw, templet blognya bagus nih. Keren

    BalasHapus
  35. mau tanya, kak. kalau tiba2 artikel baru di blog nggak bisa terindex itu penyebabnya apa ya?

    sekarang tiap submit artikel baru di google search control, tulisannya selalu "crawled - currently not indexed". Padahal nggak ada settingan robot. txt yg saya rubat. settingan sitemap di google search control pun nggak saya apa2in sama sekali..

    Apa perlu submitan sitemap saya yg lama dihapus semua, trs disubmit ulang dr awal lagi?

    Adakah tips-nya untuk masalah blog saya ini kak? makasih banyak ya sebelumnya

    BalasHapus
  36. Mantap.. artikelnya sangat membantu, cuma saya mau tanya apakah akan ada perbedaan index di google jika sitemapnya di tulis contoh seperti ini :

    Sitemap: https://yudha-wibowo.blogspot.com/sitemap.xml

    atau memang harus seperti ini :

    Sitemap: https://www.yudha-wibowo.blogspot.com/sitemap.xml

    jadi apakah harus dengan www atau langsung saja , apakah nanti hasilnya akan berbeda ?

    Mohon jawabannya admin, terimakasih..

    BalasHapus
    Balasan
    1. Kalau masih pake domain blogspot TIDAK PERLU pakai www

      Hapus
    2. Oke Baik.. Terimakasih mba Igniel atas jawabannya, sangat membantu.. :)

      Hapus

Posting Komentar