Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat. Penerapan default inilah yang paling aman. Tapi kalau kamu mau melakukan konfigurasi tambahan, maka ikuti tutorial cara setting robots.txt di Blogger dibawah.


1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly

Buka menu Settings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.
Cara Setting file robots.txt di Blogger Agar SEO Friendly

Pada pilihan Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.
User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Nama Keterangan
User-agent Nama robot mesin pencari (web crawler software).
Disallow Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent.
Allow Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent.
Sitemap Lokasi sitemap. Ganti dengan alamat blog kamu.

Nama Keterangan
User-agent: *
Allow: /
Disallow: /search
Mengizinkan semua jenis user-agent untuk merayapi semua direktori, kecuali semua URL yang memiliki direktori /search. Contoh:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
Sitemap: https://www.blogkamu.com/sitemap.xml Memberitahukan pada robot perayap dimana lokasi sitemap berada.

Setelah selesai, klik tombol Save changes
Pengaturan robots.txt di Blogger Agar Artikel Cepat Terindex

1.1. Mencegah Perayapan Pada URL Halaman Tertentu

Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/kontak-lama.html
Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.
https://www.blogkamu.com/robots.txt


2. Mengatur Custom Robots Header Tags Di Blogger

Masih di menu yang sama yaitu Crawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.

Cara Setting tag tajuk robot khusus di Blogger Agar Blog SEO Friendly

Keterangan:
  1. Mengizinkan mesin pencari untuk merayapi semua direktori homepage (beranda), post, dan pages (halaman statis).
  2. Tidak mengizinkan mesin pencari untuk merayapi direktori archive (arsip) dan search (pencarian) seperti yang sudah dijelaskan diatas.


3. Kenapa Direktori Achive (Arsip) dan Search (Pencarian) Tidak Dirayapi?

Karena direktori kedua halaman itu mengandung URL yang depannya sama.
Sudah dicontohkan diatas, direktori hasil pencarian adalah:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2

dll masih banyak lagi sesuai jumlah artikel.

Format penulisan URL setelah homepage https://www.blogkamu.com selalu sama, yaitu diikuti oleh /search. Melarang robot merayapi direktori ini bertujuan untuk mencegah konten duplikat yang bisa berakibat terkena penalti dari mesin pencari.

Saya kira sudah jelas ya soal setting robots.txt dan custom robots header tags di Blogger ini. Saya bukan ahli SEO, jadi kalau ada yang salah harap koreksi dengan cara memberikan komentar dibawah.

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ
Baca Juga

DONASI VIA PAYPAL

Bantu berikan donasi jika artikelnya dirasa bermanfaat. Donasi akan digunakan untuk memperpanjang domain www.igniel.com. Terima kasih.

Artikel Terkait

5 Komentar

  1. Igniel juga menerapkan cara diatas ya?

    ReplyDelete
  2. untuk settiing robot.txt agc blogspot gmn mba?

    ReplyDelete
    Replies
    1. User-agent: *
      Disallow:

      Sitemap: https://www.blogkamu.com/sitemap.xml


      Di custom robots header, bagian archive and search page centang ALL. Lainnya kosongkan.


      Delete
  3. Terimakasih artikelnya sangat membantu saya. Dan sekarang saya lebih mengerti tentang bagaimana cara mengatur custom robot.txt

    ReplyDelete

Gunakan tag HTML <em> untuk menuliskan URL, potongan kode, atau hal penting lainnya.
Contoh: <em>isi pesan</em>