Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.
Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat. Penerapan default inilah yang paling aman. Tapi kalau kamu mau melakukan konfigurasi tambahan, maka ikuti tutorial cara setting robots.txt di Blogger dibawah.
1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly
Buka menuSettings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.
Pada pilihan
Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.User-agent: *
Allow: /
Disallow: /search
Sitemap: https://www.blogkamu.com/sitemap.xml| Nama | Keterangan |
|---|---|
User-agent |
Nama robot mesin pencari (web crawler software). | Disallow |
Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent. |
Allow |
Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent. |
Sitemap |
Lokasi sitemap. Ganti dengan alamat blog kamu. |
| Nama | Keterangan |
|---|---|
User-agent: * |
Mengizinkan semua jenis user-agent untuk merayapi semua direktori, kecuali semua URL yang memiliki direktori /search. Contoh: https://www.blogkamu.com /search?q=cara+mempercepat+bloghttps://www.blogkamu.com /search/label/CSShttps://www.blogkamu.com /search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2 |
Sitemap: https://www.blogkamu.com/sitemap.xml |
Memberitahukan pada robot perayap dimana lokasi sitemap berada. |
Setelah selesai, klik tombol Save changes
1.1. Mencegah Perayapan Pada URL Halaman Tertentu
Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:User-agent: *
Allow: /
Disallow: /search
Disallow: /p/kontak-lama.html
Disallow: /2009/01/test-postingan-pertama.html
Sitemap: https://www.blogkamu.com/sitemap.xmlUntuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.
https://www.blogkamu.com/robots.txt2. Mengatur Custom Robots Header Tags Di Blogger
Masih di menu yang sama yaituCrawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.
Keterangan:
- Mengizinkan mesin pencari untuk merayapi semua direktori homepage (beranda), post, dan pages (halaman statis).
- Tidak mengizinkan mesin pencari untuk merayapi direktori archive (arsip) dan search (pencarian) seperti yang sudah dijelaskan diatas.
3. Kenapa Direktori Achive (Arsip) dan Search (Pencarian) Tidak Dirayapi?
Karena direktori kedua halaman itu mengandung URL yang depannya sama.Sudah dicontohkan diatas, direktori hasil pencarian adalah:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2dll masih banyak lagi sesuai jumlah artikel.
Format penulisan URL setelah homepage
https://www.blogkamu.com selalu sama, yaitu diikuti oleh /search. Melarang robot merayapi direktori ini bertujuan untuk mencegah konten duplikat yang bisa berakibat terkena penalti dari mesin pencari.Saya kira sudah jelas ya soal setting robots.txt dan custom robots header tags di Blogger ini. Saya bukan ahli SEO, jadi kalau ada yang salah harap koreksi dengan cara memberikan komentar dibawah.
https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ
Igniel juga menerapkan cara diatas ya?
BalasHapusIya saya pake juga.
Hapusuntuk settiing robot.txt agc blogspot gmn mba?
BalasHapusUser-agent: *
HapusDisallow:
Sitemap: https://www.blogkamu.com/sitemap.xml
Di custom robots header, bagian archive and search page centang ALL. Lainnya kosongkan.
kok di gambar All nya gak di centang bu ?.
HapusMas di atas tanya buat AGC, kakek. Sedangkan di gambar bukan buat AGC.
HapusTerimakasih artikelnya sangat membantu saya. Dan sekarang saya lebih mengerti tentang bagaimana cara mengatur custom robot.txt
BalasHapusSaya mau bertanya apa bedanya pakai sitemap.xml dengan feeds/posts/default pada robot txt? Mana yang lebih bagus hasilnya?
BalasHapusbantu jawab ya... yang standard google ya yang xml, tetapi google juga menyarankan sitemap dari pihak ketiga ... spt yg kamu tulis itu.. intinya sama saja
Hapusnah, untuk site xml sendiri itu cuma untuk yang self-hosted aja apa yang ngeblog melalui media Blogger juga bisa ya ?? soalnya saya cukup ragu dengan sitemap saya, saya menggunakan Blogger dan saat membuat sitemap juga menggunakan feeds/posts/default gitu ? yang saya takutkan nanti kalo menggunakan sitemap.xml gak kehubung kemana-mana soalnya saya bikin sitemap menggunakan feeds/posts/default, mohon pencerannya kakak-kakak.
HapusSitemap di robots.txt itu akhirannya harus pake .xml
HapusJadi pilih yang blog.com/sitemap.xml
Pengaruh untuk SEO dan rank tidak?
BalasHapusPengaruh ke SEO.
Hapussetelah 4 bulan ngeblog baru ini dapet artikel yang detail menjelaskan ttg robot.txt, dan saya baru tahu kalau robot saya salah sehingga terjadilah canonical issue yang membuat banyak artikel saya gagal diindex
BalasHapusterimakasih banyak mbak igniel
https://healthyfurther.blogspot.com/
Hadeh pusing mikirin SEO nil, dulu mah waktu ngeblog jaman 2012an saya mah menangan di pencarian Google, cuman sekarang dah pada lupa trik-triknya, soale dah lama fakum, dan baru mulai lagi ngeblog 2018 akhir, sekarang mah lagi fokus ke konten aja lah, eeeeh eeeeeh ehhh malah curhat... Lagi test sama domain baru .info heee
BalasHapuslebih bagus yang defaul atau tang ini mba igniel?
BalasHapusmba, kalau ini gimana ? katanya mesti pake mediapartner, mohon pencerahannya
BalasHapusUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/feeds/posts/default?orderby=updated
Kalau saya nggak usah. User-agent dengan bintang (*) artinya mencakup semua jenis user agent, termasuk Mediapartners-Google.
HapusHnya gini mbk 👇
HapusUser-agent:
Disallow:
Allow:
Sitemap
Biar kyak AdSense, bing, dll bisa ngindex?
Makasih gan, ane coba ya
BalasHapusMantap, tutor yang disarankan seperti bungfrangki (Y)
BalasHapuswah wah, baru tau
BalasHapusitu di bagian sitemap nya, ga usah ditambah allow: / mba?
BalasHapusNgga usah mas.
Hapusmakasih hu
BalasHapusmakasih min infonya ^_^
BalasHapusMantul
BalasHapusterimakasih sangat membantu sekali artikelnya
BalasHapuswww.saudaramaya.blogspot.com
Mbak igniel, saya mau tanya
BalasHapusSaya menerapkan sitemap.xml pada setting robot saya.
Apakah di peta situs hanya cukup 1 saja? (Sitemap.xml)
Ataukah di peta situs saya boleh menambahkan peta situs lain?
Saya saat ini memkai 14 peta situs mbak . namun kayaknya blog saya terabaikan oleh mesin pencari.
Mohon pencerahannya
Boleh lebih tapi yang terbaca sebenarnya cuma satu aja, yaitu sitemap.xml.
HapusSelengkapnya bacs di sini:
https://www.igniel.com/2019/05/cara-submit-sitemap-google-search-console.html
Masih bingung yah kak
BalasHapusKalo Muncul gini harus Gimana gan
BalasHapushttps://www.domainsaya .com/sitemap.xml Sitemap index Jul 11, 2019 Nov 15, 2017 1 error
Sitemap index can be read, but has errors
General HTTP error
Mantap mas artikelnya sangat mencerahkan. salam sukses
BalasHapusmaaf mau nanya
BalasHapusdi webmaster punya saya ada Dikecualikan oleh tag ‘noindex’ itu terjadi pada
urlblogsaya/search/label/C
karena saya memasang meta tag pada template blog nya..apakah itu berpengaruh untuk blog saya di mata google dan apakah harus di hapus meta tag itu ??
kemudian ada Di-crawl - saat ini tidak diindeks pada
urlblogsaya/feeds/posts/summary
cara ngatasi nya gimana yah ??
saya kadang menemukan artikel dengan penulisan :
BalasHapusUser-agent: *
Disallow: /search
Allow: /
apa bedanya antara penerapan Disallow: /search yang di tengah dan diakhir ?
apakah sama atau berbeda ?
Sama saja. Yang penting isi dari allow dan disallownya.
HapusTerima kasih banyak atas infonya, benar2 bermanfaat, semoga kedepannya terus berbagi info2 seperti ini khususnya buat kami para pemula...terimakasih ya bu, sukses terus buat anda, salam kenal.
BalasHapusTerima kasih mas sudah berbagi ilmu semoga kedepanya dapat begai info terus.
BalasHapuskalau kaya gini
BalasHapusUser-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: URL BLOG/sitemap.xml
disarankan tidak ?
Thanks gan membantu sangad.
BalasHapusThanks Pencerahan yang sangat membantu mbak igniel
BalasHapusmakasih mantap artikelnya bisa diterapkan di blog jualan saya
BalasHapusmbak mau nanya kalo custom domain yg url blogspot aslinya ikut di kirim sitemap & robot.txt gk?
BalasHapusmisal custom domainb: abce.com
url blogspotnya : abce.blogspot.com
dua duanya dikirim apa satu aja?
Satu aja. Pakai domain yang sedang digunakan.
HapusTerimakasih.. sangat membantu
BalasHapusSudah saya terapkan. Terima kasih.
BalasHapusterima kasih ilmunya bermanfaat
BalasHapuskalo blog yang ini pake yang mana mba?
BalasHapusCuma robots.txt aja.
HapusUser-agent: Mediapartners-Google
BalasHapusMediapartners-Google itu maksudnya apa yaa ?
Apa aja itu Mediapartner nya google
Bot buat AdSense.
HapusKalau tanda bintang (*) artinya udah mencakup semua, termasuk Mediapartners-Google.
makasih kak
BalasHapusThanks infonya. Saya blogger newbie, coba cek blog saya kak Cloud Heaven Liquid Official, sudah bagus belum ya?
BalasHapusMantap sekali tutornya mba igniel
BalasHapusTerima kasih informasinya gan. Anw, templet blognya bagus nih. Keren
BalasHapusmau tanya, kak. kalau tiba2 artikel baru di blog nggak bisa terindex itu penyebabnya apa ya?
BalasHapussekarang tiap submit artikel baru di google search control, tulisannya selalu "crawled - currently not indexed". Padahal nggak ada settingan robot. txt yg saya rubat. settingan sitemap di google search control pun nggak saya apa2in sama sekali..
Apa perlu submitan sitemap saya yg lama dihapus semua, trs disubmit ulang dr awal lagi?
Adakah tips-nya untuk masalah blog saya ini kak? makasih banyak ya sebelumnya
Saya juga mengalami hal yang sama untuk saat ini, gimana mas apakah sudah bisa diatasi? Jika sudah bagaimana caranya?
HapusSaya juga mengalami hal yang sama, apakah sudah ketemu solusinya mas...? sekarang lebih susah dibanding 2 tahun kebelakang
HapusMantap.. artikelnya sangat membantu, cuma saya mau tanya apakah akan ada perbedaan index di google jika sitemapnya di tulis contoh seperti ini :
BalasHapusSitemap: https://yudha-wibowo.blogspot.com/sitemap.xml
atau memang harus seperti ini :
Sitemap: https://www.yudha-wibowo.blogspot.com/sitemap.xml
jadi apakah harus dengan www atau langsung saja , apakah nanti hasilnya akan berbeda ?
Mohon jawabannya admin, terimakasih..
Kalau masih pake domain blogspot TIDAK PERLU pakai www
HapusOke Baik.. Terimakasih mba Igniel atas jawabannya, sangat membantu.. :)
HapusMba Igniel , setelah mengikuti tutorial setting robot txt ini , selanjutnya saya mendapati notifikasi Liputan -> Diindeks, meski diblokir oleh robots.txt pada webmaster google, apakah ini akan ada pengaruhnya pada blog saya ? bagaimana cara menghilangkan notif tersebut tanpa harus men disallow kan search robot txt tersebut ?
BalasHapusMohon penjelasannya , salam :) terimakasih.
Dicek dulu halaman atau URL yang diblokirnya. Apakah itu halaman search, label, dan arsip?
HapusKalau iya, biarkan. Ketiga halaman itu memang nggak perlu diindeks karena nggak bagus.
Kalau bukan itu, jabarkan lagi keterangan lengkapnya
Iya betul mba , notifikasi tersebut muncul untuk halaman /search/label/ , jadi tetap dibiarkan (abaikan) saja ya mba dan tidak perlu diperbaiki.. tapi apakah nanti kedepannya akan ada pengaruh di mesin pencari ? karena pastinya jumlah ini nanti akan terus meningkat..
HapusPermisi mau tanya, gimana cara mengisi bagian allow nya ya? Dan bagaimana kalau tidak diisi?
BalasHapusTerimakasih infonya mba
BalasHapusmasih berlaku kah di tahun 2020?
BalasHapusPantesan aja ,blog saya blog archive di search engine kalau dicek. Dulu setting tapi kenapa hilang sendiri, dan hari ini saya sering lagi. Terimakasih infonya. Moga berkah ilmunya
BalasHapusMbak kok blogku waktu di akses gkbisa misal http://www.blogku.com/robot.txt
BalasHapusterima kasih mbak, sangat membantu artikelnya.....
BalasHapusmakasih mba ilmunya
BalasHapuswah jadi tau ilmu baru makasih ya mba igniel
BalasHapusterima kasih banyak bang igneal, tapi kenapa saya masih "diindeks,meski diblokir oleh robots.txt ?
BalasHapusbagaimana menyebutkan "class" dari postingan di meta tag?
BalasHapusmbak, ko pas di ceh https://blog saya/robot.txt malah jadi halaman 404
BalasHapustolong kasih pencerahannya
Bagian blog saya nya diubah ke url blog mas nya.
HapusCoba dulu ah, baru pertama kali nyobain nih..Makasih kakak Igniel..
BalasHapusmakasih gan sudah berbagi ilmu, soalnya saya ini korban search console yang membingungkan
BalasHapusKeren, Semangat Terus kak
HapusKak igniel saya mau tanya apa bisa dipengaturan
BalasHapusUser-agent: * apakah bisa untuk mengecualikan template (template magify) yang menggunakan {getMega}%20$label ?
https://semarinteriorjasatukangrenovasirumah.blogspot.com/2020/10/{getMega}%20$label={xxxxxx}.
terimakasih
Mbak Igniel udah cantik , pinter , baik hati lagi ..
BalasHapusMas minta saran donk blog saya udah oke belum yah, tolong di check donk https://lintasalamsentul.blogspot.com/
BalasHapus3 tahun ngeblog kok baru tau ya, makasih atas ilmunya.
BalasHapusTerimakasih Mbak Igneal,
BalasHapusLangsung praktek,
Meskipun bentuk setinggan blogspot sudah berubah, berusaha memahami hehe
terima kasih buat ilmunya, sangat bermanfaat buat siapa saja. lanjutkan berbaginya
BalasHapuswidih manfaat
BalasHapusSaya akan coba cara di atas.. Dan saya mo nanya sitemap di webmaster tidak update gimana caranya.. Makasih.. Soalnya masalah ini ter jadi di salah satu blog saya.. Yang lain tetap update..
BalasHapusmba... tolong aku. dulu aku pakai domain ngubaidillah.com,,, udah banyak artikel yang masuk ke google search. karena aku belum pengalaman, akhirnya ganti domain, menjadi "my.id" yang murah. eh ternyata langsung ga ada pengunjung organik. step apa saja yang harus kulakukan? terimakasih
BalasHapusBantu jawab, coba diredirect aja mas, semua url blog lama ke url blog yang baru. Tutorialnya bisa cari di google banyak. Semoga segera teratasi masalahnya.
HapusMantap lah bolanazry
BalasHapusTerima kasih nona ignel....ai love u
BalasHapusUntuk ?m=1 apakah perlu di disallow ??
BalasHapusThx mba, tutor nya
BalasHapushttps://www.ghostxcode7-news.my.id
Makasih
BalasHapuskak pake template apa.. bagus sekali
BalasHapusBikin sendiri kak.
HapusMba, menurut mas indrak (indrak ada di youtube, https://www.youtube.com/watch?v=enLsHMl8K3M), pada disallow tidak diusah isi apa apa, sekarang google sudah lebih pintar, jadi tidak akan dianggap duplikat content, benarkah?
BalasHapusMbak yang bener :
BalasHapusversi 1:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://nama blog/sitemap.xml
versi 2:
User-agent: *
Allow: /
Disallow: /search
Sitemap: http://nama blog/sitemap.xml
Atau keduanya sama saja dan gak ada efek, seperti allow:/ yang versi 1 sama yg versi 2.
terima kasih mbak
Sama aja
HapusSUdah saya terapkan pada blog saya mas,,
BalasHapusKunjungi blog saya di --> https://www.ketikanganas.my.id/
slam kenal... sukses blogging..
Mumet... Mending facebookan 😂
BalasHapusArtikel yang sangat membantu penjelasan lengkap dan mudah dipahami, akhirnya ada solusi terkait masalah setting robots.txt yang benar terima kasih.
BalasHapusJika berkenan mampir ya kak
ke blogku: httpss://www.guntur.eu.org