Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Setting robots.txt dan Custom Robots Header Tags yang Aman Di Blogger

Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex. Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.

Oleh karena itu dibutuhkan settingan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat. Penerapan default inilah yang paling aman. Tapi kalau kamu mau melakukan konfigurasi tambahan, maka ikuti tutorial cara setting robots.txt di Blogger dibawah.


1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly

Buka menu Settings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.
Cara Setting file robots.txt di Blogger Agar SEO Friendly

Pada pilihan Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.
User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Nama Keterangan
User-agent Nama robot mesin pencari (web crawler software).
Disallow Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent.
Allow Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent.
Sitemap Lokasi sitemap. Ganti dengan alamat blog kamu.

Nama Keterangan
User-agent: *
Allow: /
Disallow: /search		 Mengizinkan semua jenis user-agent untuk merayapi semua direktori, kecuali semua URL yang memiliki direktori /search. Contoh:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
Sitemap: https://www.blogkamu.com/sitemap.xml Memberitahukan pada robot perayap dimana lokasi sitemap berada.

Setelah selesai, klik tombol Save changes
Pengaturan robots.txt di Blogger Agar Artikel Cepat Terindex

1.1. Mencegah Perayapan Pada URL Halaman Tertentu

Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/kontak-lama.html
Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.
https://www.blogkamu.com/robots.txt


2. Mengatur Custom Robots Header Tags Di Blogger

Masih di menu yang sama yaitu Crawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.

Cara Setting tag tajuk robot khusus di Blogger Agar Blog SEO Friendly

Keterangan:
  1. Mengizinkan mesin pencari untuk merayapi semua direktori homepage (beranda), post, dan pages (halaman statis).
  2. Tidak mengizinkan mesin pencari untuk merayapi direktori archive (arsip) dan search (pencarian) seperti yang sudah dijelaskan diatas.


3. Kenapa Direktori Achive (Arsip) dan Search (Pencarian) Tidak Dirayapi?

Karena direktori kedua halaman itu mengandung URL yang depannya sama.
Sudah dicontohkan diatas, direktori hasil pencarian adalah:
https://www.blogkamu.com/search?q=cara+mempercepat+blog
https://www.blogkamu.com/search/label/CSS
https://www.blogkamu.com/search?updated-max=2018-01-30T23%3A00%3A00%2B07%3A00&max-results=8#PageNo=2
dll masih banyak lagi sesuai jumlah artikel.

Format penulisan URL setelah homepage https://www.blogkamu.com selalu sama, yaitu diikuti oleh /search. Melarang robot merayapi direktori ini bertujuan untuk mencegah konten duplikat yang bisa berakibat terkena penalti dari mesin pencari.

Saya kira sudah jelas ya soal setting robots.txt dan custom robots header tags di Blogger ini. Saya bukan ahli SEO, jadi kalau ada yang salah harap koreksi dengan cara memberikan komentar dibawah.

https://support.google.com/webmasters/answer/6062596?hl=en&ref_topic=6061961
https://productforums.google.com/d/msg/blogger/oqTYevwSeK8/O7KIQDRzAAAJ

Artikel Terkait

120 komentar

Ikuti format penulisan berikut untuk menyisipkan elemen tambahan.
  • Menulis kode gunakan <i>kode</i>
  • Menulis dalam syntax highlighter gunakan <em>kode panjang</em>
  • Menyisipkan gambar gunakan <strong>URL GAMBAR</strong>
  • Website Development
    27/4/22
    Profil: https://www.blogger.com/profile/12418425926453731643
    sudah terindex terimakasih
  • Teguh Reborn
    8/4/22
    Profil: https://www.blogger.com/profile/02929480832311013332
    index nya kira2 butuh berapa hari ya mas ?
  • Raja
    2/3/22
    Profil: https://www.blogger.com/profile/13089311636566914773
    Maaf sekali lagi tanya mbak, yang bagian sitemap itu apa harus kita buat halaman baru setelah mengisi robot txt dengan judul sitemap XML ... Soalnya punya saya setelah membuat sitemap jadi judulnya. Sitemap HTML
  • Raja
    2/3/22
    Profil: https://www.blogger.com/profile/13089311636566914773
    Maaf msh pemula, mau nanya mbak saya kan udah banyak bca di artikel lain juga, yang user agent media partner google kan itu Adsense, nah saya pernah juga baca kalo ada yang mengetikan di tombol pencarian blog kita, " Kata² yg tidak pantas " Adsense kita bisa kena pelanggaran, apakah bisa kita mengatur supaya google adsense gak bisa merayapi tombol pencarian di blog kita ? Supaya aman gitu. Dan cara penerapan penulisannya gimana ? Kalo bisa. Apa harus di tulis user agent: mediapartner google
    Disallow: /tombolpencarian misalnya begitu mbak ? Mohon pencerahannya mbak. Sekali lagi maaf masih pemula Makasih
  • M.Nurkholis
    27/2/22
    Profil: https://www.blogger.com/profile/14710897115802973322
    Mohon pencerahannya mbak, saya pakai robot.txt ini aman nggak ya?
    User-agent: *
    Allow: /
    Disallow: /search
    Disallow: /?m=1
    Disallow: /?m=0
    Disallow: /*?m=1
    Disallow: /*?m=0
    Disallow: /*/*/*.html?showComment=*

    Makasih mbak igniel
    • Igniel
      27/2/22
      Profil: https://www.blogger.com/profile/09199170379661896200
      Aman mas.
    • guru-id.com
      13/5/22
      Profil: https://www.blogger.com/profile/01438447926744248815
      TERIMA KASIH
  • Guntur PH
    11/2/22
    Profil: https://www.blogger.com/profile/13740499485713588084
    Nice artikel min baru lengkap penjelasan nya terkait pembahasan robots.txt sangat membantu, saya sudah menerapkannya thanks.

    Jika berkenan mampir ke blog saya ya:"
    https://www.balahatun.com
  • Muhammad Khaibar
    1/2/22
    Profil: https://www.blogger.com/profile/17343924465433268845
    mantap kakk infonya, boleh lah main-main ke website saya hehehe
  • Restu Singgih
    25/1/22
    Profil: https://www.blogger.com/profile/04730351927411012440
    saya sudah sesuaikan semua tapi di console issue error terus gimana ya
  • Ryan Setiawan
    10/1/22
    Profil: https://www.blogger.com/profile/13173224792557981312
    Makasih banget loh tutornya.. saya izin repost tutornya ya kak nanti kalo di perlukan.. maklum blogger baru.. nanti pasti tak kasih sumber tutornya kok.. sekali lagi terima kasih..
  • GayaWax
    1/12/21
    Profil: https://www.blogger.com/profile/03363621553231178895
    Mbak ini setting robot.txt berpengaruh dengan index google kan ya ?
    Sekarang google lagi susah index, udah gonta-ganti setting ga banyak ngaruh. Nyobain settingan mbak Igniel siapa tau manjur.

    Terima Kasih.
  • Zenius Admin
    7/10/21
    Profil: https://www.blogger.com/profile/03627123355273397823
    berapa kali coba, tapi emang index google lama ya? rasanya kok rada aneh...

    tapi artikel dan blognya bagus min. Kunjungan nya min, https://diarymasboy.blogspot.com
  • Admin
    12/9/21
    Profil: https://www.blogger.com/profile/05498183615108637997
    #Terimakasih mba, saya blogger pemula dan mencoba menrapkan ini semoga sehat selalu dan sukses
    #karirhub.blogspot.com {margin:0; padding:10px 15px}
  • Adi Cengres
    5/9/21
    Profil: https://www.blogger.com/profile/13558826883170399663
    Teria kasih kak atas informasinya. singkat,jelas dan padat.
  • Tribunshitpost
    2/9/21
    Profil: https://www.blogger.com/profile/16633396085064635374
    semangattttttttttttt
  • Ghina
    26/8/21
    Profil: https://www.blogger.com/profile/16957835296284601330
    Thanks kakkk baru paham aku
  • Guntur
    3/8/21
    Profil: https://www.blogger.com/profile/17704693309737041470
    Artikel yang sangat membantu penjelasan lengkap dan mudah dipahami, akhirnya ada solusi terkait masalah setting robots.txt yang benar terima kasih.

    Jika berkenan mampir ya kak
    ke blogku: httpss://www.guntur.eu.org
  • Winarno
    11/7/21
    Profil: https://www.blogger.com/profile/02226575747796343022
    Mumet... Mending facebookan 😂
  • Bos Bgenx
    10/7/21
    Profil: https://www.blogger.com/profile/13534408267468139903
    SUdah saya terapkan pada blog saya mas,,

    Kunjungi blog saya di --> https://www.ketikanganas.my.id/

    slam kenal... sukses blogging..
  • Feri Nugroho
    3/7/21
    Profil: https://www.blogger.com/profile/02850461666676283713
    Mbak yang bener :
    versi 1:
    User-agent: *

    Disallow: /search
    Allow: /
    Sitemap: http://nama blog/sitemap.xml

    versi 2:
    User-agent: *
    Allow: /
    Disallow: /search

    Sitemap: http://nama blog/sitemap.xml

    Atau keduanya sama saja dan gak ada efek, seperti allow:/ yang versi 1 sama yg versi 2.
    terima kasih mbak
    • Ikhsan
      6/7/21
      Profil: https://www.blogger.com/profile/03380939502323421713
      Sama aja
  • Toko Buku Bekas Aksiku
    27/6/21
    Profil: https://www.blogger.com/profile/01677557629330387247
    Mba, menurut mas indrak (indrak ada di youtube, https://www.youtube.com/watch?v=enLsHMl8K3M), pada disallow tidak diusah isi apa apa, sekarang google sudah lebih pintar, jadi tidak akan dianggap duplikat content, benarkah?
  • Seputar Pedia
    17/6/21
    Profil: https://www.blogger.com/profile/16674551834049100073
    kak pake template apa.. bagus sekali
    • Igniel
      17/6/21
      Profil: https://www.blogger.com/profile/09199170379661896200
      Bikin sendiri kak.
  • Asep
    7/5/21
    Profil: https://www.blogger.com/profile/08055835080243633277
    Makasih
  • Muhammad Hafiz
    6/5/21
    Profil: https://www.blogger.com/profile/00327264751896687434
    Thx mba, tutor nya
    https://www.ghostxcode7-news.my.id
  • Saif Ghofur
    30/4/21
    Profil: https://www.blogger.com/profile/04924137136364466463
    Untuk ?m=1 apakah perlu di disallow ??
  • Teknik Workshop
    17/4/21
    Profil: https://www.blogger.com/profile/08376732983676330542
    Terima kasih nona ignel....ai love u
  • Cara seo
    11/4/21
    Profil: https://www.blogger.com/profile/12924354793694779474
    Mantap lah bolanazry
  • Admin
    9/4/21
    Profil: https://www.blogger.com/profile/00364100700861599561
    mba... tolong aku. dulu aku pakai domain ngubaidillah.com,,, udah banyak artikel yang masuk ke google search. karena aku belum pengalaman, akhirnya ganti domain, menjadi "my.id" yang murah. eh ternyata langsung ga ada pengunjung organik. step apa saja yang harus kulakukan? terimakasih
    • PayuBaco
      11/4/21
      Profil: https://www.blogger.com/profile/02293372772988889351
      Bantu jawab, coba diredirect aja mas, semua url blog lama ke url blog yang baru. Tutorialnya bisa cari di google banyak. Semoga segera teratasi masalahnya.
    • SIMPANG suwir
      12/9/21
      Profil: https://www.blogger.com/profile/16454733113647103109
      di Google Search Console bisa disetting perubahan domain. Itu yang membantu perayapan. Kalau belum paham coba browsing cara submit ke Google Search Console.
  • Caraservis
    5/4/21
    Profil: https://www.blogger.com/profile/12082572390460100000
    Saya akan coba cara di atas.. Dan saya mo nanya sitemap di webmaster tidak update gimana caranya.. Makasih.. Soalnya masalah ini ter jadi di salah satu blog saya.. Yang lain tetap update..
  • Hilman Ubaydillah
    3/4/21
    Profil: https://www.blogger.com/profile/16724958637828226540
    widih manfaat
  • Toko Website 99
    28/3/21
    Profil: https://www.blogger.com/profile/05702066782265858064
    terima kasih buat ilmunya, sangat bermanfaat buat siapa saja. lanjutkan berbaginya
  • Arif Rudiantoro
    12/3/21
    Profil: https://www.blogger.com/profile/08153473975321332891
    Terimakasih Mbak Igneal,
    Langsung praktek,
    Meskipun bentuk setinggan blogspot sudah berubah, berusaha memahami hehe
  • Dadanby
    1/3/21
    Profil: https://www.blogger.com/profile/02530752554636797063
    3 tahun ngeblog kok baru tau ya, makasih atas ilmunya.
  • Lintas Alam Sentul
    25/2/21
    Profil: https://www.blogger.com/profile/17483477030948533862
    Mas minta saran donk blog saya udah oke belum yah, tolong di check donk https://lintasalamsentul.blogspot.com/
  • Anonim
    Anonim 13/2/21
    Mbak Igniel udah cantik , pinter , baik hati lagi ..
  • Halo Tukang
    11/1/21
    Profil: https://www.blogger.com/profile/12023743968976634866
    Kak igniel saya mau tanya apa bisa dipengaturan
    User-agent: * apakah bisa untuk mengecualikan template (template magify) yang menggunakan {getMega}%20$label ?

    https://semarinteriorjasatukangrenovasirumah.blogspot.com/2020/10/{getMega}%20$label={xxxxxx}.
    terimakasih
  • Majuterus
    6/11/20
    Profil: https://www.blogger.com/profile/10754746311293864698
    makasih gan sudah berbagi ilmu, soalnya saya ini korban search console yang membingungkan
    • Bang Amrul
      18/12/20
      Profil: https://www.blogger.com/profile/07200641778388555677
      Keren, Semangat Terus kak
  • Agung Betariko
    1/10/20
    Profil: https://www.blogger.com/profile/12701806457857868392
    Coba dulu ah, baru pertama kali nyobain nih..Makasih kakak Igniel..
  • Ali Hyuuga
    13/8/20
    Profil: https://www.blogger.com/profile/06361308303600420638
    mbak, ko pas di ceh https://blog saya/robot.txt malah jadi halaman 404

    tolong kasih pencerahannya
    • PayuBaco
      5/2/21
      Profil: https://www.blogger.com/profile/02293372772988889351
      Bagian blog saya nya diubah ke url blog mas nya.
  • Muhammad Tahir Habib
    14/5/20
    Profil: https://www.blogger.com/profile/11642191808857583763
    bagaimana menyebutkan "class" dari postingan di meta tag?
  • HabibSH
    10/5/20
    Profil: https://www.blogger.com/profile/13506737370216205058
    terima kasih banyak bang igneal, tapi kenapa saya masih "diindeks,meski diblokir oleh robots.txt ?
  • ilmuit
    17/4/20
    Profil: https://www.blogger.com/profile/08356925560396477205
    wah jadi tau ilmu baru makasih ya mba igniel
  • idokeren
    17/4/20
    Profil: https://www.blogger.com/profile/12705552802253689198
    makasih mba ilmunya
  • emma anhar
    9/4/20
    Profil: https://www.blogger.com/profile/00824507546758437844
    terima kasih mbak, sangat membantu artikelnya.....
  • Droidide
    28/3/20
    Profil: https://www.blogger.com/profile/14943304334673207353
    Mbak kok blogku waktu di akses gkbisa misal http://www.blogku.com/robot.txt
  • Omer.D
    19/3/20
    Profil: https://www.blogger.com/profile/16852246400224178492
    Pantesan aja ,blog saya blog archive di search engine kalau dicek. Dulu setting tapi kenapa hilang sendiri, dan hari ini saya sering lagi. Terimakasih infonya. Moga berkah ilmunya
  • Dewangga Setiawan
    9/3/20
    Profil: https://www.blogger.com/profile/10258787197324729672
    masih berlaku kah di tahun 2020?
  • SakitMata
    27/2/20
    Profil: https://www.blogger.com/profile/09393004848170758598
    Terimakasih infonya mba
  • Kartiko Syla Alda
    3/1/20
    Profil: https://www.blogger.com/profile/03638798802684686973
    Permisi mau tanya, gimana cara mengisi bagian allow nya ya? Dan bagaimana kalau tidak diisi?
  • Yudha Wibowo
    3/1/20
    Profil: https://www.blogger.com/profile/17119349223402740662
    Mba Igniel , setelah mengikuti tutorial setting robot txt ini , selanjutnya saya mendapati notifikasi Liputan -> Diindeks, meski diblokir oleh robots.txt pada webmaster google, apakah ini akan ada pengaruhnya pada blog saya ? bagaimana cara menghilangkan notif tersebut tanpa harus men disallow kan search robot txt tersebut ?

    Mohon penjelasannya , salam :) terimakasih.
    • Igniel
      3/1/20
      Profil: https://www.blogger.com/profile/09199170379661896200
      Dicek dulu halaman atau URL yang diblokirnya. Apakah itu halaman search, label, dan arsip?
      Kalau iya, biarkan. Ketiga halaman itu memang nggak perlu diindeks karena nggak bagus.

      Kalau bukan itu, jabarkan lagi keterangan lengkapnya
    • Yudha Wibowo
      3/1/20
      Profil: https://www.blogger.com/profile/17119349223402740662
      Iya betul mba , notifikasi tersebut muncul untuk halaman /search/label/ , jadi tetap dibiarkan (abaikan) saja ya mba dan tidak perlu diperbaiki.. tapi apakah nanti kedepannya akan ada pengaruh di mesin pencari ? karena pastinya jumlah ini nanti akan terus meningkat..
  • Yudha Wibowo
    7/12/19
    Profil: https://www.blogger.com/profile/17119349223402740662
    Mantap.. artikelnya sangat membantu, cuma saya mau tanya apakah akan ada perbedaan index di google jika sitemapnya di tulis contoh seperti ini :

    Sitemap: https://yudha-wibowo.blogspot.com/sitemap.xml

    atau memang harus seperti ini :

    Sitemap: https://www.yudha-wibowo.blogspot.com/sitemap.xml

    jadi apakah harus dengan www atau langsung saja , apakah nanti hasilnya akan berbeda ?

    Mohon jawabannya admin, terimakasih..
    • Igniel
      7/12/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Kalau masih pake domain blogspot TIDAK PERLU pakai www
    • Yudha Wibowo
      7/12/19
      Profil: https://www.blogger.com/profile/17119349223402740662
      Oke Baik.. Terimakasih mba Igniel atas jawabannya, sangat membantu.. :)
  • Abe (Jurnalabe.com)
    17/11/19
    Profil: https://www.blogger.com/profile/10355952919538524323
    mau tanya, kak. kalau tiba2 artikel baru di blog nggak bisa terindex itu penyebabnya apa ya?

    sekarang tiap submit artikel baru di google search control, tulisannya selalu "crawled - currently not indexed". Padahal nggak ada settingan robot. txt yg saya rubat. settingan sitemap di google search control pun nggak saya apa2in sama sekali..

    Apa perlu submitan sitemap saya yg lama dihapus semua, trs disubmit ulang dr awal lagi?

    Adakah tips-nya untuk masalah blog saya ini kak? makasih banyak ya sebelumnya
    • PayuBaco
      5/2/21
      Profil: https://www.blogger.com/profile/02293372772988889351
      Saya juga mengalami hal yang sama untuk saat ini, gimana mas apakah sudah bisa diatasi? Jika sudah bagaimana caranya?
    • Rangga Syahrul Ramadhan
      17/3/21
      Profil: https://www.blogger.com/profile/16597627745013693946
      Saya juga mengalami hal yang sama, apakah sudah ketemu solusinya mas...? sekarang lebih susah dibanding 2 tahun kebelakang
  • nurlellamusic.blogspot.com
    15/10/19
    Profil: https://www.blogger.com/profile/07828469287538582287
    Terima kasih informasinya gan. Anw, templet blognya bagus nih. Keren
  • Muhammad Rafli
    8/10/19
    Profil: https://www.blogger.com/profile/02873186839157360548
    Mantap sekali tutornya mba igniel
  • Unknown
    26/9/19
    Profil: https://www.blogger.com/profile/12721704988029786236
    Thanks infonya. Saya blogger newbie, coba cek blog saya kak Cloud Heaven Liquid Official, sudah bagus belum ya?
  • Mas Dejay
    24/9/19
    Profil: https://www.blogger.com/profile/12991200391127524245
    makasih kak
  • Kia Meliala
    8/9/19
    Profil: https://www.blogger.com/profile/16053603420855032628
    User-agent: Mediapartners-Google

    Mediapartners-Google itu maksudnya apa yaa ?
    Apa aja itu Mediapartner nya google
    • Igniel
      8/9/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Bot buat AdSense.
      Kalau tanda bintang (*) artinya udah mencakup semua, termasuk Mediapartners-Google.
  • Iman Fauzy
    6/9/19
    Profil: https://www.blogger.com/profile/00125236838850887337
    kalo blog yang ini pake yang mana mba?
    • Igniel
      7/9/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Cuma robots.txt aja.
  • pak goe kim
    19/8/19
    Profil: https://www.blogger.com/profile/15847319925257433522
    terima kasih ilmunya bermanfaat
  • SUPRAPTO
    16/8/19
    Profil: https://www.blogger.com/profile/00356781236737261330
    Sudah saya terapkan. Terima kasih.
  • Anonim
    Anonim 14/8/19
    Terimakasih.. sangat membantu
  • Khatami
    14/8/19
    Profil: https://www.blogger.com/profile/13159108141269610162
    mbak mau nanya kalo custom domain yg url blogspot aslinya ikut di kirim sitemap & robot.txt gk?
    misal custom domainb: abce.com
    url blogspotnya : abce.blogspot.com
    dua duanya dikirim apa satu aja?
    • Igniel
      14/8/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Satu aja. Pakai domain yang sedang digunakan.
  • Rosita Shop
    13/8/19
    Profil: https://www.blogger.com/profile/18120865878812087229
    makasih mantap artikelnya bisa diterapkan di blog jualan saya
  • Kanjeng Mariyadi Ngawi
    11/8/19
    Profil: https://www.blogger.com/profile/04856905821293514049
    Thanks Pencerahan yang sangat membantu mbak igniel
  • admin
    6/8/19
    Profil: https://www.blogger.com/profile/09656802710618950696
    Thanks gan membantu sangad.
  • Admin
    31/7/19
    Profil: https://www.blogger.com/profile/09188399858089813264
    kalau kaya gini

    User-agent: Mediapartners-Google
    Disallow:
    User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=1
    Disallow: /?m=0
    Disallow: /*?m=1
    Disallow: /*?m=0
    User-agent: *
    Disallow: /search
    Sitemap: URL BLOG/sitemap.xml

    disarankan tidak ?
  • marco
    30/7/19
    Profil: https://www.blogger.com/profile/06771541447784841190
    Terima kasih mas sudah berbagi ilmu semoga kedepanya dapat begai info terus.
  • VanBija27
    29/7/19
    Profil: https://www.blogger.com/profile/07335145707638754088
    Terima kasih banyak atas infonya, benar2 bermanfaat, semoga kedepannya terus berbagi info2 seperti ini khususnya buat kami para pemula...terimakasih ya bu, sukses terus buat anda, salam kenal.
  • Handy Rusandi
    28/7/19
    Profil: https://www.blogger.com/profile/09411952026515715905
    saya kadang menemukan artikel dengan penulisan :

    User-agent: *
    Disallow: /search
    Allow: /

    apa bedanya antara penerapan Disallow: /search yang di tengah dan diakhir ?
    apakah sama atau berbeda ?
    • Igniel
      28/7/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Sama saja. Yang penting isi dari allow dan disallownya.
  • Admin
    27/7/19
    Profil: https://www.blogger.com/profile/09188399858089813264
    maaf mau nanya
    di webmaster punya saya ada Dikecualikan oleh tag ‘noindex’ itu terjadi pada
    urlblogsaya/search/label/C
    karena saya memasang meta tag pada template blog nya..apakah itu berpengaruh untuk blog saya di mata google dan apakah harus di hapus meta tag itu ??

    kemudian ada Di-crawl - saat ini tidak diindeks pada
    urlblogsaya/feeds/posts/summary
    cara ngatasi nya gimana yah ??

  • Ansar Zainuddin
    15/7/19
    Profil: https://www.blogger.com/profile/12101136358743297751
    Mantap mas artikelnya sangat mencerahkan. salam sukses
  • Admin
    15/7/19
    Profil: https://www.blogger.com/profile/02702532805371669144
    Kalo Muncul gini harus Gimana gan

    https://www.domainsaya .com/sitemap.xml Sitemap index Jul 11, 2019 Nov 15, 2017 1 error

    Sitemap index can be read, but has errors
    General HTTP error
  • Siti Tutut Yuliana
    14/7/19
    Profil: https://www.blogger.com/profile/00725255827030116095
    Masih bingung yah kak
  • Kanjeng Mariyadi Ngawi
    13/7/19
    Profil: https://www.blogger.com/profile/04856905821293514049
    Mbak igniel, saya mau tanya

    Saya menerapkan sitemap.xml pada setting robot saya.


    Apakah di peta situs hanya cukup 1 saja? (Sitemap.xml)

    Ataukah di peta situs saya boleh menambahkan peta situs lain?

    Saya saat ini memkai 14 peta situs mbak . namun kayaknya blog saya terabaikan oleh mesin pencari.


    Mohon pencerahannya
    • Igniel
      13/7/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Boleh lebih tapi yang terbaca sebenarnya cuma satu aja, yaitu sitemap.xml.

      Selengkapnya bacs di sini:
      https://www.igniel.com/2019/05/cara-submit-sitemap-google-search-console.html
  • SaudaraMaya
    6/7/19
    Profil: https://www.blogger.com/profile/11763339734647400503
    terimakasih sangat membantu sekali artikelnya
    www.saudaramaya.blogspot.com
  • iTekno
    2/7/19
    Profil: https://www.blogger.com/profile/15905318081684323823
    Mantul
  • anbusenja
    24/5/19
    Profil: https://www.blogger.com/profile/14383015803964013677
    makasih min infonya ^_^
  • TKMUTIARAIBUNDASKJ
    4/5/19
    Profil: https://www.blogger.com/profile/15202327256403749037
    makasih hu
  • Bangtax
    7/4/19
    Profil: https://www.blogger.com/profile/08481799969280531731
    itu di bagian sitemap nya, ga usah ditambah allow: / mba?
    • Igniel
      7/4/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Ngga usah mas.
  • eva
    4/4/19
    Profil: https://www.blogger.com/profile/04776639647480858661
    wah wah, baru tau
  • Ahsa
    2/4/19
    Profil: https://www.blogger.com/profile/07252865558601287802
    Mantap, tutor yang disarankan seperti bungfrangki (Y)
  • Anti Gaptek
    31/3/19
    Profil: https://www.blogger.com/profile/05162607115035103991
    Makasih gan, ane coba ya
  • Parsika
    28/3/19
    Profil: https://www.blogger.com/profile/12291413646895087111
    mba, kalau ini gimana ? katanya mesti pake mediapartner, mohon pencerahannya

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: https://www.example.com/feeds/posts/default?orderby=updated
    • Igniel
      7/7/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Kalau saya nggak usah. User-agent dengan bintang (*) artinya mencakup semua jenis user agent, termasuk Mediapartners-Google.
    • Saif Ghofur
      18/4/20
      Profil: https://www.blogger.com/profile/04924137136364466463
      Hnya gini mbk 👇

      User-agent:
      Disallow:
      Allow:

      Sitemap

      Biar kyak AdSense, bing, dll bisa ngindex?
  • Info Loker Serang
    26/3/19
    Profil: https://www.blogger.com/profile/13053526579674995497
    lebih bagus yang defaul atau tang ini mba igniel?
  • @TrikGue
    25/3/19
    Profil: https://www.blogger.com/profile/08731874234297226694
    Hadeh pusing mikirin SEO nil, dulu mah waktu ngeblog jaman 2012an saya mah menangan di pencarian Google, cuman sekarang dah pada lupa trik-triknya, soale dah lama fakum, dan baru mulai lagi ngeblog 2018 akhir, sekarang mah lagi fokus ke konten aja lah, eeeeh eeeeeh ehhh malah curhat... Lagi test sama domain baru .info heee
  • windee
    8/3/19
    Profil: https://www.blogger.com/profile/17663820910109385859
    setelah 4 bulan ngeblog baru ini dapet artikel yang detail menjelaskan ttg robot.txt, dan saya baru tahu kalau robot saya salah sehingga terjadilah canonical issue yang membuat banyak artikel saya gagal diindex
    terimakasih banyak mbak igniel
    https://healthyfurther.blogspot.com/
  • Anonim
    Anonim 8/3/19
    Pengaruh untuk SEO dan rank tidak?
    • Igniel
      8/3/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Pengaruh ke SEO.
  • Insan Biasa
    5/3/19
    Profil: https://www.blogger.com/profile/14800207698710460130
    Saya mau bertanya apa bedanya pakai sitemap.xml dengan feeds/posts/default pada robot txt? Mana yang lebih bagus hasilnya?
    • windee
      8/3/19
      Profil: https://www.blogger.com/profile/17663820910109385859
      bantu jawab ya... yang standard google ya yang xml, tetapi google juga menyarankan sitemap dari pihak ketiga ... spt yg kamu tulis itu.. intinya sama saja
    • Admin Penulis
      1/7/19
      Profil: https://www.blogger.com/profile/13117385228856430729
      nah, untuk site xml sendiri itu cuma untuk yang self-hosted aja apa yang ngeblog melalui media Blogger juga bisa ya ?? soalnya saya cukup ragu dengan sitemap saya, saya menggunakan Blogger dan saat membuat sitemap juga menggunakan feeds/posts/default gitu ? yang saya takutkan nanti kalo menggunakan sitemap.xml gak kehubung kemana-mana soalnya saya bikin sitemap menggunakan feeds/posts/default, mohon pencerannya kakak-kakak.
    • Igniel
      1/7/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Sitemap di robots.txt itu akhirannya harus pake .xml
      Jadi pilih yang blog.com/sitemap.xml
  • Anonim
    Anonim 6/11/18
    Terimakasih artikelnya sangat membantu saya. Dan sekarang saya lebih mengerti tentang bagaimana cara mengatur custom robot.txt
  • Unknown
    8/8/18
    Profil: https://www.blogger.com/profile/15652906289403216667
    untuk settiing robot.txt agc blogspot gmn mba?
    • Igniel
      8/8/18
      Profil: https://www.blogger.com/profile/09199170379661896200
      User-agent: *
      Disallow:

      Sitemap: https://www.blogkamu.com/sitemap.xml


      Di custom robots header, bagian archive and search page centang ALL. Lainnya kosongkan.


    • Sakti
      23/3/19
      Profil: https://www.blogger.com/profile/16028105200911967298
      kok di gambar All nya gak di centang bu ?.
    • Igniel
      28/3/19
      Profil: https://www.blogger.com/profile/09199170379661896200
      Mas di atas tanya buat AGC, kakek. Sedangkan di gambar bukan buat AGC.
  • Mas Kholis
    27/7/18
    Profil: https://www.blogger.com/profile/02889398110311460807
    Igniel juga menerapkan cara diatas ya?
    • Igniel
      27/7/18
      Profil: https://www.blogger.com/profile/09199170379661896200
      Iya saya pake juga.