Cara Terbaru Setting Robots.txt di Blogger yang Benar Agar SEO Friendly

Anda mungkin sudah mendengar kata Robots.txt sebagai seorang blogger. Dalam tutorial kali ini saya akan membahas cara terbaru Setting Robots.txt di Blogger yang Benar. Saya juga akan memberi tahu bagaimana menambah file robots.txt khusus di blogger.

Apa itu  Robots.txt ?

Robots.txt adalah file teks yang berisi berberapa baris kode sederhana.Dikenal juga dengan sebutan robot protokol pengecualian, spider web, crawler robot, atau web wanderers. robots.txt sangat erat hubungannya dengan SEO. Robot.txt berfungsi untuk mengontrol dan mengatur halaman atau direktori mana yang boleh ditampilkan/diindex mesin pencari.

Mengapa Anda Perlu Robots.txt ?

File robots.txt mengontrol akses perayapan ke area tertentu di situs anda. Ini sangat berbahaya jika anda secara tidak sengaja melarang Googlebot merayapi seluruh situs anda. File robots.txt sangat berguna di bawah ini beberapa kasus penggunaan umum.

• Mencegah duplikat konten muncul di SERF.
• Menjaga seluruh bagian situs web tetap pribadi.
• Menjaga agar halaman hasil pencarian internal tidak muncul di SERF publik.
• Menentukan lokasi sitemap.
• Mencegah mesin pencarian mengindeks file tertentu di situs web anda ( Gambar, PDF, dll )
• Menentukan keterlambatan perayapan anda untuk mencegah server anda kelebihan beban saat merayapi banyak konten.

Jika tidak ada area di situs anda yang ingin anda kontrol akses agen pengguna. Mungkin anda tidak memerlukan file robots.txt sama sekali.

Menambahkan Robots.Txt Default di Blogger

Sekarang bagian paling penting adalah menambahkan costume robots.txt khusus di blogger. Jadi dibawah ini langkah untuk menambahkan file robots.txt.

1. Login ke blogger kamu.
2. Pilih Pengaturan >> Preferensi penelusuran >> Perayap dan pengindeksan >> Robots.txt khusus >> Edit >> Ya.
3. Sekarang tempel kode file robots.txt di bawah ini ke dalam kotak.
4. Klik tombol simpan perubahan.
5. Anda selesai!

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://AlamatBlogAnda/sitemap.xml

Di tutorial ini saya memakai kode robots.txt default. Jika ingin menggunakan kode robots.txt yang sudah di modifikasi dibawah ini file kodenya.

Costume robots.txt Blogger yang Aman dan SEO Friendly

Untuk cara pemasangan sama dengan yang di atas.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /

Sitemap: https://AlamatBlogAnda/sitemap.xml

Ganti tulisan AlamatBlogAnda dengan alamat blog kamu. Robots.txt di atas memberikan perintah untuk tidak mengindeks halaman about dan contact.

Memeriksa Apakah Anda Memiliki File Robots.txt.

Kamu dapat memeriksa file ini di blog dengan menambahkan /robots.txt di ahkir URL blog kamu di browser web.
Sebagai contoh :

https://AlamatBlogAnda/ robots.txt

Setelah kamu mengunjungi URL file robots.txt akan melihat seluruh kode yang digunakan dalam file robots.txt costume. Pastikan tidak memasukan kode apa pun di pengaturan robots.txt khusus.

Baca juga : Cara Setting Terbaru Tag Tajuk Robot Khusus SEO Friendly di Blogger

Demikian untuk Cara Setting Robots.txt Default dan Custom Robots di Blogger.
Semoga bermanfaat untuk kalian semua.

Bucin

Lebih suka tidur dan rebahan.

Facebook

WhatsApp

Instagram

Share this post