Apa yang diatur robots.txt
File robots.txt berada di root domain dan memberi tahu crawler jalur mana yang boleh atau tidak boleh diakses. Ini file pertama yang diambil sebagian besar bot mesin pencari sebelum merayapi situs. Satu salah ketik di sini bisa diam-diam memblokir seluruh situs Anda dari Google, jadi mengujinya penting.
Penguji ini mengambil robots.txt yang aktif, mem-parse setiap blok user-agent, dan menampilkan setiap aturan Allow dan Disallow plus deklarasi Sitemap dan nilai Crawl-delay. Alat ini menandai jika file hilang, mengembalikan error, atau tidak sengaja memblokir semua crawler.
Cara membaca hasil Anda
Setiap grup user-agent berlaku untuk satu atau lebih bot. Baris `Disallow: /` di bawah `User-agent: *` memblokir semua crawler dari seluruh situs, yang hampir tidak pernah Anda inginkan pada situs aktif. Baris `Disallow:` kosong berarti tidak ada yang diblokir.
Robots.txt mengatur perayapan, bukan pengindeksan. Halaman yang diblokir di robots.txt tetap bisa muncul di hasil pencarian tanpa cuplikan jika situs lain menautkannya. Untuk menjaga halaman benar-benar keluar dari indeks, izinkan perayapan dan gunakan meta tag noindex. Selalu cantumkan XML sitemap dengan baris `Sitemap:` agar crawler bisa menemukan URL Anda.
Panduan terkait
Kesalahan umum yang harus dihindari
- Membiarkan aturan Disallow: / dari tahap pengembangan tetap aktif di produksi.
- Mengharapkan robots.txt menghapus halaman dari indeks (gunakan noindex).
- Menaruh robots.txt di subfolder, bukan di root domain.
- Memblokir CSS atau JS yang dibutuhkan Google untuk merender halaman.
- Lupa mendeklarasikan XML sitemap.
Pertanyaan yang sering diajukan
Apakah robots.txt mencegah halaman terindeks?
Tidak. Ini hanya mengatur perayapan. URL yang di-disallow tetap bisa terindeks jika halaman lain menautkannya. Gunakan meta tag noindex untuk menghapus halaman dari indeks.
Di mana robots.txt harus berada?
Selalu di root domain, misalnya https://contoh.com/robots.txt. File ini tidak bekerja di dalam subfolder.
Apa arti Disallow: /?
Itu memblokir crawler dari setiap URL di situs. Pada situs produksi ini hampir selalu sebuah kesalahan.
Apakah perlu mencantumkan sitemap di robots.txt?
Ya. Menambahkan baris Sitemap: membantu mesin pencari menemukan semua URL penting Anda lebih cepat.