Cara Mengirim Ulang File Robots.txt yang Diperbarui atau Baru

robot txt

Agensi kami menangani konsultasi pencarian organik untuk beberapa vendor SaaS di industri. Seorang klien yang baru-baru ini kami mulai bekerja telah melakukan praktik yang cukup standar, menempatkan aplikasi mereka pada subdomain dan memindahkan situs brosur mereka ke domain inti. Ini adalah praktik standar karena memungkinkan tim produksi dan tim pemasaran Anda melakukan pembaruan sesuai kebutuhan tanpa ketergantungan satu sama lain.

Sebagai langkah pertama dalam menganalisis kesehatan penelusuran organik mereka, kami mendaftarkan domain brosur dan aplikasi di Webmaster. Saat itulah kami mengidentifikasi masalah langsung. Semua halaman aplikasi diblokir agar tidak diindeks oleh mesin pencari. Kami membuka entri robots.txt mereka di Webmaster dan langsung mengidentifikasi masalahnya.

Saat mempersiapkan migrasi, tim pengembangan mereka tidak ingin subdomain aplikasi diindeks oleh penelusuran, jadi mereka melarang akses ke mesin telusur. File robots.txt adalah file yang ditemukan di root situs Anda - domainanda.com/robots.txt - yang memungkinkan mesin telusur mengetahui apakah mereka harus merayapi situs atau tidak. Anda dapat menulis aturan untuk mengizinkan atau melarang pengindeksan di seluruh situs atau jalur tertentu. Anda juga dapat menambahkan baris untuk menentukan file peta situs Anda.

The robots.txt file memiliki entri berikut yang mencegah situs dirayapi dan diindeks dalam peringkat hasil penelusuran:

User-Agent: * Disallow: /

Seharusnya ditulis sebagai berikut:

Agen-pengguna: * Mengizinkan: /

Yang terakhir memberikan izin kepada mesin pencari yang merayapi situs sehingga mereka dapat mengakses direktori atau file apa pun di dalam situs.

Bagus… jadi sekarang robots.txt file sempurna tetapi bagaimana Google tahu dan kapan mereka akan memeriksa situs itu lagi? Nah, Anda benar-benar dapat meminta Google untuk memeriksa robots.txt Anda, tetapi itu tidak terlalu intuitif.

Arahkan ke Search Console Google Search Console ke Perayapan> Penguji robots.txt. Anda akan melihat konten file robots.txt yang baru saja dirayapi dalam Penguji. Jika Anda ingin mengirim ulang file robots.txt Anda, klik Kirim dan popup akan muncul dengan beberapa pilihan.

kirim ulang robots.txt

Opsi terakhir adalah Minta Google untuk memperbarui. Klik tombol Kirim biru di sebelah opsi itu dan kemudian navigasikan kembali ke Perayapan> Penguji robots.txt opsi menu untuk memuat ulang halaman. Sekarang Anda akan melihat file robots.txt yang diperbarui bersama dengan cap tanggal yang menunjukkan bahwa file tersebut telah dirayapi lagi.

Jika Anda tidak melihat versi yang diperbarui, Anda dapat mengklik kirim dan pilih Lihat versi yang diunggah untuk membuka file robots.txt Anda yang sebenarnya. Banyak sistem akan menyimpan file ini ke dalam cache. Faktanya, IIS membuat file ini secara dinamis berdasarkan aturan yang dimasukkan melalui antarmuka penggunanya. Anda kemungkinan besar harus memperbarui aturan dan menyegarkan cache untuk menerbitkan file robots.txt baru.

penguji-robot

Bagaimana menurut Anda?

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.