Bagaimana Mesin Pencari Menemukan, Merayapi, dan Mengindeks Konten Anda?
Saya tidak sering menyarankan klien membangun e-commerce atau sistem manajemen konten mereka sendiri karena opsi ekstensibilitas yang diperlukan saat ini – terutama berfokus pada pencarian dan optimalisasi sosial. Saya menulis artikel tentang memilih CMS, dan saya tetap menunjukkannya kepada perusahaan tempat saya bekerja yang tergoda untuk membangun sistem manajemen kontennya.
Bagaimana Cara Kerja Mesin Pencari?
Mari kita mulai dengan cara kerja mesin pencari. Berikut ikhtisar bagus dari Google.
Namun, ada situasi di mana platform khusus diperlukan. Jika itu adalah solusi optimal, saya tetap mendorong klien saya untuk mengembangkan fitur yang diperlukan guna mengoptimalkan situs mereka untuk penelusuran dan media sosial. Tiga fitur utama adalah suatu keharusan.
- robots.txt
- XML Sitemap
- Metadata
Apa itu File Robots.txt?
robots.txt file - itu robots.txt File adalah file teks biasa di direktori root situs dan memberi tahu mesin pencari apa yang harus mereka sertakan dan kecualikan dari hasil pencarian. Dalam beberapa tahun terakhir, mesin pencari juga meminta Anda menyertakan jalur ke peta situs XML di dalam file. Berikut ini contoh saya, yang memungkinkan semua bot merayapi situs saya dan juga mengarahkannya ke peta situs XML saya:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlApa itu Peta Situs XML?
XML Sitemap - Suka HTML untuk dilihat di browser, XML ditulis untuk dicerna secara terprogram. Sebuah XML peta situs adalah tabel setiap halaman di situs Anda dan kapan terakhir diperbarui. Peta Situs XML juga dapat dirangkai secara daisy-chain… artinya, satu Peta Situs XML dapat merujuk ke Peta Situs lainnya. Itu bagus jika Anda ingin mengatur dan mengelompokkan elemen situs Anda secara logis (Pertanyaan Umum (FAQ), halaman, produk, dll.) ke dalam Peta Situsnya sendiri.
Peta Situs sangat penting untuk memberi tahu mesin pencari secara efektif konten apa yang Anda buat dan kapan terakhir kali diedit. Proses mesin telusur saat membuka situs Anda tidak akan efektif tanpa penerapan peta situs dan cuplikan.
Tanpa Peta Situs XML, Anda berisiko laman Anda tidak akan pernah ditemukan. Bagaimana jika Anda memiliki laman landas produk baru yang tidak tertaut secara internal atau eksternal? Bagaimana cara Google menemukannya? Ya, sampai tautannya ditemukan, Anda tidak akan ditemukan. Untungnya, mesin pencari memungkinkan sistem manajemen konten dan platform e-niaga menggelar karpet merah bagi mereka!
- Google menemukan tautan eksternal atau internal ke situs Anda.
- Google mengindeks halaman tersebut dan memberi peringkat berdasarkan kontennya serta konten dan kualitas situs link pengarah.
Dengan Peta Situs XML, Anda tidak membiarkan penemuan atau pembaruan konten Anda terjadi secara kebetulan! Terlalu banyak pengembang yang mencoba mengambil jalan pintas yang juga merugikan mereka. Mereka menerbitkan cuplikan kaya yang sama di seluruh situs, memberikan informasi yang tidak relevan dengan informasi halaman. Mereka menerbitkan peta situs dengan tanggal yang sama di setiap halaman (atau semuanya diperbarui ketika satu halaman diperbarui), memberikan antrian ke mesin pencari bahwa mereka mempermainkan sistem atau tidak dapat diandalkan. Atau mereka tidak melakukan ping ke mesin pencari sama sekali… sehingga mesin pencari tidak menyadari bahwa informasi baru telah dipublikasikan.
Apa Itu Metadata? Microdata? Cuplikan Kaya?
Cuplikan kaya diberi tag microdata dengan hati-hati tersembunyi dari pemirsa tetapi terlihat di halaman untuk dimanfaatkan oleh mesin pencari atau situs media sosial. Ini dikenal sebagai metadata. Google mematuhinya Schema.org sebagai standar untuk memasukkan hal-hal seperti gambar, judul, deskripsi, dan sejumlah cuplikan informatif lainnya seperti harga, kuantitas, informasi lokasi, peringkat, dll. Skema akan secara signifikan meningkatkan visibilitas mesin pencari Anda dan kemungkinan bahwa pengguna akan mengklik.
Facebook menggunakan OpenGraph protokol (tentu saja, keduanya tidak mungkin sama), X bahkan memiliki cuplikan untuk menentukan profil X Anda. Semakin banyak platform yang menggunakan metadata ini untuk melihat pratinjau tautan yang disematkan dan informasi lainnya saat dipublikasikan.
Halaman web Anda memiliki makna mendasar yang dipahami orang saat mereka membaca halaman web. Tetapi mesin pencari memiliki pemahaman yang terbatas tentang apa yang sedang dibahas di halaman tersebut. Dengan menambahkan tag tambahan ke HTML laman web Anda — tag yang mengatakan, "Hai mesin telusur, informasi ini menjelaskan film, atau tempat, atau orang, atau video tertentu ini" —Anda dapat membantu mesin telusur dan aplikasi lain untuk lebih memahami konten Anda dan menampilkannya dengan cara yang berguna dan relevan. Microdata adalah sekumpulan tag, diperkenalkan dengan HTML5, yang memungkinkan Anda melakukan ini.
Schema.org, Apa itu MicroData?
Tentu saja, tidak ada satu pun yang diperlukan… tetapi saya sangat merekomendasikannya. Saat Anda membagikan tautan di Facebook, misalnya, dan tidak ada gambar, judul, atau deskripsi yang muncul… hanya sedikit orang yang akan tertarik dan benar-benar mengeklik. Dan jika cuplikan Skema Anda tidak ada di setiap halaman, tentu saja Anda masih dapat muncul di hasil pencarian… tetapi pesaing mungkin mengalahkan Anda ketika mereka menampilkan informasi tambahan.
Daftarkan Peta Situs XML Anda dengan Search Console
Jika Anda telah membuat konten atau platform e-niaga sendiri, Anda harus memiliki subsistem yang melakukan ping ke mesin pencari, menerbitkan mikrodata, dan kemudian menyediakan peta situs XML yang valid agar konten atau informasi produk dapat ditemukan!
Setelah file robots.txt, peta situs XML, dan cuplikan kaya disesuaikan dan dioptimalkan di seluruh situs Anda, jangan lupa untuk mendaftar ke setiap mesin pencari Cari Konsol (Juga dikenal sebagai Webmaster alat) tempat Anda dapat memantau kesehatan dan visibilitas situs Anda di mesin pencari. Anda bahkan dapat menentukan jalur Peta Situs Anda jika tidak ada yang terdaftar dan melihat bagaimana mesin pencari menggunakannya, apakah ada masalah atau tidak, dan bahkan cara memperbaikinya.
Luncurkan karpet merah ke mesin pencari dan media sosial, dan Anda akan menemukan peringkat situs Anda lebih baik, entri Anda di halaman hasil mesin pencari lebih banyak diklik, dan halaman Anda dibagikan lebih banyak di media sosial. Semuanya bertambah!
Bagaimana Robots.txt, Peta Situs, dan MetaData Bekerja Sama
Menggabungkan semua elemen ini seperti menggelar karpet merah untuk situs Anda. Berikut proses perayapan yang dilakukan bot serta cara mesin pencari mengindeks konten Anda.
- Situs Anda memiliki file robots.txt yang juga mereferensikan lokasi Peta Situs XML Anda.
- Sistem CMS atau e-niaga Anda memperbarui Peta Situs XML dengan halaman mana pun dan tanggal publikasi atau informasi tanggal edit.
- CMS atau sistem e-commerce Anda melakukan ping ke mesin pencari untuk memberi tahu mereka bahwa situs Anda telah diperbarui. Anda dapat melakukan ping secara langsung atau menggunakan RPC dan layanan seperti Ping-o-matic untuk mengirim ke semua mesin pencari utama.
- Mesin Pencari langsung kembali, menghormati file Robots.txt, menemukan halaman baru atau yang diperbarui melalui peta situs, dan kemudian mengindeks halaman tersebut.
- Saat mengindeks halaman Anda, ia menggunakan judul, deskripsi meta, elemen HTML5, judul, gambar, tag alt, dan informasi lainnya untuk mengindeks halaman dengan benar untuk pencarian yang berlaku.
- Saat mengindeks halaman Anda, ia menggunakan judul, deskripsi meta, dan mikrodata cuplikan kaya untuk menyempurnakan halaman hasil mesin pencari.
- Saat situs relevan lainnya menautkan ke konten Anda, peringkat konten Anda lebih baik.
- Saat konten Anda dibagikan di media sosial, informasi cuplikan kaya yang ditentukan dapat membantu mempratinjau konten Anda dengan benar dan mengarahkannya ke profil sosial Anda.
