Bagaimana Mesin Pencari Menemukan, Merayapi, dan Mengindeks Konten Anda?

Search Engine Optimization

Saya tidak sering menyarankan klien membangun sistem e-niaga atau manajemen konten mereka sendiri karena semua opsi ekstensibilitas tak terlihat yang dibutuhkan saat ini - terutama berfokus di sekitar penelusuran dan pengoptimalan sosial. Saya menulis artikel tentang bagaimana memilih CMS dan saya masih menunjukkannya kepada perusahaan tempat saya bekerja yang tergoda hanya untuk membangun sistem pengelolaan konten mereka sendiri.

Namun, ada situasi tertentu di mana platform khusus adalah kebutuhan. Ketika itu solusi optimal, saya masih mendorong klien saya untuk membangun fitur yang diperlukan untuk mengoptimalkan situs mereka untuk pencarian dan media sosial. Pada dasarnya ada tiga fitur utama yang merupakan kebutuhan.

  • robots.txt
  • XML Sitemap
  • Metadata

Apa itu File Robots.txt?

robots.txt file - itu robots.txt file adalah file teks biasa yang ada di direktori root situs dan memberi tahu mesin pencari apa yang harus mereka sertakan dan kecualikan dari hasil pencarian. Dalam beberapa tahun terakhir, mesin telusur juga meminta Anda menyertakan jalur ke peta situs XML di dalam file tersebut. Ini adalah contoh saya, yang memungkinkan semua bot merayapi situs saya dan juga mengarahkannya ke peta situs XML saya:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Apa itu Peta Situs XML?

XML Sitemap - Sama seperti HTML untuk dilihat di browser, XML ditulis untuk dicerna secara terprogram. Peta situs XML pada dasarnya adalah tabel dari setiap halaman di situs Anda dan kapan terakhir kali diperbarui. Peta situs XML juga dapat dirantai… yaitu satu Peta Situs XML dapat merujuk ke peta situs lainnya. Itu bagus jika Anda ingin mengatur dan memecah elemen situs Anda secara logis (FAQ, halaman, produk, dll.) Ke dalam Peta Situs mereka sendiri.

Peta situs sangat penting agar Anda dapat memberi tahu mesin telusur secara efektif konten apa yang Anda buat dan kapan terakhir kali diedit. Proses yang digunakan mesin telusur saat membuka situs Anda tidak efektif tanpa menerapkan peta situs dan cuplikan.

Tanpa Peta Situs XML, Anda mempertaruhkan halaman Anda agar tidak pernah ditemukan. Bagaimana jika Anda memiliki halaman arahan produk baru yang tidak ditautkan secara internal atau eksternal. Bagaimana Google menemukannya? Sederhananya… sampai link ditemukan, Anda tidak akan ditemukan. Untungnya, mesin pencari memungkinkan sistem manajemen konten dan platform e-niaga untuk menggelar karpet merah untuk mereka!

  1. Google menemukan tautan eksternal atau internal ke situs Anda.
  2. Google mengindeks halaman dan memberi peringkat sesuai dengan kontennya dan apa konten dan kualitas situs link pengarah.

Dengan Peta Situs XML, Anda tidak akan membiarkan penemuan konten Anda atau pembaruan konten Anda kebetulan! Terlalu banyak pengembang mencoba mengambil jalan pintas yang juga merugikan mereka. Mereka memublikasikan cuplikan kaya yang sama di seluruh situs, memberikan informasi yang tidak relevan dengan informasi halaman. Mereka menerbitkan peta situs dengan tanggal yang sama di setiap halaman (atau semuanya diperbarui ketika satu halaman diperbarui), memberikan antrian ke mesin pencari bahwa mereka mempermainkan sistem atau tidak dapat diandalkan. Atau mereka tidak melakukan ping sama sekali ke mesin pencari… sehingga mesin pencari tidak menyadari bahwa informasi baru telah dipublikasikan.

Apa Itu Metadata? Microdata? Cuplikan Kaya?

Cuplikan kaya diberi tag microdata dengan hati-hati yang tersembunyi dari penampil tetapi terlihat di halaman untuk digunakan mesin pencari atau situs media sosial. Ini dikenal sebagai metadata. Google mematuhi Schema.org sebagai standar untuk memasukkan hal-hal seperti gambar, judul, deskripsi… serta sejumlah besar cuplikan informatif lainnya seperti harga, kuantitas, informasi lokasi, peringkat, dll. Skema akan secara signifikan meningkatkan visibilitas mesin telusur Anda dan kemungkinan pengguna akan mengeklik melalui.

Facebook menggunakan OpenGraph protokol (tentu saja mereka tidak bisa sama), Twitter bahkan memiliki cuplikan untuk menentukan profil Twitter Anda. Semakin banyak platform menggunakan metadata ini untuk melihat pratinjau tautan yang disematkan dan informasi lain ketika mereka menerbitkan.

Halaman web Anda memiliki makna mendasar yang dipahami orang saat mereka membaca halaman web. Tetapi mesin pencari memiliki pemahaman yang terbatas tentang apa yang sedang dibahas di halaman tersebut. Dengan menambahkan tag tambahan ke HTML laman web Anda — tag yang mengatakan, "Hai mesin telusur, informasi ini menjelaskan film, atau tempat, atau orang, atau video tertentu ini" —Anda dapat membantu mesin telusur dan aplikasi lain untuk lebih memahami konten Anda dan menampilkannya dengan cara yang berguna dan relevan. Microdata adalah sekumpulan tag, diperkenalkan dengan HTML5, yang memungkinkan Anda melakukan ini.

Schema.org, Apa itu MicroData?

Tentu saja, tidak ada satu pun yang diperlukan… tetapi saya sangat merekomendasikannya. Saat Anda membagikan tautan di Facebook, misalnya, dan tidak ada gambar, judul, atau deskripsi yang muncul… hanya sedikit orang yang akan tertarik dan benar-benar mengeklik. Dan jika cuplikan Skema Anda tidak ada di setiap halaman, tentu saja Anda masih dapat muncul di hasil pencarian ... tetapi pesaing mungkin mengalahkan Anda saat mereka menampilkan informasi tambahan.

Daftarkan Peta Situs XML Anda dengan Search Console

Sangat penting bahwa, jika Anda telah membangun platform konten atau e-niaga Anda sendiri, Anda memiliki subsistem yang melakukan ping ke mesin telusur, menerbitkan mikrodata, dan kemudian menyediakan peta situs XML yang valid agar informasi konten atau produk dapat ditemukan!

Setelah file robots.txt, peta situs XML, dan cuplikan kaya Anda disesuaikan dan dioptimalkan di seluruh situs Anda, jangan lupa untuk mendaftar ke setiap Search Console mesin telusur (juga dikenal sebagai alat Webmaster) tempat Anda dapat memantau kesehatan dan visibilitas situs Anda. situs di mesin telusur. Anda bahkan dapat menentukan jalur Peta Situs Anda jika tidak ada yang terdaftar dan melihat bagaimana mesin telusur mengonsumsinya, apakah ada masalah dengan itu atau tidak, dan bahkan bagaimana cara memperbaikinya.

Luncurkan karpet merah ke mesin pencari dan media sosial dan Anda akan menemukan peringkat situs Anda lebih baik, entri Anda di halaman hasil mesin pencari diklik lebih banyak, dan halaman Anda dibagikan lebih banyak di media sosial. Semuanya bertambah!

Bagaimana Robots.txt, Peta Situs, dan MetaData Bekerja Sama

Menggabungkan semua elemen ini sangat mirip dengan menggelar karpet merah untuk situs Anda. Berikut proses perayapan yang dilakukan bot bersama dengan cara mesin telusur mengindeks konten Anda.

  1. Situs Anda memiliki file robots.txt yang juga mereferensikan lokasi Peta Situs XML Anda.
  2. CMS atau sistem e-niaga Anda memperbarui Peta Situs XML dengan halaman mana pun dan tanggal publikasi atau edit informasi tanggal.
  3. CMS atau sistem e-niaga Anda melakukan ping ke mesin telusur untuk memberi tahu mereka bahwa situs Anda telah diperbarui. Anda dapat melakukan ping secara langsung atau menggunakan RPC dan layanan sejenisnya Ping-o-matic untuk mendorong ke semua mesin telusur utama.
  4. Mesin Telusur langsung kembali, menghormati file Robots.txt, menemukan halaman baru atau yang diperbarui melalui peta situs, lalu mengindeks halaman tersebut.
  5. Saat mengindeks halaman Anda, ini menggunakan microdata cuplikan kaya untuk meningkatkan halaman hasil mesin pencari.
  6. Saat situs relevan lainnya menautkan ke konten Anda, peringkat konten Anda lebih baik.
  7. Saat konten Anda dibagikan di media sosial, informasi cuplikan kaya yang ditentukan dapat membantu melihat konten Anda dengan baik dan mengarahkannya ke profil sosial Anda.

2 Komentar

  1. 1

    situs web saya tidak dapat mengindeks konten baru, saya mengambil peta situs dan url di webmaster tetapi masih tidak dapat meningkatkannya. Apakah ini masalah backend google?

Bagaimana menurut Anda?

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.