undercover.co.id – Crawl Rate Dan Crawl Budget , Crawl rate adalah tingkat Google dalam meng-crawl atau memindai suatu website. Crawling sendiri adalah proses yang dilakukan oleh algoritma Google untuk memindai konten suatu website , baik itu dalam bentuk tulisan, gambar, link, ataupun yang lainnya.

Crawl Rate Algoritma Google pada Website atau Situs Besar dan Kecil

Proses crawling ini bisa menentukan kualitas dan relevansi dari konten dalam suatu website. Lalu pertanyaannya adalah, apakah website atau situs-situs besar memiliki kelebihan dan keuntungan dalam penentuan tingkat crawl rate dibandingkan situs-situs kecil dalam konteks kebutuhan akan fitur URL submission?

Komunitas penggiat SEO banyak yang merindukan kembalinya fitur URL submission. Mereka menyatakan bahwa situs-situs kecil banyak yang dirugikan karena situs-situs besar lebih sering di-crawl oleh algoritma Google.

Apakah website atau situs besar lebih sering di-crawl?

Memang ada kemungkinan bahwa website yang lebih populer dan lebih banyak dibuka akan lebih sering di-crawl. Link yang mengarah ke website tersebut juga merupakan faktor penting, karena Googlebot melakukan proses crawling dari link ke link.

Jadi bukan tanpa dasar jika banyak orang berpendapat bahwa situs yang populer lebih sering di-crawl dibandingkan situs lain yang tidak terlalu populer.

Karena alasan inilah para pemilik website kecil bergantung pada fitur URL submission. Dengan menghilangkan akses ke fitur tersebut, mereka menganggap bahwa Google lebih menyukai website besar dan memberikan rintangan yang lebih sulit pada website-website kecil.

Google lalu menanggapi dengan menyatakan bahwa proses crawling tidak bergantung pada ukuran website. Ada beberapa website besar yang memiliki banyak sekali URL yang tidak terlalu berguna, dan Google tidak banyak meng-crawl website tersebut.

Google juga menyarankan untuk memasukkan keluhan pengguna jika ada yang memiliki bukti adanya masalah dengan sistem crawling pada website mereka. Banyak juga yang mengeluhkan beberapa publishing platform atau situs yang tidak secara otomatis meng-update sitemap mereka.

Google pun menyarankan bahwa solusi termudahnya adalah untuk meng-upgrade platform tersebut supaya bisa secara otomatis meng-update sitemap. Cara ini merupakan yang termudah jika dibandingkan harus men-submit setiap URL yang baru secara manual.

Situs Besar dan Situs Populer

Inti permasalahan yang terlewatkan adalah, apa definisi dari situs besar yang katanya lebih sering di-crawl? Lalu apa yang menjadi kriteria sebuah situs dikatakan sebagai situs yang besar?

Mungkin asumsi publik adalah bahwa situs-situs besar dan populer memiliki banyak link di dalamnya. Dan Google pun mengiyakan dengan membuat perbandingan bahwa ada beberapa website besar yang memiliki banyak URL tapi tidak semuanya berguna.

Sebenarnya itu justru menandakan bahwa situs yang lebih kecil akan jauh lebih mudah dan lebih efisien untuk di-crawl. Dan jika anda bisa melihat catatan crawl Google, mereka memang mengunjungi situs yang kecil dan populer dengan tingkat yang sama dan sebanding dengan situs besar.

Jika sudah berlalu beberapa hari atau bahkan beberapa minggu dan Google masih belum menemukan halaman website anda, mungkin itu masalah yang bisa diatasi dengan sitemap. Tapi itu juga bisa menjadi indikasi adanya masalah yang lebih besar dalam hal kualitas konten atau link-link yang ada di dalamnya.

Craw Budget

Anda pernah mendengar tentang perayap web, laba-laba, dan Googlebot, tetapi tahukah Anda bahwa perayap ini memiliki batasan untuk apa yang dapat dan tidak dapat dirayapi di situs web? Teruslah membaca untuk mempelajari tentang anggaran penting ini dalam SEO (optimasi mesin pencari).

Apa itu Anggaran Perayapan / Crawl BUdget ?

Anggaran perayapan adalah jumlah halaman yang dapat dirayapi Googlebot (dan perayap mesin telusur lainnya) dalam jangka waktu tertentu. Mengelola anggaran perayapan Anda dapat mendukung pengindeksan situs Anda secara keseluruhan.

💡 Ingat! Agar Googlebot merayapi situs web Anda, Anda harus memastikan bahwa itu diizinkan untuk merayapi di file Robots.txt Anda.

Meskipun jarang bagi Google untuk merayapi dan mengindeks setiap halaman di situs Anda, kami ingin memastikan bahwa semua halaman penting kami diindeks dan dapat muncul di SERP.

Sayangnya, kami tidak memiliki kendali 100% atas laman yang dirayapi Google. Google mengidentifikasi halaman mana yang paling penting, dan mencantumkannya berdasarkan prioritas. Beberapa faktor yang berperan adalah struktur tautan internal, peta situs XML, dan otoritas situs/situs.

Cara mudah untuk memahami anggaran perayapan SEO adalah dengan dua contoh ini:

Usaha Kecil: Anda memiliki usaha kecil yang menjual tanaman dan situs web Anda memiliki 100 halaman dan anggaran perayapan 1.000 halaman (artinya Anda masih dapat memenuhi anggaran perayapan jika Anda membuat 900 halaman baru!).

Anda dapat mengoptimalkan anggaran perayapan untuk meningkatkan efisiensi, dan bersiaplah jika jumlah total halaman melebihi anggaran Anda saat ini.

E- niaga: Anda memiliki bisnis eCommerce internasional di mana Anda memiliki 100.000 halaman dan anggaran perayapan 90.000 halaman.

Masalahnya terletak pada anggaran perayapan Anda karena ada 10.000 halaman yang tidak akan dirayapi atau diindeks. Meskipun beberapa halaman tersebut mungkin memiliki tag noindex , Anda bisa kehilangan visibilitas di halaman hasil mesin pencari (SERP), serta pelanggan yang tidak diindeks oleh mereka.

Tidak ingat perbedaan antara perayapan vs pengindeksan vs peringkat ? Jangan khawatir, kami siap membantu Anda !

Apa itu Tingkat Perayapan?

Google Search Console mendefinisikan tingkat perayapan sebagai “berapa banyak permintaan per detik yang dibuat Googlebot ke situs Anda saat merayapinya: misalnya, 5 permintaan/detik.”

Meskipun Anda tidak dapat meningkatkan jumlah permintaan per detik yang dibuat Googlebot saat merayapinya, permintaan tersebut dapat dibatasi , jika diperlukan. Anda juga dapat meminta Google untuk meng-crawl ulang halaman. Beberapa alasan mengapa Anda mungkin ingin meng-crawl ulang halaman adalah:

Halaman ini baru dan belum dirayapi
Konten atau metadata pada halaman telah diperbarui
Halaman tidak diindeks dengan benar selama perayapan terakhir
Bagaimana Saya Memeriksa untuk Melihat apakah Halaman Saya Dirayapi?
Untuk memeriksa kapan halaman Anda terakhir dirayapi, buka Google Search Console. Setelah menavigasi ke properti Anda, Anda akan memasukkan URL Anda di bilah pencarian di bagian atas halaman. Kemudian, Anda akan diarahkan ke pemeriksaan URL yang membantu Anda memahami kapan halaman Anda dirayapi, apa URL rujukannya, masalah apa pun yang muncul selama pengindeksan, dan banyak lagi!

Bagaimana Saya Memeriksa untuk Melihat apakah Halaman Saya Dirayapi?

Dalam pemeriksaan URL, Google Search Console akan memberi tahu Anda apakah URL Anda ada di indeks Google.

Jika tidak diindeks, mungkin ada berbagai masalah yang perlu diperhatikan. Ini mungkin sesederhana halaman yang belum dirayapi/diindeks, atau bisa seserius masalah dengan file Robots.txt atau tindakan manual. Anda juga dapat melihat bagaimana halaman Anda dilihat oleh Googlebot dengan memanfaatkan fitur “Uji URL Langsung” .

Jangan Lupa! Meskipun Anda dapat meminta Google untuk meng-crawl ulang halaman, meminta pengindeksan beberapa kali tidak memprioritaskan crawl Anda.

Untuk mempelajari lebih lanjut tentang laman Anda dan detail perayapan, buka tab Cakupan . Di sinilah Anda mengidentifikasi apakah halaman Anda diindeks, dikirimkan dalam peta situs, apakah crawl atau indeks diizinkan di file Robots.txt Anda, dan agen pengguna apa yang meng-crawl halaman tersebut.

Pastikan untuk meninjau URL perujuk karena ini adalah halaman yang mengarahkan Google untuk meng-crawl halaman Anda. Halaman Anda mungkin ditemukan melalui berbagai sumber seperti tautan internal/eksternal, atau permintaan perayapan.

Untuk melihat lebih banyak detail seluk beluk seperti jenis perayap dan waktu perayapan terakhir, fokuskan pada bagian perayapan. Meskipun ada dua jenis Perayap Googlebot (seluler dan desktop), seiring kami terus bergerak menuju pengoptimalan yang mengutamakan seluler dan ramah seluler, situs web Anda kemungkinan besar akan dirayapi secara eksklusif oleh Ponsel Cerdas Googlebot jika belum.

Satu hal penting yang perlu diperhatikan dalam bagian perayapan adalah apakah halaman dapat dirayapi dan diindeks. Moz telah mengidentifikasi bahwa ada juga kasus ketika halaman dirayapi, tetapi tidak diindeks, yang berarti bahwa halaman tersebut belum dimasukkan dalam perpustakaan indeks (belum) dan oleh karena itu tidak memenuhi syarat untuk ditampilkan dalam hasil pencarian. .

Jika halaman Anda tidak diizinkan untuk dirayapi atau diindeks, sering kali ditampilkan dengan “larang agen pengguna”, periksa kembali kode sumber Anda atau hubungkan dengan pengembang web.

Anda ingin memastikan bahwa jika halaman Anda memblokir perayap, itu disengaja, dan bukan kecelakaan dalam kode.

Ada beberapa halaman atau area di situs Anda yang tidak perlu diindeks oleh Google: Beberapa alasan mengapa Anda mungkin tidak ingin Google mengindeks halaman Anda, juga dikenal sebagai tag noindex adalah:

Halaman masuk
Hasil pencarian internal
halaman terima kasih
Halaman pengiriman formulir
Ada juga beberapa metode yang dapat Anda gunakan untuk mencegah halaman ditambahkan ke indeks :

tab noindex
robot x
Robots.txt ( jika halaman belum dirayapi/diindeks )
Alat penghapusan GSC
Di mana Saya Menemukan Anggaran Perayapan Saya?
Ada beberapa alat bermanfaat yang dapat Anda gunakan untuk mempelajari lebih lanjut tentang statistik perayapan situs Anda atau melihat berapa banyak laman situs Anda yang dirayapi Google per hari.

Dalam Google Search Console, Anda dapat menavigasi ke properti domain > setelan > statistik perayapan dan ini akan menunjukkan jumlah permintaan perayapan, waktu pengunduhan, dan waktu respons halaman rata-rata. Laporan statistik perayapan ini dapat membantu saat berupaya mengoptimalkan anggaran perayapan Anda, yang akan kami bahas nanti.

Saat kami membuat halaman baru atau memperbarui halaman lama, kami ingin orang-orang melihatnya! Baik pengguna adalah seseorang yang berencana membeli sepeda kustom, atau individu yang mencari program gelar untuk mendaftar, kami ingin laman tersebut dapat diakses oleh pengguna , sebaiknya di laman pertama mesin telusur mereka.

Jika anggaran perayapan kami hanya mencakup 50% dari situs web kami (100.000 halaman, 50.000 dialokasikan dalam anggaran perayapan), 50% dari situs web kami tidak akan dapat ditemukan dalam hasil pencarian. Dan ya, seseorang mungkin dapat menemukan URL Anda dengan mengetiknya kata demi kata, tetapi itu tidak selalu terjadi – dan sejujurnya, itu bukan risiko yang bersedia diambil oleh SEO ketika kami dapat bekerja untuk mengoptimalkan anggaran perayapan kami!

Cara Mengoptimalkan Anggaran Perayapan Anda

Sekarang, mengoptimalkan anggaran perayapan Anda bukanlah tugas satu hari. Anda mungkin merasa frustrasi di sepanjang jalan, tetapi kami di sini untuk membantu!

Untuk memulai, mari tinjau apa yang dapat kami lakukan untuk membantu meningkatkan anggaran perayapan Anda:

Tingkatkan kecepatan situs
Tautan Internal
Hindari Duplikat Konten
Kecepatan Situs
Kecepatan situs penting karena berbagai alasan. Kami ingin laman dimuat tepat waktu bagi pengguna sehingga mereka terlibat dengan situs kami, tetapi kami juga ingin laman dimuat dengan cepat sehingga Googlebot dapat merayapi konten kami secepat mungkin.

Tidakkah Anda menyukai bagaimana perasaan Anda menunggu satu menit berlalu saat melakukan plank … ? Ya, kami juga tidak suka perasaan itu!

Kami juga ingin menghindari menunggu lama untuk Googlebot, karena semakin cepat halaman kami dimuat, semakin cepat Googlebot dapat merayapi dan mengindeks halaman kami.

Meskipun kami tidak meningkatkan anggaran perayapan, jika kami dapat memuat 10 halaman dalam satu menit dibandingkan dengan memuat 1 halaman dalam satu menit, kami akan melihat peningkatan visual.