Robot TXT bikin Google susah Index

Apa benar Robot TXT bikin Google susah Index?

Untuk membuat file robots.txt, Anda memerlukan akses ke akar domain.
Apabila tidak yakin tentang cara mengakses akar, Anda dapat menghubungi penyedia layanan hosting web.

 

 
Selain itu, jika tidak dapat mengakses akar domain, Anda dapat menggunakan metode pemblokiran alternatif, seperti file yang dilindungi sandi di server, dan menyisipkan tag meta ke HTML.

Robot TXT

Anda dapat membuat atau mengedit file robots.txt yang sudah ada menggunakan alat Penguji robots.txt. Tindakan ini memungkinkan Anda menguji perubahan saat menyesuaikan robots.txt.
Pelajari sintaksis robots.txt.

 

Robot TXT bikin Google susah Index

File robots.txt yang paling sederhana menggunakan dua kata kunci, User-agent dan Disallow. User-agents (agen pengguna) adalah robot mesin telusur (atau perangkat lunak perayap web); sebagian besar agen pengguna tercantum dalam Basis Data Robot Web. Disallow (larang) merupakan perintah bagi agen pengguna yang memberitahukannya agar tidak mengakses URL tertentu. 

 

Di sisi lain, agar Google dapat mengakses URL tertentu yang merupakan direktori turunan dalam direktori induk yang dilarang, Anda dapat menggunakan kata kunci ketiga, Allow.

Google menggunakan beberapa agen pengguna, seperti Googlebot untuk Google Penelusuran dan Googlebot-Image untuk Google Penelusuran Gambar. Sebagian besar agen pengguna Google mengikuti aturan yang Anda siapkan untuk Googlebot, namun Anda dapat mengganti opsi ini dan membuat aturan khusus hanya untuk agen pengguna Google tertentu.


Dua baris ini dianggap sebagai satu entri di file, tempat aturan Disallow hanya berlaku untuk agen pengguna yang ditentukan di atasnya. Anda dapat menyertakan sebanyak mungkin entri, dan beberapa baris Disallow dapat berlaku untuk beberapa agen pengguna, semua dalam satu entri. 

 

Anda dapat menyetel perintah User-agent untuk diterapkan ke semua perayap web dengan mencantumkan tanda bintang (*)