Home » , » Tentang Blokir Situs Menggunakan File Robot.txt Webmastertool

Tentang Blokir Situs Menggunakan File Robot.txt Webmastertool

Selamat datang di blog Aswani Comey, Berikut ini akan saya berikan informasi mengenai: Tentang Blokir Situs Menggunakan File Robot.txt Webmastertool Semoga bermanfaat untuk kita semua.

Sebuah file robots.txt membatasi akses ke situs Anda dengan robot mesin pencari yang merayapi situs dengan otomatis, dan sebelum robots.txt akses halaman situs, robots.txt memeriksa untuk melihat apakah file robots.txt ada yang mencegah mereka mengakses halaman tertentu.
(Semua robot terhormat akan menghormati petunjuk dalam file robots.txt, meskipun beberapa mungkin menafsirkan secara berbeda Namun, robots.txt yang tidak dilaksanakan, Dan beberapa spammer lainnya dapat mengabaikannya. Untuk alasan ini, disarankan melindungi informasi sandi rahasia.) Anda perlu file robots.txt hanya jika situs Anda berisi konten yang Anda tidak ingin mesin pencari untuk mengindeks.
Jika anda ingin search engine segala sesuatu indeks dalam situs Anda, Anda tidak perlu file robots.txt.
Meskipun Google tidak akan menjelajah atau mengindeks konten halaman diblokir oleh robots.txt, kita mungkin masih indeks URL jika kita menemukan mereka disitus lainnya. Sebagai hasilnya, URL dari halaman dan, berpotensi, informasi publik lainnya seperti jangkar teks dalam link ke situs, atau judul dari Open Directory Project ( www.dmoz.org ), dapat muncul dalam hasil pencarian Google.
Untuk menggunakan file robots.txt, Anda harus memiliki akses ke akar domain Anda (jika Anda tidak yakin, hubungi hoster web Anda). Jika Anda tidak memiliki akses ke root domain, Anda dapat membatasi akses dengan menggunakan tag meta robot.
Untuk sepenuhnya mencegah isi suatu halaman dari yang tercantum dalam indeks web Google bahkan jika situs lain link ke sana, menggunakan tag meta noindex atau x-robot-tag. Selama Googlebot mengambil halaman, ia akan melihat meta tag noindex dan mencegah dari halaman yang muncul di indeks web. Header x-robot-tag HTTP adalah sangat berguna jika Anda ingin membatasi pengindeksan file non-HTML seperti grafis atau jenis lain dari dokumen.
Semoga artikel "Tentang Blokir Situs Menggunakan File Robot.txt Webmastertool" dapat bermanfaat
Sumber: https://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449


Terimakasih telah mengunjungi Blog Aswani Comey ini, dan membaca postingan mengenai : Tentang Blokir Situs Menggunakan File Robot.txt Webmastertool semoga bermanfaat :)