Tentang fail robots.txt

Pengertian
Setiap mesin pencari memiliki robot-robotnya masing-masing yang bertugas untuk menelusuri halaman-halaman yang ada di web dan kemudian memasukkannya ke dalam index mereka.
Robots.txt dan robots
meta tag dibuat dan ditujukan untuk para robot tersebut.
Keduanya memiliki fungsi yang sama, hanya bentuknya saja yang berbeda.

Robots.txt adalah sebuah file text yang berdiri sendiri, sedangkan robots meta tag terdapat di bagian header dari source code halaman itu
sendiri.

Prinsip cara kerja Robots Ketika robot search engine menelusuri sebuah website, mereka memeriksa apakah ada file yang ditujukan untuk mereka yang bernama“Robots.txt”.
Kalau ya, mereka akan memeriksa terlebih dahulu file tersebut dan kondisi apa saja yang telah ditetapkan di sana untuk mereka patuhi. Kalau tidak ada, mereka langsung pergi ke halaman-halaman yang ada dan bisa mereka telusuri dan kemudian memeriksa bagian header.
Jika ada robots meta tag, mereka akan menjalankan perintah yang dituliskan di sana.
Jika tidak, mereka akan melanjutkan tugas mereka seperti biasa.
Nah,.. Disini saya hanya bisa menyediakan Generator Meta robots, Untuk memulai membuat meta no follow.

Jadi bisa dikatakan bahwa Robots.txt adalah file yang memberikan perintah secara global untuk sebuah situs, sedangkan robots meta tag adalah sedikit perintah melalui coding secara lokal untuk sebuah halaman di dalam sebuah situs.
Mungkin terkesan membingungkan tapi
sebenarnya idenya sangatlah simple.

Bentuk dan cara pakai Robots.txt
Robots.txt adalah file dengan extension .txt yang biasanya diupload ke root folder sebuah situs. Berikut adalah tampilan root folder untuk blog ini melalui

FTP:

Isi dari file itu sendiri sangatlah simple karena hanya berupa perintah-perintah dengan tujuan untuk memblokir halaman apa dari robot search engine yang mana. Syntax / bentuk penulisannya juga sangat mudah.

Contoh:

User-agent: googlebot
Disallow:/

User-agent adalah nama variable untuk robot search engine. Disallow adalah perintah untuk memblokir sebuah halaman / file dari search engine yang ditetapkan di variable User-agent.

Jadi perintah di atas berarti:
blokir semua halaman dari googlebot(‘/’ menunjukkan level paling atas dari sebuah situs).

User-agent: googlebot-image
Disallow: /images/

Perintah di atas berarti: blokir semua halaman / file di dalam folder images

User-agent: robots
Disallow: /contoh/*.jpg
User-agent: Yahoo-Test
Disallow: /pribadiku.html

Perintah di atas ditujukan untuk 2 pihak:
1. untuk semua robot: blokir semua file dengan extension .jpg(gambar) dari folder contoh

2. untuk yahoo bot: blokir halaman dengan nama pribadiku.html


Catatan: daftar lengkap User-agent bisa kamu lihat diuser-agents.org

Bentuk dan cara pakai robots meta tag
Bentuknya mirip seperti meta tag lainnya dan berlokasi di bagian header setiap halaman:


Syntaxnya seperti yang kamu lihat:

metaname=""
content=""

Cara mudah menemukan Tutorial Website lainnya, sangatlah mudah ditemukan melalui label Postingan. Belajar bersama. Arit Nuansa Pagi