Mengatur Robots.txt Agar Valid

^_^ Selamat pagi sobat blogger..
Gimana malam taun baru 2013nya menyenagkan tidak, kalu saya sendiri sih tidak begitu menyenangkan soallnya taun baruan di rumah, hehehehehehe,,,
Oke saya rasa cukup basa basinya ^_^ mari kita langsung ke topik artikel. Kali ini saya akan membahas Mengatur Robot. txt Agar Valid. Untuk sobat blog yang belum mengerti robot.txt itu apa? akan saya jelaskan secera singkat di bawah ini.


Pengertian Robot.txt
Robot.txt adalah sebuah file yang berguna untuk membatasi penulusuran robot mesin pencari seperti: Google.com Bing.com yahoo.com Yang sedang menjelajahi blog yang sobat punya. Sebelum mereka menjelajahi blog sobat sekalian, dia akan memeriksa blog sobat untuk melihat apakah di dalam blog sobat terdapat sebuah file Robot.txt. dan mesin pencari itu juga memeriksa folder di dalam Robot.txt apakah ada perintah pengindekkan atau tidak. yang bertujuan untuk mencegah mereka mengakses halaman tertentu yang berada di blog sobat.

Tujuan Pemasangan Robot.txt
Tujuan pemasangannya adalah agar robot - robot mesin pencari itu tidak mengindeks halaman di search engine Google, Bing, Yahoo dll yang tidak sobat inginkan
Sekarang sobat sudah tau kan apa itu robot.txt dan tujuan pemasangannya. ^_^
Oke ayo sekarang kita menuju cara Mengatur Robot.txt Agar Valid

• Langkah pertama adalah mengecek robot.txt yang sudah sobat pasang, di sini:http://tool.motoricerca.info/robots-checker.phtml Kemudian masukkan alamat blog sobat di sana, jangan lupa untuk memberi akhiran  robots.txt di alamat sobat.
  contoh: http://www.bocahblogs.com/robots.txt
  Jika sobat belum memasang robot.txt di blog sobat silahkan abaikan langkah pertama ini ^_^ 
• Langkah kedua, setelah sobat cek robot.txt dan terdapat eror seperti di bawah ini maka sobat perlu mengatur robot.txt yang sobat pakai.
  
  WARNING: The tool has found some directory paths that don't include a trailing slash character. Since a missing trailing slash can be both a deliberate decision or an error, and since this tool can't ipotize the real intentions of the webmaster, here follow some clarifications that could prevent a potential problem:
  The following command will disable just the directory "private" and all its contents:
  Disallow: /private/
  ...while the following command will disable both the "private" directory and any file or directory path starting with the text "/private" (so "/private-eye.html", "/privateroom/page.html", etc.):
  Disallow: /private
  Please be sure to use the correct syntax, according to your needs.
  
  Rata" robot.txt yang di pasang oleh para blogger adalah sperti ini:
  User-agent: Mediapartners-Google
  Disallow:
  
  User-agent: *
  Disallow: /search
  Allow: /
  Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED
  Kesalahan robot.txt di atas adalah terletak pada Line 6, disana ada perintah  Allow: / padahal perintah itu tidak di terima oleh "User-agent" dan perintah yang di terima "User-agent"  adalah "Disallow".
  
  
  Edit robot.txt yang salah tadi sehingga menjadi seperti ini:
  User-agent: Mediapartners-Google
  Disallow:
  
  User-agent: *
  Disallow: 
  
  Sitemap: http://www.nama-blog-sobat.com/feeds/posts/default?orderby=UPDATED
  
  Setelah itu simpan perbuhan itu, kemudian cek kembali robot.txt sudah valid atau tidak ^_^
  Oiya untuk sobat blogger yang belum memasang robot.txt dan ingin memasangnya silahkan pakai robot.txt yg ke 2 dengan cara di bawah iniMasuklah ke dashboard Blogger - Setelan - Preferensi Penelusuran - Klik Edit pada Robots.txt - Aktifkan - Isi dengan robot.txt. yang no 2 - kemudian simpan. Cukup sekian dulu pembahsan kali ini semoga pembahsan mengenai Mengatur Robot.txt Agar Valid bisa bermanfaat. ^_^.