http://nama-blogmu.blogspot.com/robots.txtKalau belum, bisa kamu coba sekarang. Apa yang kamu lihat? Cukup menarik bukan?
Santai saja, itu bukanlah ulah hacker. Robots.txt baru-baru ini ditambahkan Google ke platform Blogger agar isi dari blog bisa didapatkan dari search engine dengan lebih cepat.
Apa sih Robots.txt?Robots.txt adalah protokol informal, yang diciptakan hanya melalui konsensus, yang digunakan oleh Web-web Robot untuk mengkategorikan dan mengarsip website-website yang ada. Web Robot, yang juga dikenal sebagai web crawler atau spider, adalah aplikasi yang membaca dan menganalisa file dari web-web server dengan kecepatan tinggi secara otomatis. Dalam konsensus juga disebutkan bahwa web robot hanya akan mengakses robots.txt dalam root folder di web server.
Seperti yang bisa kamu lihat di url yang baru kamu buka, robots.txt di blog ini memuat tulisan:
User-agent: *
Disallow: /search
Sitemap: http://irfanse.blogspot.com/feeds/posts/default?orderby=updatedHanya web robot tertulis di
User-agent yang dibolehkan mengakses web site (* = membolehkan semua web robot). Web robot tersebut bisa mengakses semua folder pada website selain folder yang tertulis setelah Disallow. Dan yang terakhir dan juga paling penting adalah Sitemap, dengan parameter ini web robot akan dapat menemukan artikel baru atau content yang telah terupdate secara otomatis.
4 comments:
Pernahkah kamu mencoba masuk ke blog-mu dengan url berikut:
http://nama-blogmu.blogspot.com/robots.txt
Kalau belum, bisa kamu coba sekarang. Apa yang kamu lihat? Cukup menarik bukan?
---------
Gak berani buka ah. Kalo kamu kasih link terus bilang "buka deh", biasanya keluar yang horror2 gitu.
Emang pernah ya aku kasi link horor?
seingetku aku cuma pernah ngirim flash horor :D
Bos belum ceritakan mengapa blogger me-disallow /search?
padahal di blogspot kalo kita buat label pasti setelah /search/label/namahalaman.html
ini tentu sangat merugikan sekali karena setiap link yang berektensi /search di blog kita tidak akan di index googlebot.
Sampai sekarang saya masih bingung kenapa blogger mendisallow /search dan bagaimana meng-allow-kannya.
thanks
Tambusai- Pekanbaru
» Bang Tambusai
menurutku /search page semacam:
1. Search Result: irfanse.blogspot.com/search?q=Robot atau
2. Label: irfanse.blogspot.com/search/label/aplikasi
mengambil konten yang sudah ter-list di http://irfanse.blogspot.com/feeds/posts/default?orderby=updated
mungkin google pengen efisien dalam meng-crawle blog dengan memperhatikan hanya satu kopi saja dari satu post.
Post a Comment