这是河北博客今天在google的收录情况，site:www.kingwq.cn查询后，发现被K的只剩下了70多项，翻页查询后，发现蜘蛛爬到了不该去的地方，卡了！河北博客http://www.kingwq.cn使用的程序是z-blog，z-blog一向是以便于优化著称，而我忽略了一点，就是没有在程序中写入robots.txt文件。从而致使蜘蛛找不到北，胡乱爬了。
百度虽然界面友好，但是第二条链接已经失效了，打开后会报错，所以，快照时间为2009年12月6日。
下面我来给大家说一下怎样解决这个问题。友情提示，文章首发http://www.jzq8.com转载请注明。
因为河北博客使用的程序是z-blog，在这里，我就用z-blog的robots写法来说明，首先我们需要知道我们什么文件是不想让搜索引擎来收录的，在这里我把我整理好的给大家发上来，以供参考。
#
# robots.txt for dikeyao
# Version 4.0.0
#
User-agent: *
# Directories
Disallow: /FUNCTION/
Disallow: /CACHE/
Disallow: /XML-RPC/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /CSS/
Disallow: /LANGUAGE/
Disallow: /DATA/
Disallow: /THEMES/
Disallow: /INCLUDE/
Disallow: /PLUGIN/
Disallow: /UPDATE/
Disallow: /STYLE/
Disallow: /TEMPLATE/
#Files
Disallow: /search.asp
Disallow: /view.asp
Disallow: /wap.asp
Disallow: /cmd.asp
Disallow: /c_option.asp
Disallow: /c_custom.asp
Disallow: /catalog.asp
Disallow: /wizard.asp
#Sitemap
Sitemap: http://www.kingwq.cn/sitemap.xml
具体操作方法：在桌面新建一个文本文件，把上面的内容写入文本文件，改名为robots.txt，上传至程序根目录。
希望我的经历能够给大家带来一些提醒，少走一些弯路。文章首发建站吧http://www.jzq8.com/a/seoss/wzzd/2010/0507/244.html。欢迎转载，转载请保留作者信息，十分感谢！
