robots.txt
discuz论坛的robots.txt文件设置
discuz论坛的robots.txt文件设置
User-agent: * Allow: /redirect.php Allow: /viewthread.php Allow: /forumdisplay.php Disallow: /? Disallow: /*.php
搜索引擎对robots.txt的支持情况
1. 对于allow 及 * $ 通佩符都支持，定义是一样的。
2.对于同一个User-agent 段内的 allow 和 disallow，匹配规则是不一样的。
google,baidu,sogou对于allow的优先级高，只要有allow允许，不管在段内什么位置，不管之前disallow设置如何，蜘蛛就会索引；
而live serch, yahoo对于allow和disallow的定义是平级的，按照从下到下的顺序只要匹配成功就退出。youdao未知
from:http://seo.banmutian.org/thread-2-1-1.html