robots.txt
discuz论坛的robots.txt文件设置
discuz论坛的robots.txt文件设置
User-agent: * Allow: /redirect.php Allow: /viewthread.php Allow: /forumdisplay.php Disallow: /? Disallow: /*.php
搜索引擎对robots.txt的支持情况
1. 对于allow 及 * $ 通佩符都支持，定义是一样的。
2.对于同一个User-agent 段内的 allow 和 disallow，匹配规则是不一样的。
google,baidu,sogou对于allow的优先级高，只要有allow允许，不管在段内什么位置，不管之前disallow设置如何，蜘蛛就会索引；
而live serch, yahoo对于allow和disallow的定义是平级的，按照从下到下的顺序只要匹配成功就退出。youdao未知
from:http://seo.banmutian.org/thread-2-1-1.html
标签云
.htaccess 301 2010 Android apache cache cacti CSS date ddos discuz django fastcgi freebsd git google http iftop linux macos mysql nginx njava php pr python sed seo snmp ssh ubuntu ubuntu10.04 wordpress xdebug 优化 密码 文件 时区 用户 登录 监控 缓存 网站 脚本 颜色
WP Cumulus Flash tag cloud by Roy Tanck and Luke Morton requires Flash Player 9 or better.
近期文章
近期评论
文章归档
链接表
QR Code
