7
WordPress下文章被蜘蛛重复收录
Posted by 撒得一地 on 2015年9月20日 in wordpress笔记
今天，查看好搜收录的时候，发现竟然两篇相同的文章被收录。记得比较早以前百度也有过收录两篇相同文章的例子，我没在意，后面百度撤销了相同的页面。大量重复收录对读者和搜索引擎来说都是不友好的，所以这次重复收录引起了我的注意。
我看了两篇相同文章的链接，一个是：http://coderschool.cn/339.html 另一个是:http://coderschool.cn/339.html?replytocom=39。 我细查了下，发现带有replytocom的链接是回复评论链接，原文链接和回复评论链接都是指向同一个页面，看来蜘蛛也有犯傻的时候。
那么如何解决因replytocom引起的文章被重复收录，一般有下面两种方法：
1.设置robots.txt文件:
Disallow:/*?replytocom=*
2.对于包含replytocom的所有链接都加上nofollow链接,在后台-外观-编辑下的function.php文件添加下面代码:
function add_nofollow($link, $args, $comment, $post){
return str_replace("href=", "rel='nofollow' href=", $link);
}
add_filter('comment_reply_link', 'add_nofollow', 420, 4);
建议使用第一种。
7 Comments
这个一般是通过设置robots.txt文件来拒绝引擎爬取一些不必要的地址
沙发哦，很不错的，支持。
设置robots.txt文件来禁止收录动态网址就可以了。
技术拉近你我博主，你好，你在助推博客周评论排行榜前三，你的博客将在助推博客首页做友链免费展示一周，如有疑义，请留言！
谢谢！
我发现你博客有一个问题~ 每刷新或者打开一个新的页面，都会短暂的显示要给 暂时无法访问 然后一秒内就重定向到了一个页面。。。。开始以为是http切换到https 但是发现你的博客米有用https ~ 这个会不会也是影响蜘蛛收录的原因所在？
对，我自己也发现了这个问题。