0xAA55 发表于 2015-1-3 12:34:13

【蜘蛛】对百度蜘蛛的研究

作为站长我当然希望自己的论坛能更容易被百度搜索到。那么我就需要了解百度蜘蛛的运作方式。
以我观察看来,百度应该是这样运作的:

1、用户提供页面URL
2、下载页面的内容,记录页面的关键字,收入数据库
3、分析里面的超链接、iframe等,然后将链接设置为页面,递归回到第二步。

也就是提供一个主页就行了。不过百度貌似并不会完全把所有链接都抓取掉。还是会漏掉一些链接。Discuz的百度结构化数据提交插件能较好地弥补这个问题。
此外提交URL也能适当增加论坛的百度收录量。

而如果论坛中有帖子的内容和百度已收录文章中的内容类似的话,百度大概就会无视掉这些内容——论坛必须有自己的内容才行啊。
如果论坛文章中出现的关键字太多,就会被算为作弊,会受到百度蜘蛛的惩罚——搜不到内容。
采集来的内容并不能帮助网站积攒百度收录量。
页: [1]
查看完整版本: 【蜘蛛】对百度蜘蛛的研究