昨天何先生在查看网站日志的时候发现一个新蜘蛛 Baiduspider-render ,对我网站疯狂抽插,当时以为是假蜘蛛,本想屏蔽掉,搜索了一下关键词,原来是百度更新了算法,新增渲染抓取UA,增加的UA主要为 Baiduspider-render,目的为访问网站的 CSS、Javascript 和图片信息,之前百度 Spider 无法抓取识别 Javascript。
这样看来原来是好事,不然我就把百度这个大爷拒之门外了。
百度官方公告:
为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从昨天开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。
最新UA如下:
PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html) 移动端口:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
- 最新
- 最热
只看作者