百度 Baiduspider-render 新 UA 可抓取 CSS、Javascript

昨天何先生在查看网站日志的时候发现一个新蜘蛛 Baiduspider-render ,对我网站疯狂抽插,当时以为是假蜘蛛,本想屏蔽掉,搜索了一下关键词,原来是百度更新了算法,新增渲染抓取UA,增加的UA主要为 Baiduspider-render,目的为访问网站的 CSS、Javascript 和图片信息,之前百度 Spider 无法抓取识别 Javascript。

这样看来原来是好事,不然我就把百度这个大爷拒之门外了。

百度官方公告:

百度 Baiduspider-render 新 UA 可抓取 CSS、Javascript

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从昨天开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。

最新UA如下:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动端口:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
© 版权声明
THE END
打赏一根烟,继续保持。
点赞0打赏作者 分享
评论 共5条
头像
友好交流,请勿发纯表情,请勿灌水,违者封号喔
提交
头像

昵称

取消
昵称表情代码图片
    • 头像shirley0