一直以来百度Spider对图片、视频、CSS、Javacript的抓取识别能力是比较低的,甚至很多都是识别不了的。近日,百度搜索引擎官方发布了一篇关于提升百度Spider抓取能力提升的公告,正文部分如下:
为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从昨天开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。
最新UA如下:
PC:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
为了更好的提升搜索引擎蜘蛛的识别能力,让更多使用CSS,Javacript的网站可以获取更好的排名。同时,需要我们在网站优化当中对这一类代码进行有效的压缩处理,还是要以百度搜索引擎蜘蛛容易抓取的元素为主进行优化。
没有回复内容