新华社
池化管理方法应运而生,它将动态URL按照访问频率、更新周期、权重等级等维度进行分类储存与调度,从而让百度爬虫更高效地抓取核心页面
抓取频率自适应调节 :对于权重高、更新快的池内URL,主动向百度提交sitemap并在robots
设为首页
关于百度
About Baidu
使用百度前必读
帮助中心
© Baidu
京ICP证030173号
京公网安备11000002000001号