厦门SEO顾问提供厦门网站优化服务

加微信咨询
服务热线:
17850510592
网站
首页
网站
优化
优化
价格
常见
问题
网站
建设
SEO
技术
联系
我们
您当前位置:seo优化排名顾问 >> 厦门seo >> seo技术 >> 百度优化 >> 浏览文章
百度spider专家QA集锦抓取建库篇
时间:2018年03月31日来源:www.zgqseo.com编辑:厦门seo点击:
百度spider专家在2016年百度在上海举办的VIP大讲堂上作了一场与站长面对面的培训交流,针对与会站长提出的各种题目,逐一作了解答。

百度spider专家在2016年百度在上海举办的VIP大讲堂上作了一场与站长面对面的培训交流,针对与会站长提出的各种题目,逐一作了解答。本文将培训现场抖出的干货整顿如下,各位偕行可以通过QA记录看看本身心中的疑问是否已被解答。

问:为什么收录量像坐过山车一样的,还有为什么有些网页今天在明天就没了?

答:百度会周期建库,且每个库的收录量是恒定的,你老是有新增,一定会再从库里镌汰一些,反正总是保持那个库是满的。在建库的过程中,你会感觉有波动。详细的怎么筛,哪个页面会留下哪个页面会镌汰,这个策略是有许多的,他随着时间的转变,收录的标准策略也是在发生微调。

问:我们站点使用CDN加速会不会比较容易造成蜘蛛无法抓取?由于偶然候修改掉他绑定的什么东西。

答:假如要修改掉肯定要关照到上一级,如今不存在这个题目,如今你假如修改掉也可以解析掉,之前可能会存在这个题目。

问:你们百度本身也有一个CDN加速,对抓录排名有没有影响?

答:在使用CDN加速这个题目上,我们对所有站点等量齐观。但我建议你使用技术能力强的CDN服务商,保证站点的稳固和速度,百度会更喜好。

问:刚才您说IP上的站点数不能太多,那CDN这种情况怎么办?

答:CDN的情况另说,假如我们识别出来是CDN的话不会受站点数量的影响,假如你是提供自力IP的话会有如许一些题目。

问:照旧IP上站点数量的题目,假如是主域跟二级域名呢?也受数量限定?

答:我说的是自力域名。当然质量比较好的二级域名也可以认为是自力域名

问:多个域名,他有雷同的一些内容,怎么建库?

答:假如是多域名在统一个主域下面有雷同内容的话,不可能所有都建库,而且被建库的那个可能不是你盼望的那个,所以尽量不要有雷同的内容。

问:刚才讲的IP假如是多域名的话,好几百个IP域名,如今我们也用了CDN,按照刚才的说法,单个IP最多抓多少?1000万是说对站点照旧对IP?

答:对IP,但1000万是我举例,不是现实的数据,这个数据不会分享出来的

问:如今我的网站被许多蜘蛛爬,我想只让百度蜘蛛爬,百度蜘蛛IP多少?能设白名单么?

答:百度蜘蛛IP是赓续变的,如今网上的确有一些白名单的说法,临时是有用的,但不保证往后不会变,所以建议站点照旧通过ua进行判断,我们百度站长平台上有相干的文章,你可以找一下。

问:假如我写robots只想禁掉动态链接的话,会不会影响动态参数前面正常链接的抓取?

答:不会的,你原来的页面还在,一定会抓。

问:我想了解,假如我如今收录有5万,也许多长时间才能把我原来收录5万重新抓取一遍?

答:不同站点不好说,一个是你站点做的很好,着名度很响更新很快质量很好就会快;假如你的站点默默无闻,贡献很少,可能就会很慢。

(接上个题目)

问:就是差不多的情况,也许。

答:这个没有人能估出来。

问:百度站长平台上稀有据提交的工具,我们实时提交,你们也会实时抓取吗?

答:不会,他会有一层判断。如今只是关照你提交成功,后面什么时候抓,什么时候建库没有,我们正在研究要不要把这个分享出来。

问:我网站有一些列表页,都没有链接,忧虑百度抓不到

答:如今百度站长平台的站内搜索工具有一个绿色收录通道,在那里提交种子页,我们就知道的。

(接上个题目)

问:提交种子页面必须要用站搜?

答:是的。

问:假如说页面里url分外多的话,蜘蛛会不会有选择性的进行抓取?

答:不会,他都会一个不漏给你提出来,但会把JS、CSS如许的链接给过滤掉。但请细致,悉数抓取过来之后会进行筛选,并不是所有都会建库。

问:如今许多网站都有本身的站内搜索,都会产生站内搜索效果页,百度不喜好搜索效果页的话,我们用这个会不会对我们有影响?只是不喜好照旧对我们网站会有责罚

答:蜘蛛会去抓,抓完之后紧张是提取里面的链接。假如只有一两条如许的页面质量不好题目不大,假如团体质量较差,有可能受到责罚。

问:新出的时效性文章当时没有被收录,后期是否还会被收录?

答:会

问:站点天天最高爬虫多少次?

答:这个其实说不好,有的站点我们一天会抓一两万万,有的站点只抓几个、几十个,看你的规模和质量,而且这个抓取量也是会根据网站的情况进行调整的。



相关文章
SEO技术
在线QQ
ONLINE
返回厦门SEO优化首页顶部

服务 Q Q:365600987

联系邮箱:admin@zgqseo.com

网址:www.zgqseo.com

地址:厦门市湖里区

网站优化微信
微信号
网站地图 sitemap