百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径,通过蜘蛛的抓取可以得到一个页面的***主要的内容从而收录百度数据库系统,每次抓取之后都会再与数据库原有的信息进行比对,来确定页面的总体质量。

(博主注:***近明月的小博客竟然“攻击”不断,大部分是扫描和 SQL 注入类的,甚***造成前两天“主机资源耗尽”又被关停了,于是狠下心好好的分析了一下服务器日志,找出了不少可以 IP,直接给屏蔽掉了,没有想到的是这些 IP 里竟然有 6-7 个是百度蜘蛛的 IP,无语了都,还好及时通过百度站长平台里的“抓取诊断”发现了,要不后果真是不敢设想呀!因为需要知道百度蜘蛛常见 IP,所以就搜索了一下相关的资料,获得了下文的 IP 整理,就当是一次记录吧,指不定啥时候就要用上了。)
那么,每当蜘蛛来抓取的时候都会被网站日志文件记录下来,具体包括抓取时间,抓取的页面以及蜘蛛来路 IP 地址,上次说到百度蜘蛛(Baiduspider)ip 来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度,从侧面也反映出整个网站不同页面的权重值,通过自己一系列的分析,可以较为准确的评估整站的权重分布,对于 seo、文章内容价值、用户体验都起到很好的参考价值。
百度蜘蛛 IP 地址
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个 IP 段只增不减很有可能进沙盒或 K 站。
220.181.7.*、123.125.66.*代表百度蜘蛛 IP 造访,准备抓取你东西。
121.14.89.*这个 ip 段作为度过新站考察期。
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后。
210.72.225.*这个 ip 段不间断巡逻各站。
125.90.88.*广东茂名市电信也属于百度蜘蛛 IP 主要造成成分,是新上线站较多,还有使用过站长工具,或 SEO 综合检测造成的。
220.181.108.95 这个是百度抓取首页的专用 IP,如是 220.181.108 段的话,基本来说你的网站会天天隔夜快照。(悲剧的我竟然屏蔽了这个 IP)
220.181.108.92 同上 98%抓取首页,可能还会抓取其他(不是指内页)220.181 段属于权重 IP 段此段爬过的文章或首页基本 24 小时放出来。(嗯,还有这个也屏蔽了,晕死了!)
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。(这个也有,汗!)
220.181.108.91 属于综合的,主要抓取首页和内页或其他,属于权重 IP 段,爬过的文章或首页基本 24 小时放出来。
220.181.108.75 重点抓取更新文章的内页达到 90%,8%抓取首页,2%其他。权重 IP 段,爬过的文章或首页基本 24 小时放出来。(这个,……!)
220.181.108.86 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(还有这个……)
123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.89 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(好吧,220 开头的好像都被我屏蔽了,下手真心有点儿太狠了!)
220.181.108.94 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.97 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.80 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.77 专用抓首页 IP 权重段,一般返回代码是 30400 代表未更新。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或是采集文章。
注:以上 IP 尾数还有很多,但段位一样的 123.125.71.*段 IP 代表抓取内页收录的权重比较低,可能由于你采集文章或拼文章暂时被收录但不放出来.。
220.181.108.83 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.*段 IP 主要是抓取首页占 80%,内页占 30%,这此爬过的文章或首页,*** 24 小时内放出来和隔夜快照的!
一般成功抓取返回代码都 200,返回 304 代表网站没更新。
Google 蜘蛛 IP 地址
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.*这三个 ip 段是***为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后
360 蜘蛛 IP 段
101.226.166.*(101.226.166.195~101.226.166.254,共 60 个)
101.226.167.*(101.226.167.195~101.226.167.254,共 60 个)
101.226.168.*(101.226.168.195~101.226.168.254,共 60 个)
101.226.169.*(101.226.169.195~101.226.169.230,共 36 个)
180.153.236.*(180.153.236.11~26;180.153.236.35~180.153.236.74;180.153.236.101~180.153.236.196,共 152 个)
182.118.20.*(182.118.20.201~182.118.20.254,共 39 个)
182.118.21.*(182.118.21.201~182.118.21.*254,共 54 个)
182.118.22.*(182.118.22.141~182.118.22.149;182.118.22.211~182.118.22.250,共 64 个)
182.118.25.*(182.118.25.131~182.118.25.245;)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110~182.118.26.239(时效性 UAIP 段,主要针对网站内容更新的爬取)
360 蜘蛛 IP 段解析
220.181.126.*、101.199.*.*据说为 360 举报 IP。也就是说,假如你的网站日志出现这个 IP 段,你的网站被举报了。如果是违法站,那就自求多福吧。
搜狗蜘蛛 IP 段
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
神马蜘蛛 IP 段
42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*
其他蜘蛛 IP 段
163 搜索引擎蜘蛛 IP 地址大全
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
iask 搜索引擎蜘蛛 IP 地址大全
61.135.152.*
msn 搜索引擎蜘蛛 IP 地址大全
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
搜搜蜘蛛 IP 地址
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*
新浪搜索引擎蜘蛛 IP 地址
219.142.118.*
219.142.78.*
搜狐搜索引擎蜘蛛 IP 地址
61.135.132.*
220.181.26.*
220.181.19.*
Yahoo 搜索引擎蜘蛛 IP 地址
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*
Yahoo 中国搜索引擎蜘蛛 IP 地址
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*
中搜蜘搜索引擎蜘蛛 IP 地址
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*
好了,终于通过此文提供的 IP,在屏蔽里排除了百度蜘蛛的 IP 了,总结下来就是“对自己真的是太狠了”,看来一些基本的数据必须要保留呀!就像此文一样,保存好,随时都可以用来参考的!屏蔽 IP 一定要慎重了,很容易误伤的,这两天 QQ 浏览器总是出现“403”错误估计跟 IP 屏蔽也有关系吧!我得好好排查一下了!
推荐阅读:
- 推荐文章
-
- 开关电源和线性电源的差异
- 高压环网柜跟箱式变压器的区别
- 软启动器的机械故障及常见故障根本原因
- 高压避雷器普遍异常现象分析及解决
- ***式断路器型号规格含意及归类浅谈
- 网站建设中网站的主题应当如何确定
- 多功能电力仪表应用解析
- 10KV避雷器的型号选择参照
- 10KV避雷器常见故障类型以及排除方法
- 浙江固体柜生产厂家-固体柜的技术性特征
- 电动高温球阀可以迅速充注的缘故是啥?
- 结构拉缝板专业知识详解
- 不锈钢卡压式管件安装优势
- 防爆电动执行器作用特点
- 充气柜故障问题的原因
- 经常使用到的***式断路器构造、原理及差异
- 热缩管热收缩倍数
- 消防设备电源监控系统的使用效果
- 直流继电器的主要效果
- 定制高压环网柜的流程都有哪些呢?
- 热缩套管使用安全性
- 浙江真空断路器的使用问题
- 导电环使用环境的标准
- 热缩电缆原材料及运用
- 矿用反冲洗滤芯元器件介绍
- 监控开关电源性能参数要求
- 高压直流接触器使用效果分析
- 欧姆龙继电器的使用标准
- 大同名表回收的发展趋势
- 阀门锁主要类型以及选择方法
- 直流分流器的错误界定
- 数粒包装机行业的发展趋势
- 液压支架滤芯过滤性能介绍
- 五金包装机常见故障类型以及排除方法
- 开闭所总体布局设计
- 高压开关柜检修原则
- 如何做好集电环的维修工作
- 怎样确保数粒包装机的优良抽气效果?
- 五金包装机机械故障和简易检修
- 自复式过欠压保护器安裝出错造成的四大事故以及解决措施
- 天津开关电源厂家发展趋向
- 怎样确定自复式过欠压保护器是好的?
- 监控开关电源对电解电容器性能的六大要求
- 监控开关电源的负载性能
- 怎样安全操作潜水污水泵?应用前怎样查验?
- 工业连接器的插拔力和机械性能
- 管道泵损坏的主要原因
- 热缩套管选择要考虑的四个方面
- 欧姆龙继电器机械故障难题
- 不一样种类的高压环网柜的构造特性
