百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径,通过蜘蛛的抓取可以得到一个页面的***主要的内容从而收录百度数据库系统,每次抓取之后都会再与数据库原有的信息进行比对,来确定页面的总体质量。

(博主注:***近明月的小博客竟然“攻击”不断,大部分是扫描和 SQL 注入类的,甚***造成前两天“主机资源耗尽”又被关停了,于是狠下心好好的分析了一下服务器日志,找出了不少可以 IP,直接给屏蔽掉了,没有想到的是这些 IP 里竟然有 6-7 个是百度蜘蛛的 IP,无语了都,还好及时通过百度站长平台里的“抓取诊断”发现了,要不后果真是不敢设想呀!因为需要知道百度蜘蛛常见 IP,所以就搜索了一下相关的资料,获得了下文的 IP 整理,就当是一次记录吧,指不定啥时候就要用上了。)
那么,每当蜘蛛来抓取的时候都会被网站日志文件记录下来,具体包括抓取时间,抓取的页面以及蜘蛛来路 IP 地址,上次说到百度蜘蛛(Baiduspider)ip 来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度,从侧面也反映出整个网站不同页面的权重值,通过自己一系列的分析,可以较为准确的评估整站的权重分布,对于 seo、文章内容价值、用户体验都起到很好的参考价值。
百度蜘蛛 IP 地址
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个 IP 段只增不减很有可能进沙盒或 K 站。
220.181.7.*、123.125.66.*代表百度蜘蛛 IP 造访,准备抓取你东西。
121.14.89.*这个 ip 段作为度过新站考察期。
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后。
210.72.225.*这个 ip 段不间断巡逻各站。
125.90.88.*广东茂名市电信也属于百度蜘蛛 IP 主要造成成分,是新上线站较多,还有使用过站长工具,或 SEO 综合检测造成的。
220.181.108.95 这个是百度抓取首页的专用 IP,如是 220.181.108 段的话,基本来说你的网站会天天隔夜快照。(悲剧的我竟然屏蔽了这个 IP)
220.181.108.92 同上 98%抓取首页,可能还会抓取其他(不是指内页)220.181 段属于权重 IP 段此段爬过的文章或首页基本 24 小时放出来。(嗯,还有这个也屏蔽了,晕死了!)
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。(这个也有,汗!)
220.181.108.91 属于综合的,主要抓取首页和内页或其他,属于权重 IP 段,爬过的文章或首页基本 24 小时放出来。
220.181.108.75 重点抓取更新文章的内页达到 90%,8%抓取首页,2%其他。权重 IP 段,爬过的文章或首页基本 24 小时放出来。(这个,……!)
220.181.108.86 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(还有这个……)
123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.89 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(好吧,220 开头的好像都被我屏蔽了,下手真心有点儿太狠了!)
220.181.108.94 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.97 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.80 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.77 专用抓首页 IP 权重段,一般返回代码是 30400 代表未更新。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或是采集文章。
注:以上 IP 尾数还有很多,但段位一样的 123.125.71.*段 IP 代表抓取内页收录的权重比较低,可能由于你采集文章或拼文章暂时被收录但不放出来.。
220.181.108.83 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.*段 IP 主要是抓取首页占 80%,内页占 30%,这此爬过的文章或首页,*** 24 小时内放出来和隔夜快照的!
一般成功抓取返回代码都 200,返回 304 代表网站没更新。
Google 蜘蛛 IP 地址
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.*这三个 ip 段是***为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后
360 蜘蛛 IP 段
101.226.166.*(101.226.166.195~101.226.166.254,共 60 个)
101.226.167.*(101.226.167.195~101.226.167.254,共 60 个)
101.226.168.*(101.226.168.195~101.226.168.254,共 60 个)
101.226.169.*(101.226.169.195~101.226.169.230,共 36 个)
180.153.236.*(180.153.236.11~26;180.153.236.35~180.153.236.74;180.153.236.101~180.153.236.196,共 152 个)
182.118.20.*(182.118.20.201~182.118.20.254,共 39 个)
182.118.21.*(182.118.21.201~182.118.21.*254,共 54 个)
182.118.22.*(182.118.22.141~182.118.22.149;182.118.22.211~182.118.22.250,共 64 个)
182.118.25.*(182.118.25.131~182.118.25.245;)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110~182.118.26.239(时效性 UAIP 段,主要针对网站内容更新的爬取)
360 蜘蛛 IP 段解析
220.181.126.*、101.199.*.*据说为 360 举报 IP。也就是说,假如你的网站日志出现这个 IP 段,你的网站被举报了。如果是违法站,那就自求多福吧。
搜狗蜘蛛 IP 段
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
神马蜘蛛 IP 段
42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*
其他蜘蛛 IP 段
163 搜索引擎蜘蛛 IP 地址大全
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
iask 搜索引擎蜘蛛 IP 地址大全
61.135.152.*
msn 搜索引擎蜘蛛 IP 地址大全
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
搜搜蜘蛛 IP 地址
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*
新浪搜索引擎蜘蛛 IP 地址
219.142.118.*
219.142.78.*
搜狐搜索引擎蜘蛛 IP 地址
61.135.132.*
220.181.26.*
220.181.19.*
Yahoo 搜索引擎蜘蛛 IP 地址
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*
Yahoo 中国搜索引擎蜘蛛 IP 地址
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*
中搜蜘搜索引擎蜘蛛 IP 地址
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*
好了,终于通过此文提供的 IP,在屏蔽里排除了百度蜘蛛的 IP 了,总结下来就是“对自己真的是太狠了”,看来一些基本的数据必须要保留呀!就像此文一样,保存好,随时都可以用来参考的!屏蔽 IP 一定要慎重了,很容易误伤的,这两天 QQ 浏览器总是出现“403”错误估计跟 IP 屏蔽也有关系吧!我得好好排查一下了!
推荐阅读:
- 推荐文章
-
- 自动装配设备如何解决细小零件的装配问题
- 导轨开关电源机械故障理应怎样维修
- 软启动器启动不成功的案例
- 化工泵的应用常见问题
- 选择欧姆龙继电器正确型号的方法
- 双壁热缩套管跟普通热缩套管的差异
- 环网柜故障预防措施
- 新型固体柜的几个特点
- LED防爆灯不能正常照明的原因
- 绝缘层金属材料上的环网柜作用
- 安裝自动重合闸的实际意义在哪里?
- 单相导轨式电能表作用及特性
- 关于矿用滤芯的使用寿命
- 工业插座的优质特点有什么
- 齿轮泵如何维护保养才能发挥全部的作用
- 哪些***手表能被回收?哪些手表是不可以回收的?
- 双电源自动转换开关使用效果受到哪些因素影响?
- 制板墙与现浇段联接结构
- 环网柜的制造材料介绍
- 结构拉缝板的技术特性以及功能
- 工业插座挑选方法特性
- 结构拉缝板是什么?其作用是什么?
- 不锈钢卡压式管件安装优势
- 防爆照明配电箱技术性能
- 防爆照明配电箱可用性与性能平稳
- 铜排怎么去除镀锡及脏污
- 自力式调节阀相对优势
- 真空断路器分闸速率
- 工业连接器使用环境规定
- 水银滑环在CT机设备上的应用
- 自复式过欠压保护器的使用条件要求
- 自力式调节阀的关键特性
- 跌落式熔断器实际操作问题
- PVC结构拉缝板维护的重要性
- 热缩套管绝缘层检修功效
- 多功能电力仪表型号规格分析
- A型应急照明配电箱存在的不足之处
- 防爆电动蝶阀密封性的影响因素?
- 浙江固体柜厂家的生产技术
- 电动球阀构造特性和一些常见问题
- 选购阀门锁注意事项
- 跌落式熔断器有哪几个维修常见问题?
- 防爆配电箱有什么构造规定呢?
- 影响温州名表回收价格的因素?
- 如何延长安全挂锁的使用寿命?
- 滑环的分类以及用途
- 齿轮泵内泄难题与解决方式
- 煤矿滤芯检修注意事项
- 故障电弧探测器检测方法
- 电容电抗器维修保养方式
