百度蜘蛛(Baiduspider)爬取是搜索引擎获得页面内容的一个重要的途径,通过蜘蛛的抓取可以得到一个页面的***主要的内容从而收录百度数据库系统,每次抓取之后都会再与数据库原有的信息进行比对,来确定页面的总体质量。

(博主注:***近明月的小博客竟然“攻击”不断,大部分是扫描和 SQL 注入类的,甚***造成前两天“主机资源耗尽”又被关停了,于是狠下心好好的分析了一下服务器日志,找出了不少可以 IP,直接给屏蔽掉了,没有想到的是这些 IP 里竟然有 6-7 个是百度蜘蛛的 IP,无语了都,还好及时通过百度站长平台里的“抓取诊断”发现了,要不后果真是不敢设想呀!因为需要知道百度蜘蛛常见 IP,所以就搜索了一下相关的资料,获得了下文的 IP 整理,就当是一次记录吧,指不定啥时候就要用上了。)
那么,每当蜘蛛来抓取的时候都会被网站日志文件记录下来,具体包括抓取时间,抓取的页面以及蜘蛛来路 IP 地址,上次说到百度蜘蛛(Baiduspider)ip 来路基本能够反映出不同蜘蛛对站点不同页面的喜好程度,从侧面也反映出整个网站不同页面的权重值,通过自己一系列的分析,可以较为准确的评估整站的权重分布,对于 seo、文章内容价值、用户体验都起到很好的参考价值。
百度蜘蛛 IP 地址
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
220.181.68.*每天这个 IP 段只增不减很有可能进沙盒或 K 站。
220.181.7.*、123.125.66.*代表百度蜘蛛 IP 造访,准备抓取你东西。
121.14.89.*这个 ip 段作为度过新站考察期。
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后。
210.72.225.*这个 ip 段不间断巡逻各站。
125.90.88.*广东茂名市电信也属于百度蜘蛛 IP 主要造成成分,是新上线站较多,还有使用过站长工具,或 SEO 综合检测造成的。
220.181.108.95 这个是百度抓取首页的专用 IP,如是 220.181.108 段的话,基本来说你的网站会天天隔夜快照。(悲剧的我竟然屏蔽了这个 IP)
220.181.108.92 同上 98%抓取首页,可能还会抓取其他(不是指内页)220.181 段属于权重 IP 段此段爬过的文章或首页基本 24 小时放出来。(嗯,还有这个也屏蔽了,晕死了!)
123.125.71.106 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。(这个也有,汗!)
220.181.108.91 属于综合的,主要抓取首页和内页或其他,属于权重 IP 段,爬过的文章或首页基本 24 小时放出来。
220.181.108.75 重点抓取更新文章的内页达到 90%,8%抓取首页,2%其他。权重 IP 段,爬过的文章或首页基本 24 小时放出来。(这个,……!)
220.181.108.86 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(还有这个……)
123.125.71.95 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
123.125.71.97 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或采集文章。
220.181.108.89 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。(好吧,220 开头的好像都被我屏蔽了,下手真心有点儿太狠了!)
220.181.108.94 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.97 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.80 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.77 专用抓首页 IP 权重段,一般返回代码是 30400 代表未更新。
123.125.71.117 抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,因不是原创或是采集文章。
注:以上 IP 尾数还有很多,但段位一样的 123.125.71.*段 IP 代表抓取内页收录的权重比较低,可能由于你采集文章或拼文章暂时被收录但不放出来.。
220.181.108.83 专用抓取首页 IP 权重段,一般返回代码是 30400 代表未更新。
220.181.108.*段 IP 主要是抓取首页占 80%,内页占 30%,这此爬过的文章或首页,*** 24 小时内放出来和隔夜快照的!
一般成功抓取返回代码都 200,返回 304 代表网站没更新。
Google 蜘蛛 IP 地址
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
谷歌蜘蛛 IP 段解析
202.101.43.*、222.73.247.*、66.249.65.*这三个 ip 段是***为常规出现的
66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的 ip 段
210.72.225.*这个 ip 段不间断巡逻各站
203.208.60.*这个 ip 段出现在新站及站点有不正常现象后
360 蜘蛛 IP 段
101.226.166.*(101.226.166.195~101.226.166.254,共 60 个)
101.226.167.*(101.226.167.195~101.226.167.254,共 60 个)
101.226.168.*(101.226.168.195~101.226.168.254,共 60 个)
101.226.169.*(101.226.169.195~101.226.169.230,共 36 个)
180.153.236.*(180.153.236.11~26;180.153.236.35~180.153.236.74;180.153.236.101~180.153.236.196,共 152 个)
182.118.20.*(182.118.20.201~182.118.20.254,共 39 个)
182.118.21.*(182.118.21.201~182.118.21.*254,共 54 个)
182.118.22.*(182.118.22.141~182.118.22.149;182.118.22.211~182.118.22.250,共 64 个)
182.118.25.*(182.118.25.131~182.118.25.245;)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110~182.118.26.239(时效性 UAIP 段,主要针对网站内容更新的爬取)
360 蜘蛛 IP 段解析
220.181.126.*、101.199.*.*据说为 360 举报 IP。也就是说,假如你的网站日志出现这个 IP 段,你的网站被举报了。如果是违法站,那就自求多福吧。
搜狗蜘蛛 IP 段
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
神马蜘蛛 IP 段
42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*
其他蜘蛛 IP 段
163 搜索引擎蜘蛛 IP 地址大全
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
iask 搜索引擎蜘蛛 IP 地址大全
61.135.152.*
msn 搜索引擎蜘蛛 IP 地址大全
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
搜搜蜘蛛 IP 地址
219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*
新浪搜索引擎蜘蛛 IP 地址
219.142.118.*
219.142.78.*
搜狐搜索引擎蜘蛛 IP 地址
61.135.132.*
220.181.26.*
220.181.19.*
Yahoo 搜索引擎蜘蛛 IP 地址
66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*
Yahoo 中国搜索引擎蜘蛛 IP 地址
202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*
中搜蜘搜索引擎蜘蛛 IP 地址
202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*
好了,终于通过此文提供的 IP,在屏蔽里排除了百度蜘蛛的 IP 了,总结下来就是“对自己真的是太狠了”,看来一些基本的数据必须要保留呀!就像此文一样,保存好,随时都可以用来参考的!屏蔽 IP 一定要慎重了,很容易误伤的,这两天 QQ 浏览器总是出现“403”错误估计跟 IP 屏蔽也有关系吧!我得好好排查一下了!
推荐阅读:
- 推荐文章
-
- 电流互感器的作用介绍以及概括
- 欧姆龙微动开关错误的操作指示
- 浅谈热缩管的制造流程的步骤
- 电源浪涌保护器的细致归类
- 防爆配电箱常见故障由哪些方面导致?
- 开关电源我们该怎么去了解?
- SBH5系列双电源开关的解析
- 防爆型电动球阀主要用途以及优势
- 怎么检验出中心集电器的品质好坏
- 冷压端子的品质判断及稳定性能检测
- 自力式调节阀怎么操作
- 防水开关电源的设计步骤
- 智能一体化执行器常见故障问题以及处理方法
- 如何鉴别矿用反冲洗滤芯的质量?
- 瑞基执行器的安裝维护保养的目的
- 重力浇铸机标准的操作流程
- 电动调节阀问题及解决方式
- 安全挂锁制造时候必须关注哪方面的技术性呢?
- 固体柜的优势
- 工业插头基础性能以及用途特征
- 不锈钢卡压式管件特性及弯管安装常见问题
- 不锈钢卡压式管件的基础构成
- 防爆照明配电箱技术性能
- ***式断路器经常发生跳闸的因素及解决法门
- 跌落式熔断器的检修
- 自力式调节阀的关键特性
- 液压支架滤芯应用环境标准
- 防爆接线箱安裝注意事项
- 水银滑环运行原理分析
- PET热缩管应用材料介绍
- 应用热缩管关键的性能指标
- 温州回收老名表市场的发展情况
- 环网柜使用问题的不良影响
- 直流接触器安装方法
- 安全搭扣锁使用环境的要求
- 直流接触器有什么问题会烧毁?
- 直流分流器选型指南
- 中心集电器引起环火的因素是什么?
- 铝合金低压铸造机有什么标准规范
- 名表回收注重品牌知名度的一方面
- 怎样恰当挑选及区别氟塑料磁力泵?
- 变频恒压供水控制器控制模式
- 双电源自动转换开关操作注意内容
- 怎样维护保养中心集电器?
- 自复式过欠压保护器基本功能以及性能
- LED防爆灯检修正确方法
- 导电滑环的主要用途以及类型
- 导致充气柜内部潮湿的原因
- 直流分流器的故障预防措施
- 乐清废品回收的环保作用
