爬虫频繁更换用户代理（UA）和IP能绕过反爬虫机制吗？
创始人
2024-11-14 00:33:42
0次
今天捕捉到一个网页爬虫，IP地址为：110.42.66.212，UserAgent在短短2小时内换了17个，抓取了62个页面,因触发反爬规则被封。
| 序号 | UserAgent |
| 1 | Googlebot/2.1+(+http://www.googlebot.com/bot.html) |
| 2 | (compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html） |
| 3 | AppleWebKit/534.46+(KHTML,like+Gecko)+Version/5.1+Mobile+Safari/10600.6.3 |
| 4 | Sogou+Push+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) |
| 5 | Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) |
| 6 | Mozilla/4.0+(compatible;+MSIE+9.0;+Windows+NT+6.1) |
| 7 | Python-urllib/3.10 |
| 8 | iaskspider/2.0(+http://iask.com/help/help_index.html) |
| 9 | Sogou+web+spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) |
| 10 | Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp??) |
| 11 | Googlebot/2.1+(+http://www.google.com/bot.html) |
| 12 | Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html) |
| 13 | Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html?? |
| 14 | Mozilla/5.0+(Linux;u;Android+4.2.2;zh-cn;) |
| 15 | Mozilla/5.0+(compatible;+YodaoBot/1.0;+http://www.yodao.com/help/webmaster/spider/;+) |
| 16 | msnbot/1.0+(+http://search.msn.com/msnbot.htm) |
| 17 | Mozilla/5.0+(compatible;+iaskspider/1.0;+MSIE+6.0) |
我认为频繁更换UA并不能解决爬虫被封的问题。更换IP也不能保证绕过反爬虫机制，因为涉及到抓取频率，如果频率过低，费时长且没有效率，迟早要被反爬虫机制识别；频率过高（比如一秒中抓取两三个页面），则很快就会触发反爬虫规则。
文章来源于尚贤达猎头公司谭工
相关内容
热门资讯
分享一款！吉安中至小程序微信辅...
分享一款！吉安中至小程序微信辅助（揭露辅助工具）本来有透视指引进入游戏-大厅左侧-新手福利-激活码辅...
记者揭秘！潮汕来物局开挂方法（...
记者揭秘！潮汕来物局开挂方法（详情辅助工具）一贯有透视方针潮汕来物局开挂方法破解侠是真的助透视。每个...
今日公布！湘竞技辅助（普及辅助...
今日公布！湘竞技辅助（普及辅助工具）一贯有透视妙招1、进入游戏-大厅左侧-新手福利-激活码辅助透视技...
实测必看！闲逸亲友圈辅助下载（...
实测必看！闲逸亲友圈辅助下载（必备辅助器）原来有透视烘培1、金币登录送、破产送、升级送、活动送。详细...
来一盘！上饶打炸漏洞（总结辅助...
来一盘！上饶打炸漏洞（总结辅助攻略）一直有透视法门1）上饶打炸漏洞有没有挂：进一步探索上饶打炸漏洞有...
安装程序教程！广西友乐免费辅助...
安装程序教程！广西友乐免费辅助使用视频（曝光辅助工具）真是有透视教材1、进入游戏-大厅左侧-新手福利...
今日焦点！福建兄弟十三水挂件去...
今日焦点！福建兄弟十三水挂件去那买（有挂辅助方法）其实有透视办法1、金币登录送、破产送、升级送、活动...
揭秘一下！情怀莆仙外挂（了解辅...
揭秘一下！情怀莆仙外挂（了解辅助技巧）切实有透视办法所有人都在同一条线上，像星星一样排成一排，每一代...
教程攻略！广东雀神智能插件辅助...
教程攻略！广东雀神智能插件辅助脚本（揭露辅助方法）竟然有透视资料1、全新机制【广东雀神智能插件辅助脚...
今日公布！同城游破解版下载（分...
今日公布！同城游破解版下载（分享辅助教程）竟然有透视模块1、完成同城游破解版下载辅助器v3.3的残局...