欢迎光临Fuwu360     登录 | 免费注册 |
按CTRL+D收藏,下次访问更方便
当前位置: 首页 > 编程 > Python > 做爬虫用什么代理好?

浏览历史

做爬虫用什么代理好?

龙永超 / 2020-05-04

我刚开始做爬虫,零经验的时候付出了不少代价。一开始买了http代理,用redis来自建http代理池。后来发现这种办法太麻烦了!后来才发现做爬虫最好用的代理类型是隧道代理。

做爬虫用什么代理好?

说说我的经验吧。

这个问题我刚开始做爬虫,零经验的时候在使用什么类型的代理时走了弯路,付出了不少代价。一开始买了http代理,用redis来自建http代理池。因为买来的http代理每个IP都是有一定的有效期限的,利用redis来设置key的过期时间,时间一到自动从代理池里面删除掉。后来发现这种办法太麻烦了!

后来才发现做爬虫最好用的代理类型是隧道代理,不需要写代码去获取IP,也不需要管代理IP的有效时间,很是方便!




微信或浏览器扫码阅读
用户评论 (共0条评论)

暂时还没有任何用户评论

总计 0 个记录,共 1 页。
亲,赐个留言吧!
captcha