最省钱的爬虫解决方案,比IP代理更划算

2019-11-27 来源: 有来有去1980 发布在  https://www.cnblogs.com/njxuyufeng/p/11944648.html

现状:

1、网上提供代理IP池的解决方案非常多,价格也有高有低,包天/月/年的都有,品质都要靠自己去尝试。

2、试过之后,发现成本相对高,每月要花200~300元, 所以希望研究一下是否有更性价比高的解决方案

分析思路:

1、网上介绍的ADSL拨号方案,需要到运营商处申请固网宽带,有点麻烦,成本能控制在100左右

2、手机数据卡无限流量方案,一般在40GB流量之后会限速,手机ip地址可以更新,从而走新的公网ip(NAT方案),价格在50左右(手机可以买二手的,200以内)

设计方案:

1、电脑上的爬取数据程序,走手机路由(华为手机开启USB共享网络)

2、电脑上的其他程序,走办公路由

3、当爬虫程序请求发现ip地址被封杀之后,通过adb shell命令,将手机的ip地址重置,参见博文:  python3 控制安卓手机的飞行模式遇到的问题汇总

python指定请求走指定ip出口,代码如下

#coding=utf-8
import requests,sys,socket
from requests_toolbelt.adapters import source

#本机有多个ip地址上网,走指定ip地址出口发起请求
s = requests.Session()
new_source = source.SourceAddressAdapter('192.168.124.20')
s.mount('http://', new_source)
s.mount('https://', new_source)
print(s.get('http://www.baidu.com/'))

其中有个模块(requests_toolbelt), 需要提前下载好

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests_toolbelt

手机启动usb共享网络后,电脑上会出现两条缺省路由,需要操作办公网口,打开tcp/ip协议,高级,编辑默认网关的跃点数为1,重新启用网卡后,跃点数显示为2,优先级已经很高,所有网络请求如果不特殊说明,都会走124网段出去

IPv4 路由表
==================================================
活动路由:
            网络目标        网络掩码          网关               接口      跃点数
          0.0.0.0          0.0.0.0   192.168.42.129    192.168.42.37     10
          0.0.0.0          0.0.0.0    192.168.124.1   192.168.124.20      2

  

遇到过的问题:

1、曾经在手机上用启动http代理的方式,由于程序写得比较粗糙,将手机的tcp资源耗光,导致必须重启手机才能恢复(TIME_WAIT 太多)

2、电脑上有多条路由时,担心办公使用的网络会走手机,导致流量承受不住,一下子耗光。想删掉缺省路由中走手机的那一块,结果windows支持不给力,老会出错

3、ADB命令时长会报错,没有好的办法治,除非把脚本挪到手机的python环境去实现

最终效果:

1、代理IP池的成本节省下来, 每月只需要30元的流量费,手机用二手的华为手机

2、网络速度稍慢于有线网络,多个网站可能导致封杀,切换ip地址频繁的情况(无法解决)

相关文章