python爬虫项目
MTG卡片价格爬取
cninfo信息爬取
汽车之家数据爬取
5秒克隆你的声音-Real-Time-Voice-Cloning项目学习
js逆向案例-dy之X-Bogus/signature算法分析【转】
pyinstaller打包exe免杀和逆向浅析
【实用】从一个exe到pyc文件的实操-逆向
B站直播弹幕协议详解
快手API发布作品
Tiktok直播间弹幕获取
spider之字体css解密和RSA解密
requests报错问题
Requests被网站识别咋办?使用curl_cffi,支持原生模拟浏览器TLS/JA3指纹的 Python 库
【实用技巧】使用Byteasy进行手抓
本文档使用 MrDoc 发布
-
+
up
down
首页
requests报错问题
> w requests.exceptions.SSLError: HTTPSConnectionPool(host=‘www.pinterest.com’, port=443): Max retries exceeded with url: /resource/UserRegisterResource/create/ (Caused by SSLError(SSLError(1, ‘[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1076)’))) **标题就是这么长** 90%的人可能都会出现前面的错误,通常加个time.sleep(1)减慢访问速度就行。然而百分之9的人通常会**因为使用了代理**而选择在系统环境中将代理设为空,或者在发送请求的时候将代理设为空,例如 ``` os.environ["NO_PROXY"]="baidu.com, google.com" # 代理为国外代理(就是指定代理进行访问) proxy={"https": "https://122.148.122.111:90", "http": "http://122.148.122.111:90"} requests.get(url, proixies=proxy) ``` 然而我竟是那剩下1%的人。 ## 问题描述 我的需求是必须要把电脑的代理开着。网络的配置是公司有外网环境可以上外网,但是我需要一个和公司独立的代理IP,于是开启了其他的代理工具。问题就在于开启代理工具后,一切都正常,IP也正常,各种应用都正常。就是使用requests的时候会出现标题所示错误。 一顿Google百度大法不能说毫无结果,只能说人的痛苦并不相通,唯一有类似状况的一个情况和我也似乎不太相同,去研究公司的防火墙白名单太复杂了,自己的电脑防火墙都关 了。贴个连接:[为什么在系统设置中设置了代理后,自己写的python爬虫程序访问网络时还需要设置代理?](https://ask.csdn.net/questions/7413177) 一点结果都没有,curl也是不能返回结果。最后部门经理让我试试urllib。requests就是urllib封装的,结果居然神奇的能运行,去找了一下两个库之间的区别,但是基本都只能浅层的说说大概区别是啥,完全没有我要的底层逻辑原理,想来也不会有人去研究这个,除非requests库或者相关开发底层的家伙。 感觉全球只有自己在面临这个问题的时候,也太tm痛苦了,不懂底层原理,也没有任何指导方向 算了,就这样吧!咱能跑就行~ ``` req = urllib.request.Request(u, headers=headers) file = urllib.request.urlopen(req, timeout=15) data = file.read().decode('iso-8859-1') ``` ## 后续的更新来了。问题完全得到了解决(解决方法) 和前面的第二个方法类似,通过设置代理,来进行访问。因为本地** 开启梯子后,梯子默认会把整个系统的流量指向电脑的某个端口,然后再由梯子进行接收往外转发**,所以我们只需要在Python的requests请求中设置代理,即可将脚本请求转向梯子。但是这个代理并非梯子节点的代理,而是系统的代理。 打开梯子后,在设置中找到对应的代理端口(通常是10809)然后加在代码中即可。 ``` proxy = {'http': '127.0.0.1:10809', 'https': '127.0.0.1:10809'} r = requests.post(u, json=data, headers=headers, proxies=proxy) ``` 搞定
laihui126
2023年3月29日 15:46
分享文档
收藏文档
上一篇
下一篇
微信扫一扫
复制链接
手机扫一扫进行分享
复制链接
关于 MrDoc
觅道文档MrDoc
是
州的先生
开发并开源的在线文档系统,其适合作为个人和小型团队的云笔记、文档和知识库管理工具。
如果觅道文档给你或你的团队带来了帮助,欢迎对作者进行一些打赏捐助,这将有力支持作者持续投入精力更新和维护觅道文档,感谢你的捐助!
>>>捐助鸣谢列表
微信
支付宝
QQ
PayPal
下载Markdown文件
分享
链接
类型
密码
更新密码