【Python3爬虫错误】：ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接？解决办法

标签： python Python3爬虫错误 ConnectionReset WinError 10054 远程强迫关闭了一个现有的连接 python爬虫错误

出现问题描述及分析：

最近做爬虫是，经常出现ConnectionResetError: [WinError 10054] 等错误，主要是因为使用urlopen方法太过频繁，引起远程主机的怀疑，被网站认定为是攻击行为，导致urlopen()后，request.read()一直卡死在那里，导致最后抛出10054异常。
在这里插入图片描述

具体解决办法：

1、设置sleep()等待一段时间后继续下面的操作【简单常用】

import time

time.sleep(t)

2、在request后面写入一个关闭的操作

response.close()

3、设置socket默认的等待时间，在read超时后能自动往下继续跑

socket.setdefaulttimeout(t_default)

4、防止循环时某一个请求失败导致循环退出，从而程序退出【常用】

抛出异常，保存日志或者重新请求，或者加请求超时。=

                try:
                    html = requests.get(pic, headers=Hostreferer, timeout=15)
                    print('成功')
                except requests.exceptions.RequestException as e:
                    print(e)
                    print('失败')
                    continue

具体例子：

1、使用Python爬取妹子网的图片，批量下载，附带源码，超详细

2、爬虫实例源码下载，修改目录直接能运行

更多内容参考：
Python爬虫学习汇总（持续更新）

本文链接：https://blog.csdn.net/xunxue1523/article/details/104662965

智能推荐

restful+ci框架实践

restful架构：是就是目前最流行的一种互联网软件架构。它结构清晰、符合标准、易于理解、扩展方便，所以正得到越来越多网站的采用。具体理论请看我上一篇写的restful理论。本篇主要记录下关于restful的实践。 restful实践：工具：这次在ci框架+restful 主要文件：在控制器中添加控制器类：Restful.php。在头部包含REST_Controller.php文件并继承...

Configuration, ConfigurationProperties和EnableConfigurationProperties用法

最近刚刚解决了个错误，突然又发现这个类在spring容器中找不到，于是我就加一个 @Component的注解，哈哈直接启动成功，那我如果吧这个注解去掉，加上一个@Configuration的注解呢，哈哈还是可以的，毕竟里面已经有这个@Component的注解了。所以我就整理下Configuration，ConfigurationProperties，EnableConfigurationProp...

备战蓝桥杯--贪心算法刷题整理5

翻硬币(贪心算法) 看了一下网上的题解，感觉挺强，网友的做题思想值得借鉴，这里分享一下网友的链接，同时再分享一下自己的解题方案链接：https://blog.csdn.net/qq_34594236/article/details/60326782 题目描述：小明正在玩一个“翻硬币”的游戏。桌上放着排成一排的若干硬币。我们用 * 表示正面，用 o 表示反面（是小写字母...

部署高可用RabbitMQ

安装准备工作这里我们使用三个RabbitMQ节点：开通端口（具体见官方文档）：安装ErLang和RabbitMQ Server 安装文档见：https://www.rabbitmq.com/install-rpm.html。采用RPM包而不是Repo的安装命令如下（以下的版本号可根据实际情况修改）：安装管理插件安装文档见：https://www.rabbitmq.com/manage...

Opencv常用代码总结

文章目录读取显示图像保存图片查看图片信息读取视频截取部分图像数据颜色通道提取、融合与保留边界填充数值计算图像融合图像阈值图像平滑（降噪）形态学-腐蚀操作形态学-膨胀操作开运算与闭运算梯度运算礼帽与黑帽图像梯度 Sobel算子 Scharr算子 laplacian算子 Canny边缘检测图像金字塔高斯金字塔：向下采样（缩小）高斯金字塔：向上采样（放大）拉普拉...