Windows常用爬虫库的安装

标签: 所谓爬虫  python  selenium  chrome  pip

之前安装过python3.8了,这里不在赘述,只是说说一些常用的库和其环境的安装

一、requests 库

pip install requests

依赖库【会自动安装】:urllib3,idna,chardet,certifi
验证安装:

pip list

在这里插入图片描述

二、selenium 部署

Selenium是自动化测试工具,可以驱动浏览器执行操作

1、selenium

pip install selenium

2、Chorme浏览器

离线安装包下载地址:https://www.google.com/intl/zh-CN/chrome/?standalone=1
查看版本:

chrome://version/

在这里插入图片描述

3、ChormeDriver

在这里找到和浏览器相同的版本:http://npm.taobao.org/mirrors/chromedriver/

在python终端输入以下命令查看安装路径:

import sys
sys.path

在这里插入图片描述
将下载解压后的chromedriver.exe放到python.exe同一路径下:
在这里插入图片描述

4、验证安装

输入这个能自动打开浏览器就没问题:

from selenium import webdriver
webdriver.Chrome()

三、scrapy库

如果直接

pip install scrapy

会报错:
在这里插入图片描述
所以我们手动安装whl文件,在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载:
这里的cp就是python的版本。
在这里插入图片描述
下载完成后pip install 文件路径进行安装:
在这里插入图片描述
然后重新pip install scrapy:
在这里插入图片描述
搞定!

别的PhantomJS,数据库,Charles暂时不说了,之后学到再来补充。

版权声明:本文为qq_41205771原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_41205771/article/details/106076639