[Python3网络爬虫开发实战] 1.2.6-aiohttp的安装

2021-07-02 20:06

阅读：602

标签：介绍 https 其他 sync 利用 web 数据抓取 print 就是

之前介绍的Requests库是一个阻塞式HTTP请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。其实，这个过程比较耗费资源。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响应的处理等，那么爬取效率一定会大大提高。

aiohttp就是这样一个提供异步Web服务的库，从Python 3.5版本开始，Python中加入了async/await关键字，使得回调的写法更加直观和人性化。aiohttp的异步操作借助于async/await关键字的写法变得更加简洁，架构更加清晰。使用异步请求库进行数据抓取时，会大大提高效率，下面我们来看一下这个库的安装方法。

1. 相关链接

官方文档：http://aiohttp.readthedocs.io/en/stable
GitHub：https://github.com/aio-libs/aiohttp
PyPI：https://pypi.python.org/pypi/aiohttp

2. pip安装

这里推荐使用pip安装，命令如下：

1	pip3 install aiohttp

另外，官方还推荐安装如下两个库：一个是字符编码检测库cchardet，另一个是加速DNS的解析库aiodns。安装命令如下：

1	pip3 install cchardet aiodns

3. 测试安装

安装完成之后，可以在Python命令行下测试：

1 2	$ python3 >>> import aiohttp

如果没有错误报出，则证明库已经安装好了。

4. 结语

我们会在后面的实例中用到这个库，比如维护一个代理池时，利用异步方式检测大量代理的运行状况，会极大地提升效率。

[Python3网络爬虫开发实战] 1.2.6-aiohttp的安装

标签：介绍 https 其他 sync 利用 web 数据抓取 print 就是

原文地址：https://www.cnblogs.com/palace/p/9627628.html

上一篇：linux java环境变量设置

下一篇：[Python3网络爬虫开发实战] 1.5.4-RedisDump的安装

文章来自：搜素材网的编程语言模块，转载请注明文章出处。
文章标题：[Python3网络爬虫开发实战] 1.2.6-aiohttp的安装
文章链接：http://soscw.com/index.php/essay/100942.html

亲，登录后才可以留言！

[Python3网络爬虫开发实战] 1.2.6-aiohttp的安装

1. 相关链接

2. pip安装

3. 测试安装

4. 结语

评论

热门文章

推荐文章

最新文章

置顶文章