requests模块和urllib模块爬取图片
2021-02-08 16:19
标签：就是 gen res 不同 方式 爬取图片 不可 chrome 返回 urllib就是一个比较老的网络请求的模块,在requests模块没有出现之前,请求发送的操作使用的都是urllib 直接写入文本，内部帮我们写文件 方式1和方式2对于图片数据爬取的操作最大的不同之处是在哪? 方式2不可以使用UA伪装的机制 requests模块和urllib模块爬取图片 标签：就是 gen res 不同 方式 爬取图片 不可 chrome 返回 原文地址：https://www.cnblogs.com/Hedger-Lee/p/13071817.htmlrequests模块和urllib模块爬取图片
requests模块
import requests
headers = {
‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36‘
}
# 方式1:
url = ‘https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg‘
img_data = requests.get(url=url, headers=headers).content # content返回的是byte类型的数据
with open(‘./123.jpg‘, ‘wb‘) as fp:
fp.write(img_data)
使用urllib模块
#方式2:
from urllib import request
url = ‘https://pic.qiushibaike.com/system/pictures/12217/122176396/medium/OM37E794HBL3OFFF.jpg‘
request.urlretrieve(url,‘./456.jpg‘)
区别