Python最简单的图片爬虫，20行代码带你爬遍整个网站
2020-12-22 11:28
标签：class span requests 基础 api imp amp tps 网址 前言 网络上的信息很多，有的时候我们需要关键字搜索才可以快速方便的找到我们需要的信息。今天我们实现搜索关键字爬取堆糖网上相关的美图，零基础学会通用爬虫，当然我们还可以实现多线程爬虫，加快爬虫爬取速度 环境： windows pycharm python3 导入模块 确定目标网址 分析网站，确定爬取目标 发送请求，提取数据 类型转换 保存数据 运行代码，效果如下图： Python最简单的图片爬虫，20行代码带你爬遍整个网站 标签：class span requests 基础 api imp amp tps 网址 原文地址：https://www.cnblogs.com/hhh188764/p/13216186.html
import urllib.parse
import json
import requests
import jsonpath
url = ‘https://www.duitang.com/napi/blog/list/by_search/?kw={}&start={}‘
label = ‘美女‘
label = urllib.parse.quote(label)
num = 0
for index in range(0,2400,24):
u = url.format(label,index)
we_data = requests.get(u).text
html = json.loads(we_data)
photo = jsonpath.jsonpath(html,"$..path")
for i in photo:
a = requests.get(i)
with open(r‘C:\Users\Administrator\Desktop\tupian\{}.jpg‘.format(num),‘wb‘) as f:
f.write(a.content) # 二进制
num += 1
文章标题：Python最简单的图片爬虫，20行代码带你爬遍整个网站
文章链接：http://soscw.com/index.php/essay/37561.html