python 采集斗图啦xpath
2021-04-06 13:28
标签：sele ike fas 管理 日常 com 后台管理系统 sts 采集 import requests; header = { selector = parsel.Selector(html) dir_name = ‘doutu_list‘ result_list = selector.xpath(‘//a[@class="col-xs-6 col-sm-3"]‘) 高颜值后台管理系统免费使用 ### 子枫后台管理系统 ###，可在宝塔面板直接安装 欢迎关注我的公众号：子枫的奇妙世界，获得独家整理的学习资源和日常干货推送。 python 采集斗图啦xpath 标签：sele ike fas 管理 日常 com 后台管理系统 sts 采集 原文地址：https://www.cnblogs.com/wmc1125/p/13399326.html
import re;
import os;
import parsel;1.请求网页
"user-agent":‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36‘
}
response = requests.get(‘https://www.doutula.com/photo/list/‘,headers=header)
html = response.text2.解析网页
print(selector)
if not os.path.exists(dir_name):
os.mkdir(dir_name)
for result in result_list:
title = result.xpath(‘./img/@alt‘).get()
img_url = result.xpath(‘./img/@data-original‘).get()
ext = img_url.split(‘.‘)[-1]
file_name = title+‘.‘+ext
print(title,img_url)
# 保存
response = requests.get(img_url,headers=header)
with open(dir_name+‘/‘+file_name,‘wb‘) as f:
f.write(response.content)
如果您对我的其他专题内容感兴趣，直达我的个人博客：www.wangmingchang.com 。