python学习之爬虫一

2020-12-13 01:54

阅读：363

标签：open line import 源地址 use 源码 www 进制 write

一、爬虫介绍

数据如何获取是重点

何谓爬虫：模拟浏览器向目标服务器发送请求，爬取自己需要的信息，并存入一个文件中。

(1)首先从模拟浏览器开始：

http协议：

请求url:

https://www.baidu.com/

请求方式：

GET

请求头：

Cookie:可能需要关注

User-Agent:需要关注，服务器就是通过此，来判断该段请求的来源是不是浏览器

Host:www.baidu.com(通过分析目标网站的通信流程是什么样的 )

使用谷歌浏览器，任意访问网址，右击，点击检查，出现控制台

技术图片

选择如下框起区域，此时再将鼠标移动至自己感兴趣位置，控制台中会出现整个网页的源码，找到地址

技术图片

具体代码实现如下：

# # requests模块
# # pip3 install requests
# # pip3 install -i 清华源地址 模块名
# import requests
# response=requests.get(url=‘https://www.baidu.com/‘)
# response.encoding=‘utf-8‘
# print(response)  # 
# # 返回值是以括起来的，说明返回的会是对象
# # 返回相应状态码
# print(response.status_code)
# # 返回响应文本
# print(response.text)
# # print(type(response.text))
# with open(‘baidu.html‘,‘w‘,encoding=‘utf-8‘)as f:
#     f.write(response.text)
import requests
# 因为视频和图片返回的都是而二进制即byte
res = requests.get(‘https://video.pearvideo.com/mp4/adshort/20190613/cont-1565846-14013215_adpkg-ad_hd.mp4‘)
print(res.content)
with open(‘视频.mp4‘,‘wb‘)as f:
    f.write(res.content)

未完待续。。。

python学习之爬虫一

标签：open line import 源地址 use 源码 www 进制 write

原文地址：https://www.cnblogs.com/lhhhha/p/11018322.html

上一篇：JavaScript深入之作用域链（转）

下一篇：廖雪峰Java11多线程编程-3高级concurrent包-5Atomic

文章来自：搜素材网的编程语言模块，转载请注明文章出处。
文章标题：python学习之爬虫一
文章链接：http://soscw.com/essay/24453.html

亲，登录后才可以留言！

python学习之爬虫一

评论

热门文章

推荐文章

最新文章

置顶文章