urllib运用（1）
2021-04-02 14:27
标签：定位 返回 data- nbsp 资源 import 运用 span 发送 urllib运用（1） 标签：定位 返回 data- nbsp 资源 import 运用 span 发送 原文地址：https://www.cnblogs.com/lizhihoublog/p/11206780.html# 1.导入urllib中的request
# 2.定义爬取的url(统一资源定位符)
# 3.定义一个请求对象request
# request的参数有url：访问的网址；data：发起请求时带的数据请求方式为post；
# headers：包括发送HTTP报文的键值对(例如user-agent请求头)可以利用random中的choice方法随机一个user-agent
# 4.定义一个响应对象接收访问的网页信息(此时返回的是一个response对象)
# 5.使用read()方法和decode()方法对返回的数据进行处理返回成utf-8的格式
from urllib import request
url_1 = ‘https://www.baidu.com/‘
header = {
‘User-Agent‘:‘Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0‘
}
req = request.Request(url=url_1,headers=header)
response = request.urlopen(req).read().decode(‘utf-8‘)
print(response)