01_Python爬蟲入門遇到的坑__反爬蟲策略01
2021-01-24 06:13
标签：使用 需要 span mic raise nec 休闲 https html 1. 爬取京東商品頁面: 我們現在要爬取這個商品的頁面的詳細信息:【今日必抢 GFI联名版】原装直邮 高端定制 2020夏季新款手工时尚休闲鞋 绿色-定制款 41-标准运动鞋码 要求: 1. 只需要拿到原始代碼就可以了,不用獲得商品的具體信息 我們直接看代碼: 如果不出所料你會得到下面的結果: 這個的意思也就是說這個頁面使用了反爬蟲技術,禁止機器人訪問.所以你可以模擬瀏覽器提交請求,你只需要添加一點點代碼. ps: 查看自己提交的信息: 你會得到如下結果: 由此我們可以看出當使用默認的請求的時候我們所提交的請求之中User-Agent是 python-requests/2.22.0,也就是說,如果使用默認的訪問方式,我們等同於直接告訴網站我是個機器人,你快來攔截我好嗎. 總結:很多網站都設有反爬蟲,使用headers能很好的偽裝自己 01_Python爬蟲入門遇到的坑__反爬蟲策略01 标签：使用 需要 span mic raise nec 休闲 https html 原文地址：https://www.cnblogs.com/ltozvxe/p/12866576.html
import requests
# 需要爬取的商品頁面
url = "https://item.jd.com/68001860009.html"
try:
# 請求頁面
r = requests.get(url)
# 判斷狀態碼, 如果連接狀態不正確, 會自動拋出異常
r.raise_for_status()
# 使用備用編碼集
r.encoding = r.apparent_encoding
# 查看獲取的源碼
print(r.text)
except:
# 爬取失敗
print(‘頁面獲取失敗‘)
import requests
# 需要爬取的商品頁面
url = "https://item.jd.com/68001860009.html"
‘‘‘
使用帶headers的請求,
head中的User-Agent表示請求的對象,Mozilla/5.0是一個標準的瀏覽器請求
後面的則是表示平台和使用的瀏覽器版本
‘‘‘
head = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"}
try:
# 請求頁面
r = requests.get(url, headers = head)
# 判斷狀態碼, 如果連接狀態不正確, 會自動拋出異常
r.raise_for_status()
# 使用備用編碼集
r.encoding = r.apparent_encoding
# 查看獲取的源碼
print(r.text)
except:
# 爬取失敗
print(‘頁面獲取失敗‘)
import requests
url = "https://item.jd.com/68001860009.html"
head = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"
}
# 默認訪問方式
r1 = requests.get(url)
# 查看提交的url
print(r1.request.url)
# 查看請求的headers
print(r1.request.headers)
# 加上headers之後訪問
r2 = requests.get(url, headers=head)
print(r2.request.url)
print(r2.request.headers)
https://item.jd.com/68001860009.html
{‘User-Agent‘: ‘python-requests/2.22.0‘, ‘Accept-Encoding‘: ‘gzip, deflate‘, ‘Accept‘: ‘*/*‘, ‘Connection‘: ‘keep-alive‘}
https://item.jd.com/68001860009.html
{‘User-Agent‘: ‘Mozilla/5.0\xa0(Windows\xa0NT\xa010.0;\xa0Win64;\xa0x64)\xa0AppleWebKit/537.36\xa0(KHTML,\xa0like\xa0Gecko)\xa0Chrome/80.0.3987.149\xa0Safari/537.36‘, ‘Accept-Encoding‘: ‘gzip, deflate‘, ‘Accept‘: ‘*/*‘, ‘Connection‘: ‘keep-alive‘}
文章标题：01_Python爬蟲入門遇到的坑__反爬蟲策略01
文章链接：http://soscw.com/index.php/essay/46207.html