爬虫中使用格式化参数动态修改URL
2021-03-05 12:26
阅读：488
标签：商品 png 接口 page nbsp alt cti 通过 ima 在爬取京东商品评论区的过程中，发现每个商品的评论区接口相似，应立即意识到： 于是编写函数，通过格式化参数动态改变URL 定义fetch_url为商品ID,page为当前评论页数，将原URL中的id和page用%s占位符代替，后面使用%(fetch_url, page)替换 注意：若是单个参数，使用 %page 即可 如果是多个函数，使用 %(fetch_url, page).而并不是我之前的写法：%fetch_url, %page 爬虫中使用格式化参数动态修改URL 标签：商品 png 接口 page nbsp alt cti 通过 ima 原文地址：https://www.cnblogs.com/kintsugi/p/12907735.html
def fetch_comment(fetch_url, page=0):
url = ‘https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=%s&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&fold=1‘ %(fetch_url, page)
评论
亲，登录后才可以留言！