Python：黑板课爬虫闯关第一关
2021-06-27 20:07
标签：awl ext src iba 数字 int def 闯关 less 近日发现了【黑板课爬虫闯关】这个神奇的网页，练手爬虫非常的合适 第一关非常的简单 get 请求网址，在响应的 html 中用正则获取需要在网址后面输入的数字，生成新的 url，继续请求，直到通关。 代码如下： Python：黑板课爬虫闯关第一关 标签：awl ext src iba 数字 int def 闯关 less 原文地址：https://www.cnblogs.com/gl1573/p/9650887.html
import re
import requests
import time
def main():
url = ‘http://www.heibanke.com/lesson/crawler_ex00/‘
get_next(url)
def get_next(url):
print(url)
html = requests.get(url).text
m = re.search(‘(你需要在网址后输入数字|下一个你需要输入的数字是)(\d+)‘, html)
if m:
num = m.group(2)
next_url = ‘http://www.heibanke.com/lesson/crawler_ex00/‘ + num
time.sleep(1)
get_next(next_url)
else:
m = re.search(‘(?).*?(?=\\>)‘, html)
print(m.group())
m = re.search(‘(\下一关\)‘, html)
print(f‘下一关 http://www.heibanke.com{m.group(2)}‘)
if __name__ == ‘__main__‘:
main()