python爬取足球直播吧五大联赛积分榜

2018-09-27 09:45

阅读:1000

  本文实例为大家分享了python爬取足球联赛积分榜的具体代码,供大家参考,具体内容如下

  使用BeautifulSoup4解析爬取足球直播吧五大联赛积分榜信息;

   #! /usr/bin/python3 # -*- coding:utf-8 -*- from urllib.request import urlopen from urllib.request import quote from bs4 import BeautifulSoup import time import re import json import pymysql url=排名: 1, # teamId: 565, # 球队: 巴塞罗那, # 场次: 29, # 胜: 23, # 平: 6, # 负: 0, # 进/失球: 74/13, # 净胜球: 61, # 积分: 75, # 球队图标: 字体颜色: #e62e2e, # 夜间字体颜色: #af2d2d, # 背景颜色: #ffffff, # 球队名称: 巴塞罗那 # }, location = def insert_into_db(lists): #将数据写入到数据库中nect(host=localhost, user=root, password=root, database=zhi_bo_ba, charset=utf8, port=3306) # 游标。 作用 就等同于 JDBC 中的it() cursor.close() con.close() def jifenbang(str): # print(str) datas = urlopen(str) #加载json类型的数据 datas = json.load(datas) jifen_list = [] for info in datas[data]: j_f = [] j_f.append(location) j_f.append(info[排名]) j_f.append(info[球队]) j_f.append(info[场次]) j_f.append(info[胜]) j_f.append(info[平]) j_f.append(info[负]) j_f.append(info[进/失球]) j_f.append(info[净胜球]) j_f.append(info[积分]) jifen_list.append(j_f) print(jifen_list) insert_into_db(jifen_list) # 联赛&tab=%积分榜&year=[year] # 联赛&tab=球员榜&type=射手榜&year=[year] urls=西甲,英超,意甲,德甲,法甲,中超,中甲] for aa in liansai_lists: if aa[1] in list: location = aa[1] new_url = %s%s&tab=%s&year=[year] % (urls,quote(aa[1]),quote(积分榜)) jifenbang(new_url)

  以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。


评论


亲,登录后才可以留言!