20194302实验四 Python综合实践

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests

if __name__ == "__main__":

     target = ‘http://www.biqukan.com/1_1094/‘

     req = requests.get(url = target)

     html = req.text

     div_bf = BeautifulSoup(html)

     div = div_bf.find_all(‘div‘, class_ = ‘listmain‘)

     print(div[0])

还是使用 find_all 方法，运行结果如下：

接下来再匹配每一个标签，并提取章节名和章节文章。

对 Beautiful Soup 返回的匹配结果 a，使用 a.get(‘href‘)方法就能获取 href 的属性值，使用 a.string 就能获取章节名，编写代码如下：

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests

if __name__ == "__main__":

     server = ‘http://www.biqukan.com/‘

     target = ‘http://www.biqukan.com/1_1094/‘

     req = requests.get(url = target) html = req.text

     div_bf = BeautifulSoup(html)

     div = div_bf.find_all(‘div‘, class_ = ‘listmain‘)

     a_bf = BeautifulSoup(str(div[0]))

     a = a_bf.find_all(‘a‘)

     for each in a:

          print(each.string, server + each.get(‘href‘))

因为 find_all 返回的是一个列表，里边存放了很多的标签，所以使用 for 循环遍历每个标签并打印出来，运行结果如下：

最上面匹配的一千多章的内容是最新更新的 12 章节的链接。这 12 章内容会和下面的重复，所以我们要滤除。实验成功。

（4）整合代码

每个章节的链接、章节名、章节内容都有了。接下来就是整合代码，将获得内容写入文本文件存储就好了。编写代码如下：

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

import requests, sys

class downloader(object):

    def __init__(self):

        self.server = ‘http://www.biqukan.com/‘

        self.target = ‘http://www.biqukan.com/1_1094/‘

        self.names = []            #存放章节名

        self.urls = []            #存放章节链接

        self.nums = 0            #章节数

    def get_download_url(self):

        req = requests.get(url = self.target)

        html = req.text

        div_bf = BeautifulSoup(html)

        div = div_bf.find_all(‘div‘, class_ = ‘listmain‘)

        a_bf = BeautifulSoup(str(div[0]))

        a = a_bf.find_all(‘a‘)

        self.nums = len(a[15:])                                #剔除不必要的章节，并统计章节数

        for each in a[15:]:

            self.names.append(each.string)

            self.urls.append(self.server + each.get(‘href‘))

    """

    函数说明:获取章节内容

    Parameters:

        target - 下载连接(string)

    Returns:

        texts - 章节内容(string)

    """

    def get_contents(self, target):

        req = requests.get(url = target)

        html = req.text

        bf = BeautifulSoup(html)

        texts = bf.find_all(‘div‘, class_ = ‘showtxt‘)

        texts = texts[0].text.replace(‘\xa0‘*8,‘\n\n‘)

        return texts

    """

    函数说明:将爬取的文章内容写入文件

    Parameters:

        name - 章节名称(string)

        path - 当前路径下,小说保存名称(string)

        text - 章节内容(string)

    Returns:

        无

    """

    def writer(self, name, path, text):

        write_flag = True

        with open(path, ‘a‘, encoding=‘utf-8‘) as f:

            f.write(name + ‘\n‘)

            f.writelines(text)

            f.write(‘\n\n‘)

if __name__ == "__main__":

    dl = downloader()

    dl.get_download_url()

    print(‘《一年永恒》开始下载：‘)

    for i in range(dl.nums):

        dl.writer(dl.names[i], ‘一念永恒.txt‘, l.get_contents(dl.urls[i]))

        sys.stdout.write("  已下载:%.3f%%" %  float(i/dl.nums*100) + ‘\r‘)

        sys.stdout.flush()

print(‘《一年永恒》下载完成‘)

（5）学习感悟

学习Python也有一个学期了，感触最深的就是，学习编程不是一日之功，需要每天投入时间学习，也不可纸上谈兵，需要自己亲自操作，不动手就不会发现问题，动了手印象才会深刻，记得更靠。

接下来我就稍微总结一下，我在学习中遇到的问题和一些心得体会。

1.修改字符串大小写时常用的方法有upper，lower，局限性就是真个字符串都会变化，还有一种叫title的方法，可以只把首字母大写，非常好用。

2.列表本身是有顺序的，而且非常非常非常重要的一点，列表中的第一个数的顺序是“0”，索引是从0开始的！

3.修改列表时可以用，insert（位置，内容）来修改。

4.删除列表的内容时，用del可以直接锁定列表的位置来删除，用remove（内容），会将列表了第一次出现的内容删除，pop方法是直接删除末尾的内容，也可以看做是一种变相的提取，加上位置，比如pop（位置），就可以提取任何一个位置上的内容。

5.学习时还遇到了几个非常常用的方法，可能在课程中很少提到。len（）来确定字符串的长度。range（数字），来生成从0开始一直到输入数字的一组连续的数字，例如输入的是10，会生成0到9的10个数。range（len（）），这两者的结合可以很好的用来当做一组数据的索引，来确定数据中的位置，非常好用。

6.在写for循环时，要非常注意首行缩进，一般是缩进4个空格字符串，因为当嵌套的循环过多时，非常容易出错，系统无法识别出谁是谁的循环体。for我建议理解为遍历，就是指从头到尾看完整个数据。

7.while才是真正名义上的循环，只要满足条件就会重复进行，因此用while时一定要保证有可以结束循环的语句，比如说，用continue，break等，要不然系统就会无限进行循环。

8.range的左闭右开特性，举例子，range（1,5），以为是生成1到5折五个数字，但是根据python左闭右开的特性，实际是生成1到4这四个数字，切记，在切片，索引中非常重要。

9.切片就是根据位置来截取字符串的一部分，也是左闭右开。一些特殊的切片，[：]是取整个部分，[1：]是从位置1到结束，[：-1]，负数代表从末尾数。

10.最开始我一直没有明白，列表，元祖，集合之间的区别，我简单描述一下，列表的限制要求最低，基本适用于任何一种情况，元祖不同，是不能修改元祖内的元素，因此元祖不可变，集合无序且不会重复。

11.if-elif-else， elif就可以理解为与if并列的条件判断，比如说，if我早饭吃的苹果，就会怎么样，elif我早饭吃的煎饼，就会怎么样，elif我早饭吃的面包，就会怎么样。三者并列判断

12.del可删除key-value对。

13.遍历字典用for key，value in 字典：

14.调用函数时，要给形式参数赋予一个实际参数，才会实现函数的内容，写实际参数时，顺序位置不能乱，与形式参数的位置对齐，当然如果在调用函数时已经带着形式参数一起写，就没顺序上的问题了。

15.列表的传递。可以先用pop方法，将一个列表内的数据储存在一个中间空列表内，然后再用append将中间列表里的数据，转移到最终想要的列表内，这样既实现了列表的转移。

16.导入模块后，如果调用了模块内的函数或者方法，一定要在前面制定模块名。

这些大概是我觉得比较重要的部分，当然，肯定还有很多遗漏的地方，也有很多还没遇到的难点知识点，学海无涯苦作舟，学习永无止境。我希望在未来能够学到更多对自己有用的知识，充实自己，提升自己。

20194302实验四 Python综合实践

标签：之间   转移   顺序   格式   订阅   学习   苹果   数据   bsp   

原文地址：https://www.cnblogs.com/666888yj/p/13124107.html