Python Bs4 回顾

#搜索tag名 
soup.find_all("title")

#关于属性
#搜索id为"link2"的标签
soup.find_all(id=‘link2‘)

#这里属性的值可以使用字符串,正则表达式 ,列表,True
soup.find_all(id=re.compile("elsie"))

#可以指定多个条件
soup.find_all(href=re.compile("elsie"), id=‘link1‘)

#对于有些不能指定的标签(data-foo)
soup.find_all(attrs={"data-foo": "value"})

#对于class -->class为python保留字使用class_
soup.find_all(class_="top")
#属性结束

#关于string(内容)
#基础 内容为‘Elsie‘的
soup.find_all(string="Elsie")

#内容在数组中的
soup.find_all(string=["Tillie", "Elsie", "Lacie"])

#内容匹配正则表达式的
soup.find_all(string=re.compile("Dormouse"))

#匹配函数
soup.find_all(string=is_the_only_string_within_a_tag)
#内容结束

#搜索限制
#限制搜索数量为2
soup.find_all("a", limit=2)

#只搜索直接子节点
soup.html.find_all("a", recursive=False)
#搜索限制结束

soup.find_all("a")
#等价于
soup("a")

soup.title.find_all(string=True)
#等价于
soup.title(string=True)

Beautiful Soup支持大部分的CSS选择器

#搜索tag为title
soup.select("title")

#通过tag标签逐层查找
soup.select("html head title")

#寻找直接子标签
soup.select("head > title")
soup.select("p > #link1")

#选择所有紧接着id为link1元素之后的class为sister的元素
soup.select("#link1 + .sister")

#选择p元素之后的每一个ul元素
soup.select("p + ul")

#同时用多种CSS选择器查询元素
soup.select("#link1,#link2")

#通过查询元素属性
soup.select(‘a[href="http://example.com/elsie"]‘)
# [Elsie]

soup.select(‘a[href^="http://example.com/"]‘)
# [Elsie,
#  Lacie,
#  Tillie]

soup.select(‘a[href$="tillie"]‘)
# [Tillie]

soup.select(‘a[href*=".com/el"]‘)
# [Elsie]
#通过查询元素属性结束

#通过语言查找
soup.select(‘p[lang|=en]‘)

#查找第一个元素
soup.select_one(".sister")

#查找一个标签a
a = soup("a", id="link1")

#查找a的父节点中的P标签
a_string.find_parent("p")