标签：asp   遍历   字符串   数据格式   utf-8   ble   class   表达式   dex   

什么是XML

• XML 指可扩展标记语言（EXtensible Markup Language）
• XML 是一种标记语言，很类似 HTML
• XML 的设计宗旨是传输数据，而非显示数据
• XML 的标签需要我们自行定义。
• XML 被设计为具有自我描述性。
• XML 是 W3C 的推荐标准

W3School官方文档：http://www.w3school.com.cn/xml/index.asp

XML 和 HTML 的区别:

什么是XPath？

??XPath (XML Path Language) 是一门在 XML 文档中查找信息的语言，可用来在 XML 文档中对元素和属性进行遍历。
W3School官方文档：http://www.w3school.com.cn/xpath/index.asp

XPath 开发工具

• 开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)
• Chrome插件 XPath Helper
• Firefox插件 try XPath

语法

??XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

选取节点

下面列出了最常用的路径表达式：

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。

选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

这些就是XPath的语法内容，在运用到Python抓取时要先转换为xml。

lxml库

??lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。
??lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。
??lxml python 官方文档：http://lxml.de/index.html
??需要安装C语言库，可使用 pip 安装：pip3 install lxml （或通过wheel方式安装）

解析HTML代码

# 使用 lxml 的 etree 库
from lxml import etree 

text = '''

    

first item
         
second item
         
third item
         
fourth item
         
fifth item # 注意，此处缺少一个 
 闭合标签
     

'''

#利用etree.HTML，将字符串解析为HTML文档,返回类型：
html = etree.HTML(text) 

# 按字符串序列化HTML文档
result = etree.tostring(html).decode("utf-8")
print(result)

lxml 可以自动修正 html 代码，例子里不仅补全了 li 标签，还添加了 body，html 标签。

文件读取

除了直接读取字符串，lxml还支持从文件里读取内容。新建一个html文件，再利用 etree.parse() 方法来读取文件。

from lxml import etree

# 读取外部文件，返回类型：
html = etree.parse('./hello.html')

result = etree.tostring(html, pretty_print=True)

print(result)

XPath实例

1 获取所有的

from lxml import etree

html = etree.parse('hello.html')
print type(html)  # 显示etree.parse() 返回类型

result = html.xpath('//li')

print(result) # 打印
标签的元素集合
print(len(result))
print(type(result))
print(type(result[0]))

html = etree.parse('hello.html')
result = html.xpath('//li/@class')

#因为 / 是用来获取子元素的，而  并不是 
 的子元素，所以，要用双斜杠
result = html.xpath('//li//span')

result = html.xpath('//*[@class="bold"]')

# tag方法可以获取标签名
print result[0].tag