Python爬蟲(chóng)指南之XPath實(shí)例解析
XPath(XML Path Language)是一種在XML文檔中查找信息的語(yǔ)言，它可以用來(lái)在Xヽ(′?｀)ノML文檔中對元素和屬性進(jìn)行遍歷，XPath 是一種非常強大的工具，可以用于(yu)在 XML 文檔中查找信息，包括但不限于：選取節點(diǎn)、選取屬性、選取符合條件的節點(diǎn)等。
XPath 的基本語(yǔ)法包括以下幾部分：
1、節點(diǎn)選擇：通過(guò)節點(diǎn)名稱(chēng)來(lái)選取節點(diǎn)。
2、謂語(yǔ)：用于描述節點(diǎn)之間的關(guān)系，如“/”、“??//”、“.”、“..”等。
3、謂語(yǔ)參數：表示節點(diǎn)的屬性或文本內容。
4、軸：用于指定節點(diǎn)??的路徑關(guān)系，如“ancestor”、“child”、“descend??ant??”、“following”、“preceding”等。
5、謂語(yǔ)運算符：用于對節點(diǎn)(dian)進(jìn)行篩選，如“[position()]”、“[last()]”、“[1]”等。
下面我們通過(guò)一個(gè)實(shí)??際的例子來(lái)演示如何使用 XPath 進(jìn)行網(wǎng)頁(yè)抓取，假設我們有如下的 HTML 代碼：
<html> <hea(′?_?`)d> <title>示例網(wǎng)頁(yè)</title> </head> <body> <div id="content"> <h1>歡迎來(lái)到示例網(wǎng)頁(yè)</h1> <ul> <l(???)i><a hr??ef="https://www.example1.com">示例網(wǎng)站1</a(′?_?`)></li> <li><(′Д` )a href="https://www.example2.com">示例網(wǎng)站2</a></li> <li><a href="https://www.example3.com">示例網(wǎng)站3</a></li> </ul> </div> </body>&l??t;/html&??gt;
我們想要??獲取所(′?｀*)有的鏈接，可以使用如下的 XPath 表達式：
//a/@href
這個(gè)表達式的意(╬?益?)思是：選取所有 <a> 標簽下的 href 屬性，運行上述代碼??，我們可┐(′?｀)┌以得到如下的結果：
['https://www.example1.com', 'https://www.example2.com', 'https://www.example3.com']1、如何判斷一個(gè)元素是否存在？
答：可以使用 if 語(yǔ)句結合 find() 方法來(lái)判斷一個(gè)元素是否存在。find(???) 方法返回了一個(gè)非空的結果，說(shuō)明該元素存在；否則，說(shuō)明該元素不存在。
from lxml import etreehtml( ?° ?? ?°) = '''<html( ?▽?)><body><p>(??ヮ?)?*:???;這是一個(gè)段落。</p></body></html>'''root = etree.fro??mstr(//ω//)ing(html)if root.fin??d('p') is not None: print("段落存在")else: print("(??-)?;段落不存在")2、如何(??ヮ?)?*:???獲取某個(gè)元素的所有子元素？
答：可以使用 findall() 方法來(lái)獲取某個(gè)元素的所有子元素。
from lxml import etreehtml = '''&???lt;html><bod??y><div id="parent"><p>這是一個(gè)段落。</p><span>這是一個(gè)跨度。</span></div></body></html>'''root = etヽ(′ー｀)ノree.fromstring(html)children = root.find('parent').findall('*')for child in children: print(etree.tostring(child, encoding='utf-8').decode('utf-8'))3、如何獲取某個(gè)元素的所有父元素？
答：可(ke)以使用 iterancestors() 方法來(lái)獲取某個(gè)元素的所有父元素。
from lxml impo(′_ゝ`)rt etreeh(′?_?`)tml = '''<html><body>??;<div id="parent(?⊿?)"><p>這是一個(gè)段落。</p><span>這是一個(gè)跨度。</span></div&┐(′д｀)┌gt;</body></html>'''root = etree.f(′?ω?`)romstring(html)eleme??nt(???) = root.find('parent/p')for ancestor in element.it??erancestors(): print(etree.to(????)string(ancestor, encoding='utf-8').decode('utf-8'))