BeautifulSoup 在HTML文档中找到具有给定属性值的标签

从HTML页面中提取数据是网络爬虫中的常见任务。HTML页面中的许多标签和特征可以帮助定位和提取相关数据。一个广为人知的Python模块BeautifulSoup可以用来解析HTML文本并提取有用的信息。在这个教程中，我们将重点介绍如何使用BeautifulSoup定位具有特定属性值的标签。

安装和设置

首先，我们需要安装BeautifulSoup。可以使用Python的软件包安装程序Pip来进行安装。下面的命令应该在命令窗口或终端中输入：

pip install beautifulsoup4

安装完毕后，我们可以使用以下语句在我们的Python代码中导入BeautifulSoup：

from bs4 import BeautifulSoup

语法

使用BeautifulSoup查找具有给定属性值的标签的语法如下所示：

soup.find(tag_name, attrs={attribute_name: attribute_value})

这里，soup指的是BeautifulSoup对象，存储了解析过的HTML内容，tag name指的是我们正在查找的标签，attribute name指的是我们正在查找的属性，attribute value指的是我们正在匹配的属性值。

步骤

使用BeautifulSoup解析HTML文档
使用find()方法找到具有给定属性值的标签
从标签中提取所需数据

示例1

要查找具有class属性为”important”的段落标签，可以使用以下代码 –

from bs4 import BeautifulSoup

html_doc="""<html>
   <body>
      <p class="important">Fancy content here, just a test</p>
      <p>This is a normal paragraph</p>
   </body>
</html>"""

soup = BeautifulSoup(html_doc, 'html.parser')
tag = soup.find('p', attrs={'class': 'important'})
print(tag)

输出

<p class="important">Fancy content here, just a test</p>

soup 是包含解析过的HTML文档的BeautifulSoup对象， ‘p’ 是我们想要找到的标签名称， ‘class’ 是我们想要搜索的属性名称，’important’是我们想要匹配的属性值。 find() 方法返回符合给定条件的第一个标签，这里是第一个具有类名为 “important” 的段落标签。

示例2

要找到id为 “content” 的div标签内的第一个段落标签，可以使用以下代码-

from bs4 import BeautifulSoup
html_doc = """<html>
<body>
   <div id="header">
      <h1>Welcome to my website</h1>
      <p>All the help text needed will be in this paragraph</p>
   </div>
   <div id="content">
      <h2>Section 1</h2>
      <p>Content of section 1 goes here</p>
      <h2>Section 2</h2>
      <p>Content of section 2 goes here</p>
   </div>
</body>
</html>
"""
soup = BeautifulSoup(html_doc, 'html.parser')
div_tag = soup.find('div', attrs={'id': 'content'})
tag = div_tag.find('p')
print(tag)

输出

<p>Content of section 1 goes here</p>

这里，soup是包含解析的HTML文档的BeautifulSoup对象，’div’是我们要查找的标签名称，’id’是我们要搜索的属性名称，’content’是我们要匹配的属性值。find()方法返回符合给定条件的第一个div标签，即带有id为”content”的div标签。

示例3

from bs4 import BeautifulSoup
html_doc="""<html>
<body>
   <h1>List of Books</h1>
   <table>
      <tr>
         <th>Title</th>
         <th>Author</th>
         <th>Price</th>
      </tr>
      <tr>
         <td><a href="book1.html">Book 1</a></td>
         <td>Author 1</td>
         <td> $10</td> </tr> <tr> <td><a href="book2.html">Book 2</a></td> <td>Author 2</td> <td>$ 15</td>
      </tr>
      <tr>
         <td><a href="book3.html">Book 3</a></td>
         <td>Author 3</td>
         <td> $20</td> </tr> </table> </body> </html> """ soup = BeautifulSoup(html_doc, 'html.parser') price_tag = soup.find('td', text='$ 15')
book_tag = price_tag.find_previous('td').find_previous('td').find_previous('td')
title = book_tag.text
author =  book_tag.find_next('td').text
print(title, author)

输出

$10 Book 2

在这里，“soup”指的是已解析HTML内容的BeautifulSoup对象， “td” 表示我们要查找的标签名， “text” 表示我们要匹配的文本， “$15” 表示该文本的值。在这个例子中，找到符合指定条件的第一个td标签的是find()函数返回的，即字符串为“$15”的td标签。

然后使用find previous() 函数定位到具有书名和href属性的td元素。使用紧跟在包含值为“$15”的td标签之前的td标签，这个方法在文档树中向后寻找符合指定条件的第一个标签。

由于我们已经获得了书名标签，可以使用text属性来提取文本。下一步是使用find next sibling() 函数找到包含作者姓名的后续td标签。由于它是具有相同父标签的下一个兄弟标签，所以该方法返回紧随书名td标签后面的td标签。