BeautifulSoup 查找标签的兄弟标签

可以使用一种称为网页抓取的有用方法从网站提取数据，而用于网页抓取的流行Python包是 BeautifulSoup，它提供了一种简单的方法来解析HTML和XML文档，使我们能够从网站中提取特定数据。在抓取网页时，查找标签的兄弟标签是一项常见任务，它可以被定义为与主标签具有相同父级的任何额外标签。在本博客文章中，我们将介绍如何使用BeautifulSoup来定位标签的兄弟标签。

安装和设置

要使用BeautifulSoup，您必须首先使用pip进行安装，pip是Python的软件包管理器。

pip install beautifulsoup4

安装完成后，你可以在你的Python代码中导入BeautifulSoup。

from bs4 import BeautifulSoup

语法

使用BeautifulSoup查找标签的兄弟标签的语法如下 –

siblings = tag.findNextSiblings()

这里的tag是要查找兄弟节点的标签，siblings是标签的所有兄弟节点的列表。

步骤

使用BeautifulSoup来解析HTML或XML内容。
将文档传递给BeautifulSoup函数来完成这个操作。
使用find()函数来定位要查找兄弟节点的标签。
使用 findNextSiblings() 函数来定位标签的每个兄弟节点。

示例1

from bs4 import BeautifulSoup
html = """
<html>
<body>
   <div>
      <p>Tutorials Point Python Text 1</p>
      <p>Tutorials Point Python Text 2</p>
      <p>Tutorials Point Python Text 3</p>
   </div>
</body>
</html>
"""
soup = BeautifulSoup(html, "html.parser")
tag = soup.find_all('p')[1]
siblings = tag.findNextSiblings()
print(siblings)

输出

[<p>Tutorials Point Python Text 3</p>]

示例2

from bs4 import BeautifulSoup
html = """
<html>
<body>
   <div>
      <h1>Just A Simple Test Heading 1</h1>
      <p>Tutorials Point Python Text 1</p>
      <h2>Just A Simple Test Heading 2</h2>
      <p>Tutorials Point Python Text 2</p>
      <h3>Heading 3</h3>
      <p>Tutorials Point Python Text 3</p>
   </div>
</body>
</html>
"""

soup = BeautifulSoup(html, "html.parser")
tag = soup.find('h2')
siblings = tag.find_next_siblings()
print(siblings)

输出

[<p>Tutorials Point Python Text 2</p>, <h3>Heading 3</h3>, <p>Tutorials Point Python Text 3</p>]

在这里，BeautifulSoup被用来提取网页的HTML内容，然后使用find()方法定位HTML中的’h2’标签。 find_next_siblings() 方法可以方便地找到’h2’标签的所有兄弟标签。

首先导入必要的模块， BeautifulSoup 和 requests 。
使用requests模块向要抓取的网站的URL发送GET请求。使用响应对象的.text属性提取页面的HTML内容。
调用BeautifulSoup函数时，传递HTML文本并指定”html.parser”解析器。
使用find()函数找到’h2’标签，然后将结果保存在tag变量中。
使用find_next_siblings()方法找到’h2’标签的所有兄弟标签，并将它们存储在siblings变量中。
打印兄弟标签。

示例3

from bs4 import BeautifulSoup
import requests

# Send a GET request to the URL
url = 'https://example.com'
response = requests.get(url)

# Extract the HTML content
html = response.text

# Parse the HTML content with BeautifulSoup
soup = BeautifulSoup(html, "html.parser")

# Find the 'h2' tag
tag = soup.find('h2')

# Find the siblings of the 'h2' tag
siblings = tag.find_next_siblings()

# Print the siblings
print(siblings)

应用

网络爬虫 − 如果你想从网页中抽取信息，你可能希望先找到特定标签，然后提取它们的兄弟节点。
数据分析 − 如果你有一个包含数据的大型HTML文件，你可能希望找到特定的标签，然后移除它们的兄弟节点以进行更详细的调查。
自动化测试 − 在评估在线应用程序时，可以搜索特定的标签，然后检查它们的兄弟节点是否满足特定要求。

结论

Python的BeautifulSoup包使从HTML和XML文件中提取数据变得简单。通过使用find_next_siblings()函数，我们可以快速发现特定标签的兄弟节点，并收集重要数据。该方法有多种用途，包括自动化测试、数据分析和网络爬取。此外，BeautifulSoup还提供了诸多方法，如find_all()、find_parent()和find_previous_sibling()，用于浏览HTML或XML树结构。这些技术能够自动化繁琐的过程，并有效地获取我们想要的数据。