Python 使用BeautifulSoup找到给定标签的文本

BeautifulSoup是一个强大的工具，可以轻松从HTML和XML文档中提取信息，主要用于网页抓取和数据提取，并以Python开发。BeautifulSoup最有用的功能之一是在文档中查找特定标签的能力。在本文中，我们将探讨如何使用BeautifulSoup查找给定标签的文本，并提供一些示例。

安装和语法

在使用BeautifulSoup之前，必须先安装它，可以使用Python包管理器，在终端中运行以下命令：

pip install beautifulsoup4

一旦我们安装了BeautifulSoup，我们可以在Python代码中导入它

from bs4 import BeautifulSoup

使用BeautifulSoup查找标签文本的语法如下所示−

soup.find('tag_name').text

步骤

将HTML文件或内容传递给BeautifulSoup类的函数，创建一个BeautifulSoup对象。
使用 find() 函数来定位你正在搜索的标签。通过使用标签对象的text属性获取标签内包含的文本。
如果没有HTML或 XML 标记，则会生成一个仅包含标签中文本的字符串。
如果我们对此感兴趣，可以使用text属性通过循环反复遍历使用 find_all() 生成的标签列表来获取每个标签中包含的文本。

示例1

from bs4 import BeautifulSoup
html = '<html><body><h1>Hello, World!</h1></body></html>'
soup = BeautifulSoup(html, 'html.parser')
heading = soup.find('h1')
print(heading.text)

输出

Hello, World!

创建一个HTML字符串并将其与要使用的解析器一起传递给BeautifulSoup构造函数。使用 find() 方法找到h1标签并将其存储在heading变量中。最后，使用heading对象的text属性获取标签内的文本。

示例2

from bs4 import BeautifulSoup
html = '<html><body><p>TutorialsPoint Web Scraping Example Text</p></body></html>'
soup = BeautifulSoup(html, 'html.parser')
paragraph = soup.find('p')
print(paragraph.text)

输出

TutorialsPoint Web Scraping Example Text

以包含段落标签和一些文本的HTML字符串开始，使用find()方法定位段落标签并将其存储在paragraph变量中。通过利用段落对象的text属性，可以获得标签中的文本。

让我们看一个更大的例子，以了解如何使用BeautifulSoup查找多个标签的文本。

import requests
from bs4 import BeautifulSoup
url = 'https://www.pythonforbeginners.com/'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
headings = soup.find_all('h3')
for heading in headings:
   print(heading.text)

输出

Popular Python Tutorials
Categories
Loops
Regular Expressions
Python Games
Basics
Functions
Code Examples
Strings
Dictionaries
Python on the Web
Lists
Modules
Python Comments
Latest Content
Convert INI Files to JSON Format in Python
Convert XML to INI Format in Python
Pandas Insert Row into a DataFrame
Convert INI to XML Format in Python

一个 GET 请求被发送到url变量指示的网站上，此处使用requests库。类似地，为了解析响应的HTML数据，使用了BeautifulSoup解析器技术。然后，使用find_all()方法定位并存储页面上的所有h2标签在headings变量中。最后，使用循环遍历每个标题并使用text属性输出其内容。

应用

BeautifulSoup的应用领域包括在线抓取、数据提取和数据分析。它可以用于抓取新闻故事、虚拟娱乐信息和其他不同来源的网站数据，因此它的典型用途是网页自动化和测试。它还是开发人员的有用工具，因为它支持各种解析器，包括 HTML 和 XML 。友好的语法和广泛的网络抓取和数据提取文档使初学者可以轻松入门。

结论

BeautifulSoup是一个强大的应用程序，简化了网络抓取和数据提取。由于其简单的语法，可以快速访问HTML或XML文档中的标签文本。BeautifulSoup是一种极好的工具，无论您是希望从网站上抓取数据还是分析数据。此外，它还可以轻松遍历HTML树结构，并从多个页面同时提取特定的数据。由于其用户友好的界面和广泛的文档，BeautifulSoup是任何数据科学家或网络开发人员必备的工具。