Python 网站连通性检查项目

在一个网站上线之后，保证其良好的连通性是非常关键的。因此，需要一个自动化的工具来检查这个问题，并及时发现并解决。在这篇文章中，我们将介绍如何使用Python构建一个网站连通性检查项目。

准备工作

在开始项目之前，我们需要安装requests和beautifulsoup4这两个Python库。可以使用下面的命令来安装：

pip install requests
pip install beautifulsoup4

在本项目中，我们将使用requests来发送请求并接收响应，并使用beautifulsoup4来解析HTML代码。

代码实现

我们的项目需要完成以下几个步骤：

从一个网站列表中读取网站URL。
对每个网站发送HTTP请求。
在HTTP响应中检查状态码和内容。
将检查结果保存到文件中。

我们将在代码实现中逐个讨论这些步骤。

从一个网站列表中读取网站URL

我们将在一个文本文件中保存需要检查的网站URL。我们假设网址列表文件名为urls.txt。文件内容如下：

https://www.baidu.com
https://www.taobao.com
http://www.python123.io
https://github.com

在Python中，我们可以使用以下代码读取文件中的所有行：

urls = []
with open('urls.txt', 'r') as f:
    for line in f.readlines():
        urls.append(line.strip())

这段代码将打开文件urls.txt，逐行读取文件内容，将每个URL添加到一个名为urls的列表中。strip函数用于去掉每行开头和结尾的空格和换行符。

发送HTTP请求并检查响应

使用requests库发送HTTP请求非常容易。我们只需要使用一条命令就可以发送一个GET请求并接收响应：

r = requests.get(url)

这个命令将向url指定的网站发送一个GET请求，并将响应保存到名为r的变量中。

接下来，我们需要检查响应状态码和内容。我们可以在响应中获取状态码，例如：

status = r.status_code

如果状态码为200，我们可以通过检查响应的内容来确认网站是否正常工作。我们可以使用beautifulsoup4来解析HTML代码。例如，如果我们要检查百度网站是否包含一个链接文字为“地图”的链接，我们可以使用以下代码：

soup = BeautifulSoup(r.text, 'html.parser')
link = soup.find('a', string='地图')
if link:
    print('OK')
else:
    print('Error')

这段代码将使用beautifulsoup4将HTML代码转换为一个Python对象，然后搜索包含特定链接文字的链接。如果找到了链接，我们可以输出“OK”，否则输出“Error”。

保存检查结果

最后一步是将检查结果保存到文件中。我们可以使用以下代码将结果保存到名为result.txt的文本文件中：

with open('result.txt', 'w') as f:
    for url, status, msg in results:
        f.write('{}\t{}\t{}\n'.format(url, status, msg))

这段代码将打开文件result.txt，并将列表results中的每个元素按格式写入文件中。在results列表中，每个元素包含URL、状态码和检查结果。

现在我们已经完成了所有的代码实现。下面是完整的实现代码：

import requests
from bs4 import BeautifulSoup

urls = []
with open('urls.txt', 'r') as f:
    for line in f.readlines():
        urls.append(line.strip())

results = []
for url in urls:
    r = requests.get(url)
    status = r.status_code
    if status == 200:
        soup = BeautifulSoup(r.text, 'html.parser')
        link = soup.find('a', string='地图')
        if link:
            results.append((url, status, 'OK'))
        else:
            results.append((url, status, 'Error'))
    else:
        results.append((url, status, 'Error'))

with open('result.txt', 'w') as f:
    for url, status, msg in results:
        f.write('{}\t{}\t{}\n'.format(url, status, msg))