Python 如何使用pywebcopy克隆网页

Python提供了 Pywebcopy 模块，允许我们下载并存储整个网站，包括所有的图像、HTML页面和其他文件到我们的机器上。在这个模块中，我们有一个函数叫做 save_webpage() ，它允许我们克隆网页。

安装pywebcopy模块

首先，我们需要在Python环境中安装pywebcopy模块，可以使用以下代码进行安装。

pip install pywebcopy

在安装成功后，我们将得到以下输出：

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Collecting pywebcopy
  Downloading pywebcopy-7.0.2-py2.py3-none-any.whl (46 kB)
     . . . . . . . . . . . . . . . . . . . . . . . . . . 
     . . . . . . . . . . . . . . . . . . . . . . . . . . 
     . . . . . . . . . . . . . . . . . . . . . . . . . . 

Installing collected packages: pywebcopy
Successfully installed pywebcopy-7.0.2

语法

以下是使用 Pywebcopy 模块 save_webpage() 函数的语法。

from pywebpage import save_webpage
kwargs = {‘bypass_robots’: True, ‘project_name’:’example’}
save_webpage(url,folder,**kwargs)

在下载网页时，

• kwargs 是可选的关键字参数，我们可以在下载网页时使用。

• bypass_robots 是允许下载robot.txt文件的关键字。

• project_name 是已下载网页的名称。

• save_webpage 是一个函数。

• URL 是网页的链接。

• Folder 是我们保存下载文件的位置。

示例

以下是一个示例，在pywebcopy模块的 save_webpage() 函数中，我们将指定网页URL、存储文件的位置和附加的关键字参数，然后定义的网页将以指定的名称保存在指定的位置。

from pywebcopy import save_webpage
url = 'https://www.tutorialspoint.com/'
folder = 'Desktop/March 2023'
kwargs = {'bypass_robots': True, 'project_name': 'sample_webpage'}
save_webpage(url, folder, **kwargs)
print("webpage saved in the location:",folder)

输出

当我们运行上述代码时，将生成以下输出 –

webpage saved in the location: Desktop/March 2023

示例

让我们看一个关于这个的另一个例子-

from pywebcopy import save_webpage
url = 'https://www.python.org/'
folder = 'Articles/March 2023'
kwargs = {'bypass_robots': False, 'project_name': 'webpage'}
save_webpage(url, folder, **kwargs)
print("webpage saved in the location:",folder)

输出

以下是保存网页的输出结果。

webpage saved in the location: Articles/March 2023