Python 使用PyAutoGUI库自动化GUI交互

PyAutoGUI是一个非常棒的模块，用于在Python应用程序中自动化图形用户界面交互。它使开发人员能够模拟用户输入和自动化重复操作，这使得它成为测试、数据输入和其他需要与GUI交互的工作的良好选择。PyAutoGUI是一个跨平台的库，支持Windows、Linux和macOS等所有主要操作系统。

在本教程中，我们将了解如何使用Python的PyAutoGUI包来自动化GUI交互。我们将从安装PyAutoGUI并学习如何使用它开始。然后，我们将深入探讨该库的功能，如键盘和鼠标控制以及图片识别。我们将提供示例来帮助演示该库的功能以及如何使用它来简化和自动化各种任务。

通过本教程的结束，读者应该对PyAutoGUI有一个扎实的了解，并且知道如何在他们的Python应用程序中使用它来自动化GUI交互。无论你是软件开发人员、数据分析师还是只是在寻找优化工作流程的方法，PyAutoGUI都是一个可以帮助你节省时间和提高生产力的先进工具包。

现在我们知道了我们将要做什么，让我们开始吧！

入门指南

在我们深入使用PyAutoGUI来自动化GUI交互之前，我们首先需要使用pip安装PyAutoGUI模块。

然而，由于它不是内置的，我们首先需要安装PyAutoGUI库。可以使用pip软件包管理器来完成。

要安装PyAutoGUI库，请打开终端并输入以下命令 –

pip install scikit-surprise

一旦软件包安装成功，我们就可以开始使用了！

使用PyAutoGUI自动化GUI交互

现在我们已经安装了PyAutoGUI，让我们来探索一些它的特性以及如何使用它们来自动化GUI交互。

基本用法

我们需要做的第一件事是将PyAutoGUI模块导入到我们的Python脚本中 –

import pyautogui

The PyAutoGUI模块包括控制键盘和鼠标的例程，以及截屏和识别屏幕上的图形。

键盘控制

typewrite()函数可以用于在PyAutoGUI中模拟键盘输入。该函数接受一个字符串并模拟键入键盘。例如：

import pyautogui
pyautogui.typewrite('Hello, World!')

上面的代码使得文字看起来像键盘在提供的文本中打出了这个单词。

你还可以使用hotkey()函数模拟同时按下多个按键。

import pyautogui
pyautogui.hotkey('ctrl', 'c')

这段代码将模拟同时按下“ctrl”和“c”键，类似于复制文本。

同样地，如果您想使用PyAutoGUI模拟粘贴操作，可以使用下方的脚本来实现。

import pyautogui
pyautogui.hotkey('ctrl', 'v')

鼠标控制

使用PyAutoGUI模拟鼠标输入，我们可以使用moveTo()、click()和dragTo()等函数。例如 –

import pyautogui

# Move the mouse to coordinates (100, 100)
pyautogui.moveTo(100, 100)

# Click the left mouse button
pyautogui.click()

这段代码将会将鼠标移动到屏幕上的坐标(100, 100)，然后点击左键。

我们还可以使用dragTo()函数来模拟拖动鼠标。例如−

import pyautogui

# Move the mouse to coordinates (100, 100)
pyautogui.moveTo(100, 100)

# Click and drag the left mouse button to coordinates (200, 200)
pyautogui.dragTo(200, 200, button='left')

此代码将将鼠标移到坐标(100, 100)，点击左键，然后将鼠标拖动到坐标(200, 200)。

图像识别

PyAutoGUI还包括用于在屏幕上定位图像的工具。这对于自动化需要用户在图形用户界面中点击特定按钮或图标的操作可能很方便。

locateOnScreen()函数可用于在屏幕上定位图片。此方法接受文件名作为输入，并返回图像首次出现在屏幕上的左上角的坐标。例如 −

import pyautogui

# Locate the "start_button.png" image on the screen
button_location = pyautogui.locateOnScreen('start_button.png')

# Click the center of the button
button_center = pyautogui.center(button_location)
pyautogui.click(button_center)

这段代码将在屏幕上找到 “start_button.png” 图像，然后点击按钮的中心。

完整程序

下面是完整的代码 −

import pyautogui

# Simulate typing the text "Hello, World!"
pyautogui.typewrite('Hello, World!')

# Simulate pressing the "ctrl" and "c" keys at the same time
pyautogui.hotkey('ctrl', 'c')

# Simulate pressing the "ctrl" and "v" keys at the same time
pyautogui.hotkey('ctrl', 'v')

# Move the mouse to coordinates (100, 100) 
# and click the left mouse button
pyautogui.moveTo(100, 100)
pyautogui.click()

# Move the mouse to coordinates (100, 100) 
# Click the left mouse button and drag to coordinates (200, 200)
pyautogui.moveTo(100, 100)
pyautogui.dragTo(200, 200, button='left')

# Locate the "start_button.png" image on the screen 
# and click the center of the button
button_location = pyautogui.locateOnScreen('start_button.png')
button_center = pyautogui.center(button_location)
pyautogui.click(button_center)