并发编程必备：Python多进程之队列(Queue)使用详解

导论

在并发编程中，进程间的数据交互是十分重要的一个环节。Python提供了多种数据结构来实现进程间数据的共享与通信，其中之一就是队列（Queue）。

队列是一种先进先出（First In First Out）的数据结构，它在并发编程中扮演着重要的角色。在Python中，队列可用于线程和进程之间传递数据，即实现多线程间的数据共享和通信。

本文将详细介绍Python中的队列（Queue）的使用，包括队列的类型、常用方法和示例代码。通过学习本文，你将对队列在多进程编程中的应用有更深入的了解。

Python中的队列

Python标准库中提供了Queue模块，其中包含了多个队列类型的实现，包括Queue、LifoQueue和PriorityQueue。

1. `Queue`队列

Queue队列是最常用的队列类型，它基于先进先出原则（FIFO）。

1.1 创建队列

要使用队列，首先需要导入Queue模块，并使用Queue类来创建一个队列对象：

from queue import Queue

q = Queue()

1.2 队列方法

以下是Queue类常用的方法：

put(item[, block[, timeout]])：将item放入队列中。block参数控制当队列已满时的行为，默认为True，表示阻塞直到队列有空余的位置。timeout参数表示在block为True时等待的最长时间，超时后会抛出Full异常。
get([block[, timeout]])：从队列中取出并返回一个项目。block参数的行为与put()方法相同。timeout参数表示在block为True时等待的最长时间，超时后会抛出Empty异常。
qsize()：返回队列中项目的个数。
empty()：返回队列是否为空。
full()：返回队列是否已满。
put_nowait(item)：相当于put(item, False)。如果队列已满会立即抛出Full异常。
get_nowait()：相当于get(False)。如果队列为空会立即抛出Empty异常。

示例代码：

from queue import Queue

q = Queue(3)  # 创建一个最大容量为3的队列

# 将数据放入队列
q.put(1)
q.put(2)
q.put(3)

# 获取队列中的数据
print(q.get())  # 输出：1
print(q.get())  # 输出：2
print(q.get())  # 输出：3

# 队列为空，抛出异常
print(q.get_nowait())  # 抛出：queue.Empty

1.3 队列示例：生产者和消费者模型

队列在生产者和消费者模型中常被使用。下面是一个简单的示例代码，演示了使用队列实现生产者和消费者之间的数据交换：

from queue import Queue
from multiprocessing import Process

def producer(queue, items):
    for item in items:
        queue.put(item)
        print(f"生产了：{item}")

def consumer(queue):
    while True:
        item = queue.get()
        print(f"消费了：{item}")

if __name__ == '__main__':
    q = Queue()
    items = [1, 2, 3, 4, 5]

    p_producer = Process(target=producer, args=(q, items))
    p_consumer = Process(target=consumer, args=(q,))

    p_producer.start()
    p_consumer.start()

    p_producer.join()
    p_consumer.join()

运行结果：

生产了：1
生产了：2
生产了：3
生产了：4
生产了：5
消费了：1
消费了：2
消费了：3
消费了：4
消费了：5

在上述示例中，我们通过Queue实现了生产者（producer）和消费者（consumer）之间的数据交互。生产者将数据放入队列中，而消费者不断从队列中取出数据进行消费。

2. `LifoQueue`队列

LifoQueue队列是基于后进先出原则（LIFO）的队列，即最后放入队列的元素最先被获取。

创建LifoQueue队列和使用Queue类类似：

from queue import LifoQueue

q = LifoQueue()

LifoQueue队列的方法与Queue类相同。

示例代码：

from queue import LifoQueue

q = LifoQueue()

q.put(1)
q.put(2)
q.put(3)

print(q.get())  # 输出：3
print(q.get())  # 输出：2
print(q.get())  # 输出：1

3. `PriorityQueue`队列

PriorityQueue队列是基于优先级的队列，元素的顺序是根据元素的优先级确定的。具有较高优先级的元素先出队列。

创建PriorityQueue队列和使用Queue类类似：

from queue import PriorityQueue

q = PriorityQueue()

PriorityQueue队列的元素是一个元组，第一个元素表示优先级，第二个元素表示数据。

示例代码：

from queue import PriorityQueue

q = PriorityQueue()

q.put((2, "world"))
q.put((1, "hello"))
q.put((3, "foo"))

print(q.get())  # 输出：(1, 'hello')
print(q.get())  # 输出：(2, 'world')
print(q.get())  # 输出：(3, 'foo')