极客笔记Numpy多进程问题：PyObject_Call调用时返回NULL
在本文中，我们将介绍在使用Numpy进行多进程编程时可能遇到的问题：在执行PyObject_Call函数时可能会返回NULL值，而没有任何错误提示。这种情况通常发生在使用多个进程时对Numpy数组进行计算，特别是在计算密集型任务时。我们将讨论这个问题的原因和可能的解决方案。
阅读更多：Numpy 教程
问题描述
在Numpy多进程编程中，使用multiprocessing.Process对象来创建子进程，然后使用numpy数组进行计算。在使用子进程计算时，会将numpy数组传递给子进程，让它们计算并返回结果。但是，有时候在使用子进程计算时，会出现PyObject_Call函数返回NULL值的情况，而没有任何报错信息。
以下是一个示例程序，其中使用了Numpy多进程计算，并且可能会出现此问题：
import numpy as np
import multiprocessing as mp
def calc(arr):
return np.sum(arr)
if __name__ == '__main__':
arr = np.arange(1000000)
p1 = mp.Process(target=calc, args=(arr,))
p2 = mp.Process(target=calc, args=(arr,))
p1.start()
p2.start()
p1.join()
p2.join()
上述代码从0到999999创建了一个长度为1000000的Numpy数组，然后在p1和p2两个子进程中使用该数组进行计算。但是，如果在其中一个子进程的计算中遇到了PyObject_Call返回NULL的情况，那么程序就会卡住，并且没有任何错误提示，即程序没有报错，但是在计算完成之后无法继续执行。
问题原因
这个问题的原因通常是由于主进程和子进程之间的内存共享机制引起的。在Numpy的多进程编程中，主进程将Numpy数组传递给子进程，然后在子进程中进行计算。但是，在子进程内部处理Numpy数组的过程中，有时候会访问到未定义的内存区域，导致PyObject_Call函数返回NULL值。
具体来说，造成这个问题的原因是，Numpy数组在被传递给子进程时，并不会将整个数组拷贝一份到子进程的内存空间，而是通过将内存指针传递到子进程来实现共享内存。然而，在子进程内部处理Numpy数组时，有可能会访问到超出该数组内存指针范围之外的内存区域，这通常会导致PyObject_Call函数返回NULL值，因为未定义的内存区域可能包含重要的数据。
解决方案
有几种解决Numpy多进程编程中PyObject_Call函数返回NULL的方案：
1. 使用manager.Array代替Numpy数组
解决这个问题的一种方法是使用Python自带的manager.Array代替Numpy数组。manager.Array可以创建一个由子进程和主进程都可以访问的共享数组，通过索引访问它时，不会访问到超出数组指针范围之外的内存区域。以下是使用manager.Array的示例代码：
import multiprocessing as mp
def calc(arr):
return sum(arr)
if __name__ == '__main__':
with mp.Manager() as manager:
arr = manager.Array('d', range(1000000))
p1 = mp.Process(target=calc, args=(arr,))
p2 = mp.Process(target=calc, args=(arr,))
p1.start()
p2.start()
p1.join()
p2.join()
注意，在使用manager.Array时需要指定数组的类型，这里使用了’d’来表示双精度浮点型数组。
2. 在所有子进程中使用copy()函数复制数组
另一个解决方法是，在所有子进程中使用copy()函数创建一个Numpy数组的副本，然后在副本上进行计算，而不是在原始数组上进行计算。这种方法可以确保不会访问到未定义的内存区域，从而避免PyObject_Call函数返回NULL值的情况。以下是一个示例代码：
import numpy as np
import multiprocessing as mp
def calc(arr):
arr_copy = arr.copy()
return np.sum(arr_copy)
if __name__ == '__main__':
arr = np.arange(1000000)
p1 = mp.Process(target=calc, args=(arr,))
p2 = mp.Process(target=calc, args=(arr,))
p1.start()
p2.start()
p1.join()
p2.join()
注意，在使用copy()函数时，需要确保不要修改原始数组，否则会导致原始数组和副本之间的共享内存中的数据不一致。
总结
在Numpy多进程编程中，出现PyObject_Call返回NULL值而没有错误提示的情况时，通常是由于子进程访问了超出Numpy数组内存指针范围之外的未定义内存区域。这个问题可以通过使用Python自带的manager.Array代替Numpy数组或在所有子进程中使用copy()函数创建Numpy数组的副本来解决。注意，在使用manager.Array时需要指定数组的类型，并且在使用copy()函数时需要确保不要修改原始数组。