极客笔记计算任意numpy数组arr所占内存大小
在进行数据处理和分析时，经常会用到numpy库来处理数组数据。在实际应用中，我们经常需要知道numpy数组所占用的内存大小，以便更好地优化内存使用和提高程序性能。本文将介绍如何计算任意numpy数组所占内存大小的方法。
1. 计算numpy数组所占内存大小的基本原理
在numpy中，数组的内存大小由数组的数据类型和数组的形状决定。每种数据类型在内存中占用的字节数是固定的，比如int32类型占用4个字节，float64类型占用8个字节。而数组的形状则决定了数组中元素的个数。因此，要计算numpy数组所占内存大小，只需要将数组的数据类型的字节数乘以数组中元素的个数即可。
2. 计算numpy数组所占内存大小的方法
2.1 使用itemsize属性和size属性计算
numpy数组对象有两个属性可以帮助我们计算数组所占内存大小，分别是itemsize和size。itemsize表示数组中每个元素占用的字节数，size表示数组中元素的总个数。通过这两个属性，我们可以很容易地计算出数组所占内存大小。
import numpy as np
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
2.2 使用nbytes属性计算
除了itemsize和size属性外，numpy数组对象还有一个属性nbytes可以直接返回数组所占内存大小，单位是字节。
import numpy as np
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = arr.nbytes
print("Memory size of the array: {} bytes".format(memory_size))
Output:
2.3 使用sys.getsizeof函数计算
除了numpy提供的属性外，我们还可以使用Python标准库中的sys模块的getsizeof函数来计算numpy数组所占内存大小。需要注意的是，getsizeof函数返回的是对象本身的内存大小，不包括对象引用的其他对象的内存大小。
import numpy as np
import sys
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = sys.getsizeof(arr)
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3. 示例代码
3.1 计算一维数组所占内存大小
import numpy as np
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.2 计算二维数组所占内存大小
import numpy as np
arr = np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float64)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.3 计算三维数组所占内存大小
import numpy as np
arr = np.array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]], dtype=np.int16)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.4 使用nbytes属性计算数组所占内存大小
import numpy as np
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = arr.nbytes
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.5 使用sys.getsizeof函数计算数组所占内存大小
import numpy as np
import sys
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = sys.getsizeof(arr)
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.6 计算空数组所占内存大小
import numpy as np
arr = np.array([], dtype=np.int32)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.7 计算字符串数组所占内存大小
import numpy as np
arr = np.array(['deepinout.com', 'deepinout.com', 'deepinout.com'], dtype=np.str_)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.8 计算布尔数组所占内存大小
import numpy as np
arr = np.array([True, False, True, False], dtype=np.bool_)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.9 计算复数数组所占内存大小
import numpy as np
arr = np.array([1+2j, 3+4j, 5+6j], dtype=np.complex_)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.10 计算不同数据类型数组所占内存大小
import numpy as np
arr_int = np.array([1, 2, 3, 4, 5], dtype=np.int32)
arr_float = np.array([1.0, 2.0, 3.0, 4.0, 5.0], dtype=np.float64)
arr_complex = np.array([1+2j, 3+4j, 5+6j], dtype=np.complex_)
arr_bool = np.array([True, False, True, False], dtype=np.bool_)
memory_size_int = arr_int.itemsize * arr_int.size
memory_size_float = arr_float.itemsize * arr_float.size
memory_size_complex = arr_complex.itemsize * arr_complex.size
memory_size_bool = arr_bool.itemsize * arr_bool.size
print("Memory size of int array: {} bytes".format(memory_size_int))
print("Memory size of float array: {} bytes".format(memory_size_float))
print("Memory size of complex array: {} bytes".format(memory_size_complex))
print("Memory size of bool array: {} bytes".format(memory_size_bool))
Output:
3.11 计算大型数组所占内存大小
import numpy as np
arr_large = np.random.rand(1000, 1000)
memory_size = arr_large.itemsize * arr_large.size
print("Memory size of the large array: {} bytes".format(memory_size))
Output:
3.12 计算不同形状数组所占内存大小
import numpy as np
arr_1d = np.array([1, 2, 3, 4, 5], dtype=np.int32)
arr_2d = np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float64)
arr_3d = np.array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]], dtype=np.int16)
memory_size_1d = arr_1d.itemsize * arr_1d.size
memory_size_2d = arr_2d.itemsize * arr_2d.size
memory_size_3d = arr_3d.itemsize * arr_3d.size
print("Memory size of 1D array: {} bytes".format(memory_size_1d))
print("Memory size of 2D array: {} bytes".format(memory_size_2d))
print("Memory size of 3D array: {} bytes".format(memory_size_3d))
Output:
3.13 计算数组所占内存大小的函数封装
import numpy as np
def calculate_memory_size(arr):
return arr.itemsize * arr.size
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = calculate_memory_size(arr)
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.14 计算数组所占内存大小的类封装
import numpy as np
class MemorySizeCalculator:
def __init__(self, arr):
self.arr = arr
def calculate_memory_size(self):
return self.arr.itemsize * self.arr.size
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
calculator = MemorySizeCalculator(arr)
memory_size = calculator.calculate_memory_size()
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.15 计算数组所占内存大小的批量计算
import numpy as np
arr_list = [np.array([1, 2, 3, 4, 5], dtype=np.int32),
np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float64),
np.array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]], dtype=np.int16)]
memory_sizes = [arr.itemsize * arr.size for arr in arr_list]
print("Memory sizes of the arrays: {} bytes".format(memory_sizes))
Output:
3.16 计算数组所占内存大小的优化
import numpy as np
def calculate_memory_size(arr):
return arr.nbytes
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size = calculate_memory_size(arr)
print("Memory size of the array: {} bytes".format(memory_size))
Output:
3.17 计算数组所占内存大小的比较
import numpy as np
import sys
arr = np.array([1, 2, 3, 4, 5], dtype=np.int32)
memory_size_itemsize = arr.itemsize * arr.size
memory_size_nbytes = arr.nbytes
memory_size_sys = sys.getsizeof(arr)
print("Memory size using itemsize: {} bytes".format(memory_size_itemsize))
print("Memory size using nbytes: {} bytes".format(memory_size_nbytes))
print("Memory size using sys.getsizeof: {} bytes".format(memory_size_sys))
Output:
3.18 计算数组所占内存大小的应用
import numpy as np
arr = np.random.rand(1000, 1000)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
# 进行其他操作
Output:
3.19 计算数组所占内存大小的实际应用
import numpy as np
arr = np.random.rand(1000, 1000)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
# 根据内存大小进行内存优化
if memory_size > 1000000:
arr = arr.astype(np.float32)
print("Array data type changed to float32 for memory optimization")
Output:
3.20 计算数组所占内存大小的进阶应用
import numpy as np
arr = np.random.rand(1000, 1000)
memory_size = arr.itemsize * arr.size
print("Memory size of the array: {} bytes".format(memory_size))
# 根据内存大小进行内存优化
if memory_size > 1000000:
arr = arr.astype(np.float32)
print("Array data type changed to float32 for memory optimization")
# 进行其他操作
Output:
结论
通过本文的介绍，我们了解了如何计算任意numpy数组所占内存大小的方法，包括使用itemsize和size属性、nbytes属性、sys.getsizeof函数等。我们还通过多个示例代码演示了不同数据类型、不同形状、不同大小的数组所占内存大小的计算方法。在实际应用中，我们可以根据数组的内存大小进行内存优化，提高程序性能和效率。同时，我们还介绍了如何将计算内存大小的功能封装成函数或类，以便在需要时进行调用。最后，我们还展示了如何根据数组的内存大小进行实际的内存优化操作，以确保程序在处理大型数据集时能够高效运行。