NumPy 结构化数组

NumPy是Python科学计算的基本包，提供了强大的工具用于处理均匀的多维数组。虽然NumPy数组在高效处理统一数据类型方面表现出色，但在需要处理包含异构类型的结构化数据的情况下，我们需要使用结构化数组。

NumPy中的结构化数组允许我们处理表格化或结构化数据，其中数组的每个元素可以具有具有不同数据类型的多个字段。这使得NumPy成为处理各种数据（包括CSV文件、数据库表等）的多功能库。

创建结构化数组

为了在NumPy中创建结构化数组，我们需要定义一个dtype（数据类型），用于指定每个字段的名称和类型。让我们考虑一个示例，我们想要表示包含姓名、年龄和成绩等字段的学生记录的数据集。下面是如何为这样一个结构化数组定义dtype的方法：

import numpy as np

dtype = np.dtype([('name', 'U20'), ('age', np.int32), ('grade', np.float64)])

在这个例子中，我们定义了一个包含三个字段的dtype：’name’作为一个长度为20个字符的Unicode字符串，’age’作为一个32位整数，’grade’作为一个64位浮点数。

现在，我们可以使用这个dtype创建一个结构化数组。

data = np.array([('Alice', 25, 4.8), ('Bob', 23, 3.9), ('Charlie', 27, 4.5)], dtype=dtype)

数据数组是一个有三个元素的结构化数组，每个元素都有字段’name’，’age’和’grade’及其对应的值。

操作结构化数组

除了访问和修改单个字段外，NumPy中的结构化数组还提供了各种操作整个数据的方法。让我们探索一些常见的操作

排序

我们可以使用np.sort()函数根据一个或多个字段对结构化数组进行排序。例如，让我们按照降序对数据数组基于’age’字段进行排序

例子

sorted_data = np.sort(data, order='age')[::-1]
print(sorted_data)

输出

[('Charlie', 27, 4.5) ('Alice', 25, 4.8) ('Bob', 24, 3.9)]

聚合

NumPy提供了几个聚合函数，例如np.mean()、np.sum()和np.max()，可用于计算结构化数组上的统计信息。以下是一个示例，我们计算平均年龄和最高分数。

average_age = np.mean(data['age'])
maximum_grade = np.max(data['grade'])
print(average_age)  # Output: 25.0
print(maximum_grade)  # Output: 4.8

筛选

我们可以使用布尔索引根据某些条件来筛选结构化数组。例如，让我们筛选出年龄小于26岁的学生。 –

例子

filtered_data = data[data.age < 26]
print(filtered_data)

输出

[('Alice', 25, 4.8) ('Bob', 24, 3.9)]

连接

我们可以使用np.concatenate()函数在水平或垂直方向上连接多个结构化数组。例如，让我们创建另一个结构化数组，并将其垂直连接到数据数组上。

示例

new_data = np.array([('David', 28, 4.3), ('Eve', 22, 3.7)], dtype=dtype)
concatenated_data = np.concatenate((data, new_data))
print(concatenated_data)

输出

[('Alice', 25, 4.8) ('Bob', 23, 3.9) ('Charlie', 27, 4.5) ('David', 28, 4.3) ('Eve', 22, 3.7)]

重塑

我们可以使用np.reshape()函数来重塑结构化数组。例如，让我们将数据数组重塑为一个2×3的数组。

示例

reshaped_data = np.reshape(data, (2, 3))
print(reshaped_data)

输出

[[('Alice', 25, 4.8) ('Bob', 23, 3.9) ('Charlie', 27, 4.5)]
 [('David', 28, 4.3) ('Eve', 22, 3.7) ('', 0, 0.0)]]

这些只是你可以在结构化数组上执行的操作的几个示例。NumPy提供了丰富的函数和方法，可以高效地操作和分析结构化数据。

结构化数组的用例

结构化数组在涉及表格或结构化数据的场景中特别有用。一些常见的用例包括：

数据导入/导出

当从类似CSV文件或数据库的外部来源中处理结构化数据时，我们可以使用结构化数组高效地读取，操作和处理数据。

数据分析

结构化数组提供了一种方便的方法来执行各种数据分析任务。我们可以基于不同的字段来过滤，排序，分组和聚合数据，从而获得洞见并从数据中提取有意义的信息。

模拟和建模

在科学模拟或建模任务中，结构化数组可以用于表示不同的变量或参数。这使我们能够高效地组织和操作数据，从而实现复杂的计算和模拟。

记录和数据库

结构化数组在记录应用程序或处理小型数据库时很有用。它们提供了一种有组织且高效的方法来存储，查询和修改具有多个字段的记录。

广播和向量化操作

NumPy的广播和向量化操作可以无缝地应用于结构化数组。这允许在多个字段上进行高效的逐元素计算和操作。

例如，假设我们有一个表示温度数据集的结构化数组，包含”temperature_celsius”和”temperature_fahrenheit”等字段。我们可以使用广播轻松地将温度从摄氏度转换为华氏度。

data['temperature_fahrenheit'] = data['temperature_celsius'] * 9/5 + 32

内存效率

NumPy中的结构化数组在内存方面效率很高，因为它们将数据存储在连续的内存块中。这样可以加快数据访问速度，提高性能，并与其他数据结构相比具有更好的表现。

需要注意的是，如果结构化数组包含长度可变的大型字段（例如字符串字段），则使用结构化数组与NumPy的 object 数据类型结合使用或使用像pandas这样的专用库进行更高效的内存处理会更加节省内存。

自定义数据类型

NumPy允许定义具有用户自定义字段的自定义数据类型。此功能使得在结构化数组中灵活表示复杂数据结构成为可能，例如嵌套数组、层级数据甚至自定义对象。

例如，我们考虑一个表示员工记录的结构化数组，其中包含一个字段名为’projects’，它包含每个员工的项目名称列表。我们可以定义一个自定义数据类型来处理这个嵌套结构。

与其他库的集成

NumPy中的结构化数组与Python中的其他流行数据操作和分析库（如pandas、scikit-learn和matplotlib）无缝集成。这种互操作性允许在数据科学生态系统中不同工具之间进行平滑的数据交换和兼容性。

例如，您可以使用pd.DataFrame()构造函数将结构化数组转换为pandas DataFrame，以进行高级数据分析、可视化和机器学习任务。

性能考虑

虽然结构化数组提供了灵活性和便利性，但在处理非常大的数据集或复杂的数据操作时可能不是最高效的选择。在这种情况下，专用库如pandas或数据库可能提供更好的性能和可扩展性。

需要考虑结构化数组的大小、操作的复杂性以及数据分析任务的特定需求，以确定最合适的方法。

结论

总之，NumPy中的结构化数组使您能够高效而有效地处理结构化数据。通过利用结构化数组的灵活性和功能，您可以轻松处理复杂的数据操作、分析和建模任务。所以，走进结构化数组的世界，在您的Python项目中发挥结构化数据处理的全部潜力！