极客笔记Pandas 如何按日期和时间对DataFrame进行分组
在数据分析和处理中，常常处理包含日期和时间信息的数据。一种常用的操作是根据日期和时间对数据进行分组，以执行聚合操作或提取特定信息。在本文中，我们将探讨如何使用Python中Pandas库的强大功能来按日期和时间对Pandas DataFrame进行分组。
语法
在深入了解细节之前，让我们先从以下代码示例中使用的方法的语法开始。
dataframe.groupby(pd.Grouper(key='column_name', freq='frequency')).operation()
在这里，dataframe指的是Pandas DataFrame对象，column_name指的是包含日期和时间信息的部分的名称，repeat指的是我们想要打包数据的重复频率（例如，每天为’D’，每月为’M’，每小时为’H’），action()表示在组装数据上执行的最佳操作。
步骤
现在，我们来逐步了解按日期和时间组合Pandas DataFrame的步骤：
- 导入所需的库 –
import pandas as pd – 导入Pandas库以进行数据处理和分析。
- 将数据加载到Pandas DataFrame中 –
dataframe = pd.read_csv(‘data.csv’) – 从CSV文件中读取数据并将其存储在名为dataframe的DataFrame中。
- 将日期和时间列转换为datetime数据类型 –
dataframe[‘datetime_column’] = pd.to_datetime(dataframe[‘datetime_column’]) – 将指定的列datetime_column转换为datetime数据类型。此步骤确保Pandas将该列识别为包含日期和时间。
- 按日期和时间分组DataFrame –
grouped_data = dataframe.groupby(pd.Grouper(key=’datetime_column’, freq=’frequency’)) – 使用groupby()方法与pd.Grouper根据datetime_column和指定的频率对DataFrame进行分组。
- 对分组数据执行操作 –
result = grouped_data.operation() – 在分组数据上应用所需的操作，其中operation()可以是任何Pandas操作或方法。
data.csv
datetime_column,value
2023-07-01 08:00:00,10
2023-07-01 12:00:00,5
2023-07-02 09:00:00,7
2023-07-02 14:00:00,3
2023-07-03 10:00:00,8
2023-07-03 16:00:00,2
2023-07-04 11:00:00,6
2023-07-04 18:00:00,4
方法1：按每日频率分组
在这种方法中，我们将DataFrame按每日频率进行分组，这样就可以按每日基础进行聚合计算。
示例
import pandas as pd
# Load the data from the CSV file into a Pandas DataFrame
dataframe = pd.read_csv('data.csv')
# Convert the 'datetime_column' to a datetime data type
dataframe['datetime_column'] = pd.to_datetime(dataframe['datetime_column'])
# Group the DataFrame by date and time using daily frequency
grouped_data = dataframe.groupby(pd.Grouper(key='datetime_column', freq='D'))
# Perform an operation on the grouped data (sum the 'value' column)
result = grouped_data['value'].sum()
# Print the result
print(result)
输出
datetime_column
2023-01-05 5
2023-01-06 0
2023-01-07 0
2023-01-08 0
2023-01-09 2
..
2023-12-27 0
2023-12-28 3
2023-12-29 0
2023-12-30 0
2023-12-31 16
Freq: D, Name: value, Length: 361, dtype: int64
解释
按每日频率进行分组
在这个方法中，我们想要按每日频率对DataFrame中的数据进行分组，并计算每个日期的”value”列的总和。
代码首先导入必要的库。我们使用别名”pd”导入pandas库来成功处理数据帧。
然后，我们使用pd.read_csv()函数将CSV文件中的信息导入到Pandas数据帧中。我们期望信息存储在名为”data.csv”的文件中。如果需要，请更改文件路径。
为了处理数据帧中的日期和时间数据，我们需要将相应的列完全转换为日期时间数据类型。我们使用pd.to_datetime()函数，并传递列名”datetime_column”进行适当转换。
一旦列被转换，我们就可以按日期使用每日频率对数据帧进行分组。我们在数据帧上使用groupby()方法，并指定键为”datetime_column”，频率为”D”（表示每日），并使用pd.Grouper(key=’datetime_column’, freq=’D’)。
在整理完数据之后，我们可以对整理的数据进行处理。在这种情况下，我们想要计算每个日期的”value”列的总和。我们将”value”列指定为感兴趣的列，并应用aggregate()方法对整理的数据进行处理。
最后，我们可以打印结果以查看每个日期的”value”列的总和。
请注意，您需要在代码中更改文件路径或名称，以匹配您特定的CSV文件。运行这个代码示例应该给出您所期望的结果，在数据帧中显示每个日期的”value”列的总和。这种方法提供了一种按每日频率对数据帧进行分组并进行计算或聚合的方法，使您能够分析和提取数据中有意义的见解。
方法2：按小时频率进行分组
在这种方法中，我们将按小时频率对DataFrame进行分组，从而可以按小时为单位进行数据分析或处理。以下是一个示例，展示了如何实现此目标：
示例
import pandas as pd
# Load the data from the CSV file into a Pandas DataFrame
dataframe = pd.read_csv('data.csv')
# Convert the date and time column to a datetime data type
dataframe['datetime_column'] = pd.to_datetime(dataframe['datetime_column'])
# Group the DataFrame by date and time using hourly frequency
grouped_data = dataframe.groupby(pd.Grouper(key='datetime_column', freq='H'))
# Perform an operation on the grouped data
result = grouped_data['value'].mean()
# Print the result
print(result)
输出
datetime_column
2023-01-05 17:00:00 5.0
2023-01-05 18:00:00 NaN
2023-01-05 19:00:00 NaN
2023-01-05 20:00:00 NaN
2023-01-05 21:00:00 NaN
...
2023-12-31 01:00:00 NaN
2023-12-31 02:00:00 NaN
2023-12-31 03:00:00 NaN
2023-12-31 04:00:00 NaN
2023-12-31 05:00:00 8.0
Freq: H, Name: value, Length: 8629, dtype: float64
解释
按小时频率分组
在这种方法中，我们希望按小时频率对DataFrame中的数据进行分组，并计算每个小时的”value”列的平均值。
代码开始时导入必要的库。我们使用别名”pd”导入pandas库以成功地处理DataFrame。
然后，我们使用pd.read_csv()函数将CSV记录中的信息加载到Pandas DataFrame中。我们期望信息存储在名为’data.csv’的文件中，如果需要，可以更改文件路径。
为了处理DataFrame中的日期和时间数据，我们需要将对应的列完全转换为datetime数据类型。我们使用pd.to_datetime()函数，并传递列名’datetime_column’来正确进行转换。
转换列之后，我们准备使用小时频率对DataFrame进行分组。我们在DataFrame上使用groupby()方法，并指定关键字为’datetime_column’，频率为’H’（表示按小时），使用pd.Grouper(key=’datetime_column’, freq=’H’)。
在收集完数据之后，我们可以对收集到的数据进行操作。在这种情况下，我们要计算每小时”value”列的平均值。
我们将’value’指定为感兴趣的列，并对分组数据应用mean()方法。
最后，我们可以打印结果以查看DataFrame中每小时”value”列的平均值。
请注意，您需要更改代码中的文件路径或名称以匹配您特定的CSV文件。运行这个代码示例应该会给您所期望的结果，显示DataFrame中每小时”value”列的平均值。
这种方法提供了一种按小时频率对DataFrame进行分组并在每小时基础上执行计算或收集的方法，使您能够从数据中分析和提取有价值的见解。
结论
通过使用Python中Pandas库的强大功能，我们可以轻松地按日期和时间对Pandas DataFrame进行分组。这种功能使我们能够根据不同的频率（如每天、每小时、每月等）执行各种聚合、计算或分析。Pandas提供的灵活性使其成为处理和操作时间序列数据的一种宝贵工具，以简洁高效的方式处理数据。通过按照所示步骤并使用提供的语法，您现在可以有效地按日期和时间对Pandas DataFrame进行分组，从数据中提取有价值的见解。