极客笔记Python 使用Pandas处理日期和时间
Python数据分析和操作的核心部分是使用Pandas处理日期和时间。强大的Pandas库提供了有效的方法来处理和检查时间序列数据。它提供了DateTimeIndex，使得对DataFrame进行索引和执行基于时间的操作变得简单。用户可以通过将字符串或其他表示转换为Pandas DateTime对象来构造数据的DateTimeIndex，简化了时间感知分析。库支持重新采样、时间膨胀和日期范围创建，使得合并和处理基于时间的数据变得简单。此外，Pandas还支持管理时区，可以实现时间戳转换和大数据分析的时间转换和翻译。
安装命令
在使用Pandas之前，您必须在计算机系统上安装它。使用Python的软件包管理器pip，运行以下命令来进行安装：
pip install pandas
Pandas的特性
- DataFrame ：DataFrame 是Pandas引入的新功能，它是一个二维标记数据结构，类似于电子表格或SQL表，能够有效地管理行和列的数据，并支持各种不同的数据操作。
-
Series ：Series是一个一维标记数组，具有类似于列表或NumPy数组的附加功能。Series是DataFrames的基本单位，并可以存储各种数据类型。
-
数据对齐 ：即使数据来自多个来源，Pandas也能正确执行数据操作（如算术运算），因为Pandas会根据标签自动对齐数据。
-
数据清洗 ：Pandas提供了各种方法来管理缺失数据，例如dropna()可删除NaN值，fillna()可使用定义的技术填充缺失值。
-
数据重塑 ：使用pivot_table()、melt()以及stack()/unstack()等方法，用户可以借助Pandas提供的灵活工具轻松地重塑数据。
-
分组和聚合 ：借助Pandas提供的groupby()方法，用户可以根据特定的条件将数据分组，并对每个组应用聚合函数，如求和、平均值、最大值等。
-
合并、连接和连接 ：通过merge()、join()和concat()等技术，Pandas可以无缝集成和合并来自多个来源的数据。
-
时间序列分析 ：Pandas提供了广泛的功能，用于处理时间序列数据，包括日期范围构建、基于时间的索引和在不同频率上进行重新采样等。
-
数据输入和输出 ：Pandas可以读取和写入多种不同的格式的数据，如CSV、Excel、SQL数据库等。
-
基于标签的索引 ：Pandas具有灵活且用户友好的标签索引功能，可以根据标签或条件轻松地切片、选择和更新数据。
-
数据可视化 ：Pandas本身不管理数据可视化，但它与Matplotlib和Seaborn等其他库接口友好，可以让用户使用Pandas数据创建有用的绘图和图形。
使用Pandas的基本程序
-
创建DataFrame
-
创建DateTimeIndex并重新采样
-
过滤数据
创建DataFrame
在基于Python的数据分析和处理中，创建Pandas中的DataFrame是一个至关重要的步骤。Pandas是一个复杂的库，提供了一个二维标记数据结构，称为DataFrame，类似于电子表格或SQL表。Pandas通过允许将数据分组为行和列，实现了简单的数据管理和分析。
步骤
- 导入Pandas库。
-
准备要在DataFrame中使用的信息。您可以选择使用字典、字典列表、列表列表或NumPy数组。
-
使用pd.DataFrame()构造函数生成DataFrame。给构造函数提供数据以及任何可选项，包括列名和索引。
-
您可以使用index参数设置索引，使用pd.DataFrame()构造函数的columns参数设置列名。
-
DataFrame现在可以进行编辑和数据分析。
示例
import pandas as pd
data_dict = {
'Name': ['Rahul', 'Anjali', 'Siddharth'],
'Age': [15, 33, 51],
'City': ['Mumbai', 'Goa', 'Jammu']
}
df1 = pd.DataFrame(data_dict)
dataListOfDicts = [
{'Name': 'Komal', 'Age': 25, 'City': 'Pune'},
{'Name': 'Bulbul', 'Age': 30, 'City': 'Agra'},
{'Name': 'Aarush', 'Age': 35, 'City': 'Meerut'}
]
df2 = pd.DataFrame(dataListOfDicts)
data_list_of_lists = [
['Anmol', 27, 'Hyderabad'],
['Tarun', 20, 'Mumbai'],
['Srijan', 31, 'Chandigarh']
]
df3 = pd.DataFrame(data_list_of_lists, columns=['Name', 'Age', 'City'])
print("DataFrame 1:")
print(df1)
print("\nDataFrame 2:")
print(df2)
print("\nDataFrame 3:")
print(df3)
输出
创建一个日期时间索引并重新采样
在基于Python的数据分析和处理中，创建一个Pandas的DataFrame是一个关键步骤。一个称为Pandas的高级库提供了一个二维标记数据结构，称为DataFrame，它类似于电子表格或SQL表。Pandas通过允许将数据分组成行和列，实现了简单的数据管理和分析。
步骤
- 导入Pandas库。
-
将数据准备好，其中包含一个日期或时间戳的列。
-
使用pd.to_datetime()将日期或时间戳列转换为Pandas的DateTimeIndex。
-
使用set_index()函数，将DateTimeIndex设置为DataFrame的索引。
-
您还可以使用聚合函数（如mean、sum等）在使用resample()方法将数据重新采样到不同频率之后，获得新频率的值。
示例
import pandas as pd
data = {
'Date': ['2023-07-25', '2023-07-26', '2023-07-27', '2023-07-28', '2023-07-29'],
'Value': [10, 15, 8, 12, 20]
}
df = pd.DataFrame(data)
df['Date'] = pd.to_datetime(df['Date'])
df.set_index('Date', inplace=True)
monthly_data = df.resample('M').mean()
print(df)
print("\nResampled Monthly Data:")
print(monthly_data)
输出
数据过滤
Pandas提供了基于布尔索引的数据过滤功能。用户可以通过在DataFrame列上应用条件来构建布尔掩码，快速选择满足过滤条件的行。数据分析师可以使用这种方法来聚焦相关信息，研究趋势，查找模式，并对特定数据子集进行进一步的研究。
步骤
- 导入Pandas库。
-
可以在DataFrame中进行数据准备，或者从CSV文件中读取数据进行准备。
-
将布尔索引与条件结合使用，根据特定要求过滤数据。
-
在一个或多个DataFrame列上应用条件，创建一个布尔掩码。
-
使用布尔掩码选择满足过滤要求的行。
示例
import pandas as pd
data = {
'Name': ['Arushi', 'Shobhit', 'Tarun', 'Dishmeet', 'Evan'],
'Age': [25, 30, 35, 28, 40],
'City': ['Mumbai', 'Delhi', 'Goa', 'Bareilly', 'Agra']
}
df = pd.DataFrame(data)
filtered_df = df[df['Age'] > 30]
print(filtered_df)
输出
结论
Python的Pandas库简化了处理时间和日期的时间数据处理。用户可以借助Pandas的DateTimeIndex和函数有效地执行基于时间的索引、重采样和时区管理。该库的灵活性使得日期计算、筛选和时间序列展示更加容易。它与其他Python工具的无缝连接提高了数据的探索和操作。Pandas在各种应用中对于处理和分析与时间相关的数据至关重要，包括银行和经济领域、天气预测和社会趋势分析等。它使分析人员能够获得深入的知识。