Python合并CSV文件

1. 引言

CSV(Comma-Separated Values)是一种常见的文件格式，用于存储和传输以逗号分隔的数据。在数据分析和处理中，我们常常需要合并多个CSV文件，以便于数据的整合和分析。本文将介绍使用Python合并CSV文件的方法。

2. 问题描述

假设我们有多个CSV文件，每个文件包含相同的列结构和不同的数据记录。我们的目标是将这些CSV文件合并成一个文件，便于后续数据分析。

3. 解决方案

3.1. 方法一：使用pandas库

Pandas是Python中常用的数据处理库，它提供了强大的数据结构和数据分析工具。下面将介绍如何使用pandas库来合并CSV文件。

首先，我们需要安装pandas库。可以使用pip命令进行安装：

pip install pandas

接下来，我们通过以下步骤来完成CSV文件的合并：

导入pandas库：

import pandas as pd

使用pandas的read_csv函数逐个读取CSV文件，并将其存储为DataFrame对象。假设我们有三个文件分别为file1.csv、file2.csv、file3.csv，我们可以使用以下代码将它们读入数据框：

df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
df3 = pd.read_csv('file3.csv')

使用pandas的concat函数将多个DataFrame对象按行合并。我们可以使用以下代码将前面读取的三个数据框合并：

merged_df = pd.concat([df1, df2, df3])

最后，将合并后的DataFrame对象保存为一个新的CSV文件：

merged_df.to_csv('merged.csv', index=False)

3.2. 方法二：使用csv模块

除了pandas库，Python标准库中的csv模块也提供了CSV文件的读写功能。下面将介绍如何使用csv模块来合并CSV文件。

首先，csv模块是Python的内置模块，无需安装。我们通过以下步骤来完成CSV文件的合并：

导入csv模块：

import csv

创建一个新的CSV文件，并打开该文件的写入模式：

with open('merged.csv', 'w', newline='') as merged_file:
    writer = csv.writer(merged_file)

使用csv模块的writerow函数逐个将每行数据写入新的CSV文件。假设我们有三个文件分别为file1.csv、file2.csv、file3.csv，我们可以使用以下代码将它们逐行写入新的文件：

files = ['file1.csv', 'file2.csv', 'file3.csv']
for file in files:
    with open(file, 'r') as csv_file:
        reader = csv.reader(csv_file)
        for row in reader:
            writer.writerow(row)

最后，关闭新的CSV文件。

merged_file.close()

以上就是使用csv模块合并CSV文件的方法。

4. 示例运行

假设我们有两个CSV文件file1.csv和file2.csv，它们的内容分别如下：

file1.csv：

Name,Age,Gender
John,25,Male
Alice,30,Female

file2.csv：

Name,Age,Gender
Bob,35,Male
Eve,27,Female

我们可以使用使用pandas库来合并这两个文件：

import pandas as pd

# 读取CSV文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

# 合并DataFrame对象
merged_df = pd.concat([df1, df2])

# 保存为新的CSV文件
merged_df.to_csv('merged.csv', index=False)

运行以上代码后，会生成一个新的CSV文件merged.csv，其中包含合并后的数据：

merged.csv：

Name,Age,Gender
John,25,Male
Alice,30,Female
Bob,35,Male
Eve,27,Female

同样，我们也可以使用csv模块来合并这两个文件：

import csv

# 创建新的CSV文件
with open('merged.csv', 'w', newline='') as merged_file:
    writer = csv.writer(merged_file)

    # 逐行写入数据
    files = ['file1.csv', 'file2.csv']
    for file in files:
        with open(file, 'r') as csv_file:
            reader = csv.reader(csv_file)
            for row in reader:
                writer.writerow(row)

# 关闭新的CSV文件
merged_file.close()

运行以上代码后，同样会生成一个新的CSV文件merged.csv，其中包含合并后的数据。