Python实现CSV文件合并输出|极客教程

Python实现CSV文件合并输出

CSV（Comma-Separated Values）是一种常用的文本格式，用于表示表格数据。在实际工作中，经常会遇到需要将多个CSV文件合并输出为一个新的CSV文件的情况。本文将介绍如何使用Python实现CSV文件合并输出的操作。

1. 使用pandas库实现CSV文件合并

pandas是Python中用于数据分析的库，提供了丰富的数据结构和函数。我们可以使用pandas库中的read_csv方法读取CSV文件，再使用concat方法将多个DataFrame对象合并，最后使用to_csv方法输出为一个新的CSV文件。

import pandas as pd

# 读取多个CSV文件
df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')

# 合并多个DataFrame
merged_df = pd.concat([df1, df2])

# 输出合并后的CSV文件
merged_df.to_csv('output.csv', index=False)

运行上述代码后，将生成一个新的output.csv文件，其中包含了file1.csv和file2.csv的所有数据。

2. 使用csv模块实现CSV文件合并

除了使用pandas库，我们也可以使用Python自带的csv模块来实现CSV文件的合并输出。我们可以逐行读取每个CSV文件，并将数据逐行写入一个新的CSV文件中。

import csv

# 定义输入和输出文件名
input_files = ['file1.csv', 'file2.csv']
output_file = 'output.csv'

# 打开输出CSV文件
with open(output_file, 'w', newline='') as outfile:
    writer = csv.writer(outfile)

    # 逐个读取输入CSV文件
    for input_file in input_files:
        with open(input_file, 'r') as infile:
            reader = csv.reader(infile)
            for row in reader:
                writer.writerow(row)

该代码片段将file1.csv和file2.csv的数据合并并输出为一个新的output.csv文件。

3. 示例应用：合并多个批量生成的CSV文件

假设我们有多个批量生成的CSV文件，每个文件包含了不同部门的销售数据，我们希望将这些数据合并到一个CSV文件中，以便进行整体销售数据分析。

import pandas as pd
import glob

# 获取所有CSV文件路径
files = glob.glob('sales_data/*.csv')

# 读取并合并所有CSV文件
df = pd.concat([pd.read_csv(f) for f in files])

# 输出合并后的CSV文件
df.to_csv('combined_sales_data.csv', index=False)