如何将多个数据文件读入Pandas

在这篇文章中，我们将看到如何将多个数据文件读入pandas，数据文件有多种类型，下面是使用python中的pandas包读取多个文件的几种方法。

方法1：读取CSV文件

如果我们的数据文件是CSV格式，那么必须使用read_csv()方法。read_csv将文件路径作为参数，它读取CSV的内容。要读取多个 CSV 文件，我们只需使用一个简单的 for 循环并遍历所有的文件。

例子。使用Pandas读取多个CSV文件

在这个例子中，我们做了一个数据文件或文件路径的列表，然后用for循环来迭代文件路径，for循环用于迭代列表、图元、字符串等迭代变量。然后使用pd.DataFrame()创建一个数据框架，使用pd.concat()将每个数据框架连接成一个主数据框架，然后使用to_csv()方法将最终的主数据框架转换为CSV文件，该方法将我们想要创建的新CSV文件的名称作为参数。

# importing pandas
import pandas as pd
  
file_list=['a.csv','b.csv','c.csv']
  
main_dataframe = pd.DataFrame(pd.read_csv(file_list[0]))
  
for i in range(1,len(file_list)):
    data = pd.read_csv(file_list[i])
    df = pd.DataFrame(data)
    main_dataframe = pd.concat([main_dataframe,df],axis=1)
print(main_dataframe)

输出:

如何将多个数据文件读入Pandas？

方法2：使用glob包

python中的glob模块用于检索与指定模式匹配的文件或路径名。

这个程序与上面的程序类似，但唯一不同的是，我们没有使用列表来记录文件名，而是使用glob包来检索与指定模式相匹配的文件。

例子。使用Pandas和glob读取多个CSV文件。

# importing packages
import pandas as pd
import glob
  
folder_path = 'Path_of_file/csv_files'
file_list = glob.glob(folder_path + "/*.csv")
main_dataframe = pd.DataFrame(pd.read_csv(file_list[0]))
for i in range(1,len(file_list)):
    data = pd.read_csv(file_list[i])
    df = pd.DataFrame(data)
    main_dataframe = pd.concat([main_dataframe,df],axis=1)
print(main_dataframe)

输出:

如何将多个数据文件读入Pandas？

方法3：使用Pandas读取文本文件

要读取文本文件，必须使用panda的read_table()方法。

例子。使用pandas和glob读取文本文件。

使用glob包来检索文件或路径名，然后使用for循环遍历文件路径。在使用pd.read_table()方法读取每个文件的内容后创建一个数据框，该方法将文件路径作为参数。使用pd.concat()将每个数据框串联成一个主数据框，然后使用to_csv()方法将最终的主数据框转换为CSV文件，该方法以我们想要创建的新CSV文件的名称作为参数。

# importing packages
import pandas as pd
import glob
  
folder_path = 'Path_/files'
file_list = glob.glob(folder_path + "/*.txt")
main_dataframe = pd.DataFrame(pd.read_table(file_list[0]))
  
for i in range(1,len(file_list)):
    data = pd.read_table(file_list[i])
    df = pd.DataFrame(data)
    main_dataframe = pd.concat([main_dataframe, df], axis = 1)
  
print(main_dataframe)
  
# creating a new csv file with
# the dataframe we created
main_dataframe.to_csv('new_csv1.csv')