Numpy读取CSV数据：genfromtxt和pandas read_csv

在本文中，我们将介绍如何使用Numpy库的genfromtxt函数和pandas库的read_csv函数来读取CSV格式的数据，并忽略双引号内部的逗号。

阅读更多：Numpy 教程

CSV文件的常见格式

CSV文件是一种纯文本文件，顾名思义，它主要由使用逗号分隔的值组成。通常，每一行代表着一条数据记录，每一列代表着一种数据类型。例如，

Year,Make,Model,Description,Price
1997,Ford,E350,"ac, abs, moon",3000.00
1999,Chevy,"Venture ""Extended Edition""","",4900.00
1999,Chevy,"Venture ""Extended Edition, Very Large""",,5000.00

Numpy的genfromtxt函数

genfromtxt函数是Numpy中读取CSV数据的主要函数之一。它具有非常灵活的参数，可以处理各种不同的CSV格式。在默认情况下，genfromtxt函数在读取CSV文件时会自动将逗号作为分隔符。然而，在CSV文件中，有时双引号内部也包含逗号，如上例所示。如果不将双引号内部的逗号视为分隔符，则会出现数据读取错误的情况。

为了解决这个问题，genfromtxt函数提供了delimiter参数，可以设置分隔符。我们可以将“逗号”和“双引号”都视为分隔符，然后在读取完整字段后再进行拼接。示例代码如下：

import numpy as np

def my_genfromtxt(filename):
    def my_split(s):
        return [x.strip('"') for x in s.split(',')]

    with open(filename, 'r') as f:
        lines = f.readlines()

    data = []
    for line in lines:
        fields = line.split('"')
        for i, field in enumerate(fields):
            if i % 2 == 0:
                data.append(my_split(field))
            else:
                data[-1][-1] += field

    return np.array(data)

data = my_genfromtxt('my_data.csv')
print(data)

在上面的示例中，我们手动实现了一个简单的分隔函数my_split，然后将每一行按照双引号进行划分，分解成多个小字段。然后我们遍历这些小字段，对于偶数个字段（即非引号字符），我们调用my_split进行分割，然后将它们加入到列表data中。对于奇数个字段（即引号内的字符），我们将它们添加到上一个完整字段的最后一个元素中。最后使用Numpy的array函数将data列表转换成一个二维数组即可。

Pandas的read_csv函数

Pandas是另一个用于数据处理的重要库。它提供了一个可以高效地读取CSV文件的函数read_csv。与Numpy的genfromtxt函数不同，Pandas的read_csv函数默认情况下会自动处理双引号内部的逗号。

我们只需要在调用read_csv函数时指定引号字符为双引号即可，这样Pandas就会将双引号中的逗号视为数据的一部分而不是分隔符。示例代码如下：

import pandas as pd

data = pd.read_csv('my_data.csv', quotechar='"')
print(data)

在上面的示例中，我们调用了Pandas的read_csv函数，并传递了一个quotechar参数，指定引号为双引号。这样Pandas就会在读取CSV文件时自动处理双引号内部的逗号。

总结

CSV文件是一种非常常见的数据格式，而在读取CSV文件时，我们经常会遇到双引号内部的逗号带来的问题。对于Numpy和Pandas这样的数据处理常用的库来说，他们都能够很好地解决这个问题。对于Numpy的genfromtxt函数，我们可以手动实现一个字段的分割函数，然后在读取每一行的同时按照引号进行分割，最后拼装成完整的二维数组。对于Pandas的read_csv函数，我们只需要在调用时指定引号字符为双引号即可。这两种方法都能够解决双引号内部的逗号问题，使用时可以根据实际需要进行选择。

除了这个问题之外，Numpy和Pandas还有很多其他的函数可以用来读取和处理CSV文件，例如Numpy的loadtxt函数和Pandas的DataFrame数据结构等。因此，读取和处理CSV文件对于数据科学家和数据分析师来说是一项非常重要的基本技能之一。