极客教程Pandas和PostgreSQL之间的区别
Pandas: Python支持一个内置的库Pandas，以快速有效的方式进行数据分析和处理。Pandas库可以处理一维数组（称为系列）和多维数组（称为数据框架）中的数据。它提供了大量的函数和实用程序来执行数据转换和操作。统计建模、过滤、文件操作、排序以及通过numpy模块导入或导出是Pandas库的一些关键功能。大数据的处理和挖掘是以一种更方便用户的方式进行的。
PostgreSQL：它是一个开源的关系型数据库管理系统，主要用于各种应用的数据存储。PostgreSQL用较小的数据集进行数据操作，如排序、插入、更新、删除，其方式更为简化和快速。它通过SQL查询来模拟数据分析和转换。它提供了灵活的存储和数据复制，具有更多的安全性和完整性。它确保的主要特征是原子性、一致性、隔离性和持久性（ACID），以处理并发的事务。
性能
为了比较这两个模块的性能，我们将对以下数据集进行一些操作。
这个数据集可以加载到各自的框架中，然后可以计算出它们在不同操作中的性能：
- 选择：显示数据集的所有行
# import required modules
import time
import psycopg2
import pandas
# connect to server and load SQL database
db = psycopg2.connect(database="postgres",
user="postgres",
password="12345",
host="127.0.0.1",
port="5432")
db = conn.cursor()
# load pandas dataset
df = pandas.read_csv('gfg.csv')
print('\nUsing PostgreSQL:')
# computing time taken by PostgreSQL
begin = time.time()
db.execute("SELECT * FROM gfg")
print(db.fetchall())
end = time.time()
print('Time Taken:', end-begin)
print('\nUsing Pandas:')
# computing time taken by Pandas
begin = time.time()
print(df)
end = time.time()
print('Time Taken:', end-begin)
输出:
- 排序：按升序对数据进行排序
# import required modules
import time
import psycopg2
import pandas
# connect to server and load SQL database
db = psycopg2.connect(database="postgres",
user="postgres",
password="12345",
host="127.0.0.1",
port="5432")
cur = db.cursor()
# load pandas dataset
df = pandas.read_csv('gfg.csv')
print('\nUsing PostgreSQL:')
# computing time taken by PostgreSQL
begin = time.time()
print('Sorting data...')
cur.execute("SELECT * FROM gfg order by ESTABLISHED")
print(cur.fetchall())
end = time.time()
print('Time Taken:', end-begin)
print('\nUsing Pandas:')
# computing time taken by Pandas
begin = time.time()
print('Sorting data...')
df.sort_values(by=['ESTABLISHED'], inplace=True)
print(df)
end = time.time()
print('Time Taken:', end-begin)
输出:
- 过滤：从数据集中提取一些行
# import required modules
import time
import psycopg2
import pandas
# connect to server and load SQL database
db = psycopg2.connect(database="postgres",
user="postgres",
password="12345",
host="127.0.0.1",
port="5432")
cur = db.cursor()
# load pandas dataset
df = pandas.read_csv('gfg.csv')
print('\nUsing PostgreSQL:')
# computing time taken by PostgreSQL
begin = time.time()
cur.execute("SELECT * FROM gfg where ESTABLISHED < 2000")
print(cur.fetchall())
end = time.time()
print('Time Taken:', end-begin)
print('\nUsing Pandas:')
# computing time taken by Pandas
begin = time.time()
print(df[df['ESTABLISHED'] < 2000])
end = time.time()
print('Time Taken:', end-begin)
输出:
- 加载：加载数据集
# import required modules
import time
import psycopg2
import pandas
print('\nUsing PostgreSQL:')
# computing time taken by PostgreSQL
begin = time.time()
# connect to server and load SQL database
print('Loading SQL dataset...')
db = psycopg2.connect(database="postgres",
user="postgres",
password="12345",
host="127.0.0.1",
port="5432")
cur = db.cursor()
end = time.time()
print('Time Taken:', end-begin)
print('\nUsing Pandas:')
# computing time taken by Pandas
begin = time.time()
print('Loading pandas dataset...')
# load pandas dataset
df = pandas.read_csv('gfg.csv')
end = time.time()
print('Time Taken:', end-begin)
输出:
下表说明了执行这些操作所需的时间：
| Query | PostgreSQL****（时间为秒） | Pandas****（时间为秒） |
|---|---|---|
| 选择 | 0.0019 | 0.0109 |
| 分类 | 0.0009 | 0.0069 |
| 过滤器 | 0.0019 | 0.0109 |
| 负载 | 0.0728 | 0.0059 |
因此，我们可以得出结论，与PostgreSQL相比，pandas模块几乎所有的操作都很慢，除了加载操作。
Pandas VS PostgreSQL
| Pandas | PostgreSQL |
|---|---|
| 设置很容易。 | 设置需要对查询进行调整和优化。 |
| 复杂度较低，因为它只是一个需要导入的包。 | 配置和数据库配置会增加复杂性和执行时间。 |
| 数学、统计和程序性方法（如UDF）得到有效处理。 | 数学、统计和程序性方法（如UDF）执行得不够好。 |
| 可靠性和可扩展性较差。 | 可靠性和可扩展性要好得多。 |
| 只有具有技术知识的人才能进行数据处理操作。 | 易于阅读、理解，因为SQL是一种结构化语言。 |
| 不能轻易与其他语言和应用程序整合。 | 可以很容易地与所有语言整合，以提供支持。 |
| 安全性受到影响。 | 由于ACID特性，安全性更高。 |
因此，在进行简单的数据操作，如数据检索、处理、连接、过滤的地方，可以认为PostgreSQL更好，更容易使用。但是，对于大型数据的挖掘和处理，查询的优化和争论超过了它的简单性，因此，Pandas表现得更好。