极客教程数据科学和数据工程的区别
数据科学： 对来自组织存储库中数据的信息流的详细研究称为数据科学。数据科学是关于通过应用分析、编程和业务技能从原始和非结构化数据中获得有意义的见解。
数据科学生命周期包括：
- 数据发现：搜索不同的数据源并捕获结构化和非结构化数据。
- 数据准备：将数据转换为通用格式。
- 数学模型：使用变量和方程建立关系。
- 让事情付诸行动：收集信息并根据业务需求得出结果。
- 沟通：将调查结果传达给决策者。
数据科学： 数据工程专注于大数据的应用和收集。数据工程侧重于数据收集和分析的实际应用。在此数据被转换成有用的格式进行分析。数据工程在很多方面与软件工程非常相似。从一个具体目标开始，数据工程师的任务是整合功能系统以实现该目标。
以下是数据科学和数据工程之间的差异表：
| 编号 | 数据工程 | 数据科学 |
|---|---|---|
| 1 | 开发、构建、测试和维护架构(如数据库和大型处理系统) 清理和组织(大)数据。 | 执行描述性统计和分析，以开发洞察力、构建模型和解决业务需求。 |
| 2 | SAP、Oracle、Cassandra、MySQL、Redis、Riak、PostgreSQL、MongoDB、neo4j、Hive 和 Sqoop。 | SPSS、R、Python、SAS、Stata 和 Julia 来构建模型。Scala、Java 和 C#。 |
| 3 | 确保架构能够支持业务需求 | 利用来自内部和外部来源的大量数据来响应业务 |
| 4 | 发现数据采集的机会 | 使用复杂的分析程序、机器学习和统计方法来准备数据以用于预测和规范建模 |
| 5 | 为数据建模、挖掘和生产开发数据集流程 | 探索和检查数据以发现隐藏模式 |
| 6 | 使用各种语言和工具(例如脚本语言)将系统结合在一起 | 通过使用预测性和规范性分析实现工作自动化 |
| 7 | 推荐提高数据可靠性、效率和质量的方法 | 向决策者传达调查结果 |