腾讯云知识

41款实用工具,数据获取、清洗、建模、可视化都有了

作者:拉金德拉·阿卡拉卡(Rajendra Akerkar)、普里蒂·斯里尼瓦斯·萨加(Priti Srinivas Sajja) 本文转自:大数据(ID:hzdashuju) 导读: 在数据科学活动的不同阶段,有很多可用的支持工具和技术。本文介绍各种活动阶段使用的工具和技术,如数据获

作者:拉金德拉·阿卡拉卡(Rajendra Akerkar)、普里蒂·斯里尼瓦斯·萨加(Priti Srinivas Sajja)

本文转自:大数据(ID:hzdashuju)

导读:在数据科学活动的不同阶段,有很多可用的支持工具和技术。本文介绍各种活动阶段使用的工具和技术,如数据获取、数据清洗、数据管理、建模、模拟和数据可视化。

诸如结构式访谈、非结构式访谈、开放式问卷调查、封闭式问卷调查、记录评论和观察等技术统称为事实调查方法。这种事实调查方法和其他数据获取方法可以采取自动化,而不必使用人工方法。

使用具有专用软件的物理设备(如终端、传感器和扫描仪等)也可用于管理物理设备和系统之间的接口。随后,这些数据可以通过典型的编程语言(如Java、Visual Basic、C++、MatLab和Lisp)来进行部分管理。也可使用开源和专用的数据采集软件,如MIDAS(最大集成数据采集系统)。

通常,数据采集系统是作为一个专用的独立系统而开发的,这种系统被称为数据记录器。在有特殊需求的情况下,系统的工作模型已准备好,并且也已呈现给了数据科学家。这样的原型有助于用户在系统实际构建之前测试数据获取机制。这有助于收集额外要求并测试已提出系统的可行性。

这里有发现更高层次内容的知识获取和机器学习方法(例如从资源中自动地获取信息和知识),这种知识获取方法的例子如概念图、审计、神经网络和其他与自动知识发现相关的方法。

在其他工具中,数据清洗工具、数据管理和建模工具以及数据可视化工具都非常重要。本文列出了不同类别中的一些主要工具。

01 数据清洗工具

一旦完成数据收集,便需要检查其清洁度。数据清洗通常称为数据净化,即其数据从源中删除或更正脏数据的过程。数据声明程序的目标是识别和消除数据中的错误,为进一步分析、建模和可视化提供一致的数据。

在数据项层级上,一些不正确的数据通过适当的验证被拒绝。在诸如文件和数据库的同构数据集合中,不一致程度和错误数量较少。在来自多个数据源的具有异构性质的大型数据库(如数据仓库、联邦数据库系统或全球基于Web的系统)中,数据清洗变得至关重要。

产生这些问题的原因有:

(1)不同的格式

(2)冗余数据

(3)数据使用的术语和标准不同

(4)合并数据使用的方法

删除不准确的、不完整或不合理的数据会提高数据的质量。缺失值、特殊值、范围检查、演绎修正、插值、最小值调整、错字、审计和工作流规范检查等是数据清洗的常用机制。

除了编程语言外,常用的数据清理工具如下所列。

1. Lavastorm分析

用于分析引擎等产品。

2. IBM InfoSphere信息服务器

分析、理解、清洗、监视、转换和传输数据。

/

28. ZingChart

是一个JavaScript图表库,其能为大量数据提供快速和交互式的图表。

/

34. Visual.ly

有助于创建视觉表征。

/index.jsp

36. 多眼

IBM研发的“多眼”可以帮助用户从数据集创建可视化并启用数据分析。

/chart/interactive/docs/

39. Crossfilter

是一个JavaScript库,其用于探索浏览器中的大规模多变量数据集。此外,Crossfilter还提供可协调的3D可视化。

http://square.github.io/cross?lter/

40. Polymaps

在地图上提供了快速且多缩放的数据集演示。

http://polymaps.org/

41. Gephi

是一款适用于各种网络、复杂系统、动态和分层图形的交互式的可视化探索平台。它支持探索性数据分析、链接分析、社交网络分析以及生物网络分析。该工具为已识别的类似数据集呈现彩色区域。

https://gephi.github.io/

除了上述工具和技术之外,数据科学领域还需要其他更多的专用新工具。由于数据科学领域是来自多个学科的技术联盟,并且具有无处不在的应用,因此数据科学在研究和开发中必须被赋予最重要的地位。此外,数据科学领域还需要文档编制、新的技术和模型。

典型的模型和技术可能不适合已获取的数据集,这些数据需要典型方法外的支持。在这里,人工智能技术可能会有很大的贡献。

本文摘编自《大数据分析与算法》,经出版方授权发布。



上一篇:刷抖音上瘾后,决定探究如果做一款类似抖音短视频app 下一篇:数据库分库分表思路

精彩导读