如何巧用大数据分析工具提高数据质量大数据行业资讯-美林数据

产品简介

美林新闻/NEWS

首页美林数据行业资讯

如何巧用大数据分析工具提高数据质量

2022-06-09 17:45:44 次

大量的数据中隐藏着商业价值，各行各业都在做大数据分析，挖掘数据价值，但是却很少有人关注数据质量的问题，数据分析质量高不高，直接影响数据分析成果的价值，保证数据质量才是数据分析的关键。
数据质量体现为数据的正确性、准确性、不矛盾性、一致性、完整性和集成性这六大方面。数据质量在数据分析的各个环节都应加以控制和保证，从数据采集、数据处理、数据分析到最后数据分析成果展现及应用，其中数据处理环节是提升数据质量的重要环节。《哈佛商业评论》的一项研究表明，人们将80%的时间用于数据清理和组织，而数据分析时间仅占20%。有了Tempo，数据预处理将变得简单高效！下面我们来看看其中一些重要的功能。
Tempo 支持多种数据预处理方法，包括对行、列、表的30余种数据预处理节点，实现数据清理，集成，变换，归约等数据预处理，为挖掘分析做好准备。其中行处理包括：数据过滤、排序、随机抽样、数据平衡等；列处理包括：重命名、属性过滤、属性生成、随机数生成、缺失值处理、字符型/数值型/日期型属性变换、设置角色等；表处理包括：数据连接、数据追加、数据拆分、数据分解、分类汇总、表转置等；高级处理包括：数据平滑、主成分分析、因子分析、孤立点分析、RFM、季节解构、异常值检测、奇异值分解、分箱、局部多项式回归、过程查询分析器等。
以某企业的全国销售订单分析为例，在构建挖掘分析模型前需要进行数据预处理。

第一步，数据连接

将销售订单数据表与客户信息数据表做数据表连接，连接方式为内连接，如下图所示，将两表以城市、顾客姓名及订单号相同为连接条件，组合成包含销售订单信息及客户信息的数据宽表。

第二步，数据过滤

通过数据过滤节点，将宽表数据中符合分析条件的数据筛选出来，如下图所示，筛选出销售额大于50万的客户。

第三步，属性生成
通过属性生成节点，构造新的属性。如下图所示，构建新的属性产品平均单价和净利润。

第四步，缺失值处理

将所有字段进行缺失值处理，支持对不同的字段类型采用不同的缺失值处理方式，如下图所示，如数值型字段支持用平均值、最大值、最小值、中位数、众数或自定义等方式进行缺失值的处理，字符型和日期型数据支持最多次数项、最少次数项或自定义方式进行缺失值处理。

第五步，异常值检测

异常值检测利用原始数据的分布特征情况，对存在异常和噪声的数据进行检测和识别。如下图所示，可基于四分位距进行异常值检测也可根据业务情况自定义异常值条件来检测异常值，支持直接删除异常值、用均值替换异常值、仅输出异常值及标记异常值并输出整表等操作。这里我们自定义折扣点大于1或销售额小于0或者订单数量基于四分位距的异常值点，不作为分析数据，将异常值直接删除，从而进行下一步分析。（我们也可以将异常值数据输出单独分析，也许能发现一些业务问题）