数据挖掘项目成功的黄金准则—企业数据挖掘成功之道（理论篇）
2019-04-25 14:29:25
次
为什么您的数据挖掘项目成果总是难以落地？或者数据挖掘的价值总是远远低于预期？无论您是项目管理者还是数据分析师，相信看完这篇文章，每个人都能找到一个属于自己的答案。本人先后在电力、军工、金融等行业担任数据挖掘工程师，数据挖掘咨询顾问，有多年行业经验。从平时的工作中总结出以下几条数据挖掘项目成功的黄金准则，希望能帮助您真正将数据挖掘成果落到实处，给您的企业带来实实在在的价值。
1、遵循数据挖掘分析标准流程
数据挖掘项目具有周期长、复杂性高和不确定性高等特点，因此需要遵循一定的标准流程，这样不仅可以保证数据挖掘每一个阶段的工作内容有章可循，而且还可以保证最终的挖掘成果更加准确，更加有说服力。一般情况下，数据挖掘分析分为以下几个步骤：
1) 业务理解，确定业务目标和数据挖掘目标、明确分析需求；
2) 数据理解，收集原始数据、描述数据、探索数据、检验数据质量；
3) 数据准备，选择数据、清洗数据、构造数据、整合数据、格式化数据；
4) 建立模型，选择建模技术、参数调优、生成测试计划、构建模型；
5) 评估模型，对模型进行较为全面的评价，评价结果、重审过程；
6) 成果部署，分析结果落地形式。
整个挖掘分析项目都要围绕这几个步骤来实施。有时两个步骤可以同时交替进行，例如，业务理解和数据理解有时可以同时进行；有时几个步骤需要迭代进行，例如，数据准备、建立模型和评估模型这三个步骤经常需要循环迭代多次，才能得到理想的模型。但是需要强调的是：六个步骤缺一不可！
2、分析目标与业务价值目标紧密结合
在数据分析前期，要做到充分沟通及理解业务规则、关注业务痛点、了解用户需求、换位思考，明确为什么要做挖掘分析，要达到一个什么业务目标，期待实现一个怎样的业务价值。这样才能保证后续的收集数据、确定分析主题、分析数据、分析结果应用等工作都能够围绕分析目标开展，保证最终能够从整体业务价值目标的角度去应用分析成果。
3、业务与数据结合确定分析主题
以解决业务问题为目标，以数据现状为基础，确定分析主题。前期要做好充分的准备，以业务问题为导向，以业务和数据梳理为重点，进行多轮讨论，分析主题避免过大，针对业务痛点，实现知现状、明原因、可预测、有价值。在规划了多个分析主题后，还必须从数据的满足度、业务的价值度、业务的紧急度、业务的复杂度等多个方面对于分析主题进行优先级确定，确保业务主题的可行性和价值性。
4、良好的数据质量是基础
高质量的数据挖掘成果必然依赖于高质量的数据，所以确定分析主题之后，要进行数据支撑情况的初步判断，确保数据的完整、真实、规范，避免中途发现数据质量或者数据范围不能支撑分析工作的情况发生。在这个过程中最忌讳只重视数据的“大”量级，而忽视了数据的全面性。全面的数据是指能够反映真实世界的数据其量已经达到可以从一定程度上反映事物的真实全貌的程度。就如同“瞎子摸象”，如果只使用一个人所采集的数据，即使数据量再大，也是无法反映大象的全貌，做出的判断也会出现严重的偏颇。
5、项目范围边界要明确
在立项之前，要明确分析项目范围并详细论证分析可行性，保证分析过程的清晰性，才能开始分析工作。简单说就是为挖掘分析项目界定一个工作边界，如何做、怎么样做、做到什么程度才能达成项目目标。项目范围对于挖掘分析项目尤为重要，因为挖掘分析工作相对来说是一个没有止境的工作，必须要有一个工作边界和衡量标准。
6、高层重视及团队式协作
挖掘分析项目必须要有公司高层的支持，或者项目的牵头人重视这个项目并且有能力调动相关部门去配合项目整体推进，这是项目进展的重要保障。分析团队还要有业务人员、数据分析人员，数据管理员和IT人员，多个角色的参与。业务人员参与前期需求讨化、分析主题的设计、分析过程中模型解释等工作，数据分析人员则负责需求分析、数据梳理、数据分析及模型优化工作。数据管理员最了解企业的数据，需要提供数据资产目录。IT人员需要对最终的分析成果进行封装，与企业的现有系统实现对接。
7、多种分析方法结合
分析过程中尽量运用多种分析方法，以提高分析的准确性和可靠性。例如，运用定性定量相结合的分析方法对于数据进行分析；融合交互式自助BI、数据挖掘、自然语言处理等多种分析方法；高级分析和可视化分析相结合等。
8、高效的数据挖掘平台支撑
工欲善其事，必先利其器，数据挖掘分析项目一定要有一款强大高效的数据挖掘平台作为支撑。SPSS、SAS、Alteryx、美林Tempo、Rapidminer、R、Python等这几种工具都是业界比较认可的数据分析产品。它们各有其优势，SPSS 较早进入国内市场，发展已经相对成熟，有大量参考书可供参考，操作上容易上手，简单易学。SAS由于其功能强大而且可以编程，很受高级用户的欢迎。Alteryx 工作流打包成应用，为小企业直接提供应用，地理数据分析功能强大。美林数据的Tempo大数据分析平台功能全面，企业级架构，算法功能更加强大，同时在挖掘分析和可视化分析相结合上具有明显优势。Rapidminer 易用性和用户体验做得很好，并且内置了很多案例用户可直接替换数据源去使用。R 是开源免费的，具有良好的扩展性和丰富的资源，涵盖了多种行业中数据分析的几乎所有方法，分析数据更灵活。Python，有各种各样功能强大的库，做数据处理很方便，跟MATLAB很像。
9、分析结论尽量图表化
经过严谨推导得出的结论，首先要精简明确，3-5条即可。其次要与业务问题结合，给出解决方案或建议方案。尽量图表化，要增强其可读性。
某企业KPI分析报告
挖掘分析项目过程中，除了以上几条准则，还要避免以下3种情况：
1) 时间安排不合理
在开始分析工作之前，一定要做一个明确的进度计划，时间分配的原则是：数据收集、整理及建模占70%，数据可视化展现及分析报告占25%，其他占5%。（数据的收集、整理和建模的过程，是反复迭代的过程）
2) 数据源选择不合理
一般企业中的数据来源有很多，SAP、TMS、CRM及各部门业务系统，每个渠道的数据各有特点。这时，应该慎重考虑从哪个渠道获取数据更加快捷有效。数据源选择不合理，不仅影响结论的可靠性，而且有返工的风险。
3) 沟通不充分
无论是分析人员内部的沟通还是与外部相关人员的沟通，都是至关重要的。与外部人员沟通不顺畅，可能造成前期需求不清，中间业务逻辑混乱，最终导致数据分析结果差强人意。与内部人员沟通效率低，可能造成分析进度滞后，分析工作开展不畅等诸多问题，直接影响分析效果。
最后，无论对于数据分析师还是挖掘分析项目管理者，希望看完了这篇文章都会对于如何做一个成功数据挖掘项目或者改进当前数据挖掘项目质量能有所收获。
Tempo商业智能平台
Tempo人工智能平台
Tempo数据工厂平台
Tempo指标平台
Tempo数据资产管理平台
Tempo主数据管理平台
首页
陕公网安备 61019002000171号
