工业大数据分析技术在实践应用中的思路与方法（上篇）
2020-11-09 14:14:36
次
导读：工业大数据即工业数据的总和，其来源主要包括企业信息化数据、工业物联网数据、“跨界”数据等，它是工业互联网的核心，是智能制造的关键。工业大数据分析作为工业大数据的核心技术之一，是工业智能化发展的重要基础和关键支撑。
本文将结合作者在工业领域多年的实践应用经验，力图对工业大数据分析技术的应用思路、方法和流程进行总结，旨在为企业开展大数据分析工作提供技术和业务上的借鉴。
在本文中我们将一起研讨和思考：
- 工业大数据分析的特殊性；
- 工业大数据分析的困境及难点；
- 工业大数据分析的基本框架；
- 工业大数据分析该如何开展？
工业大数据分析是利用统计学分析技术、机器学习技术、信号处理技术等技术手段，结合业务知识对工业过程产生的数据进行处理、计算、分析并提取其中有价值的信息和规律的过程。从过程与目标角度看，工业大数据分析和传统统计分析、商业智能分析涉及的学科和技术大同小异。但从分析理念和特点上看，工业大数据分析又有其自身的特殊性。
首先，进入大数据时代，数据的变化往往引发工作方法和价值体现的改变。对于数据的变化，非工业领域往往强调数量上的变化；但在工业领域，则更注重数据完整性和质量的提升。工业现场往往对分析结果的精度、可靠度要求高，加之工业对象和过程本身也很复杂。因此，工业大数据分析方法的重点是通过数据条件的改善，结合相关分析技术的有效应用，得到质量高的分析结果。
此外，工业场景的边界往往都有专业领域的机理来约束。对于复杂的工业过程数据分析，往往不能仅局限于相关关系分析，需要强调工业领域业务知识和数据分析过程的深度融合；强调复杂业务问题简化和分析结果的可解释性，而不是简单地追求数据量大与分析算法的复杂和先进性。一言以蔽之，工业大数据分析需要在工业具体业务要求的边界下，用数据思维和数理逻辑去严格地定义问题，采用“数据驱动+机理模型”的双轮驱动方式去精确表征、有效解决实际问题。
02 工业大数据分析的困境及难点
工业大数据分析的困境及难点主要体现在对工业对象（过程）理解和认知要求的高标准和一致性、工业大数据建模的复杂性和反复性、分析结果的可靠性和确定性三个方面。
第一. 工业大数据分析对数据分析人员的业务背景认知能力要求较高
数据分析师不能按照以往思路，对业务相关对象、数据情况初步摸底认知后就匆匆开展具体分析建模工作。而针对工业对象和过程的复杂系统，不同的场景下业务问题之间的关系往往会发生改变，加之数据缺失严重、噪声大、业务含义代表性强等因素，理论体系下的数据分析相关理念与技术很难直接适用于此类场景的变化和复杂度要求。如若数据分析团队对研究工业对象认识不够深入或“片面性”理解，往往会导致分析出来的结果是只是证明了领域内业务机理/常识的正确性或某一公认理念，就会经常出现项目研究投入高、产出低的问题。
因此，工业大数据分析需坚持的原则是分析和应用都要结合具体的流程，分析工作开展前要保证数据条件符合业务场景要求。
第二. 工业大数据建模算法的复杂性和过程的反复性使得整个实现过程较为“繁琐和曲折”
在开展工业建模时，虽然基础算法原理和应用方式的变化不大，但运用此类算法的过程却极大程度地“曲折”，往往需要结合业务知识和数据情况将算法嵌入到实际的工业应用场景与逻辑中去，需要模型基于初次的分析结果不断地修正、迭代和完善，以此来提升模型的鲁棒性与准确性。此外，工业过程数据形式的复杂性、数据质量参差不齐等也使得工业大数据分析建模与有效应用的困难度加大。
第三. 工业产业模式及应用场景对工业大数据分析结果的可靠性和决策可指导性要求高，导致工业大数据分析应用的成熟化落地变得困难。
一般情况下，大多数企业的工业现场设备控制、工艺调整、质量管控等都已处在相对优良的阶段，而通过工业数据分析得到的概率性结论和现场实际有一定的偏差。此偏差可能是生产环节本身引起的，也有可能是数据采集环节的数据本身失真引起的，单从数据分析结果角度往往很难发现和解释具体差异引起的原因，导致大家对于分析结果的可靠性存疑。另一方面，企业业务人员对所从事的工业过程/经营管理等业务的认识原本就相对深刻，这就要求工业大数据分析能剖析、给出更深层次的业务实情信息或优化策略，只有分析得到的知识具有更高精度和可靠性时，从业务决策指导层面才具有实用价值，这也是工业大数据分析价值落地应用面临的挑战之一。
因此，工业领域的数据分析重点强调数据分析技术和领域知识融合来获取有价值的知识。当模型涉及到的因素很多、形成真正的复杂多维度问题且机理不清晰时，且往往没足够的数据来建立和验证模型，这时就需要充分利用专业领域知识进行“降维”，力求从有限的数据中分析出足够可靠的结果。
我们在实践中认识到工业大数据分析的瓶颈难点，往往不是计算机存储和处理数据的能力，而是蕴含工业机理的数据关联关系的复杂性。这种复杂性使得传统的数据分析方法难以奏效，无法从数据中获得质量更高、价值更大的知识，如果没有合适的思想和技术手段，面对工业大数据价值的蓝海时，就会无从下手。
Tempo商业智能平台
Tempo人工智能平台
Tempo数据工厂平台
Tempo指标平台
Tempo数据资产管理平台
Tempo主数据管理平台
首页
陕公网安备 61019002000171号
