① 质量数据收集方法
1、确定数据收集的目的,然后选择数据收集的方法。按数据量分,分为两种:全数收集,抽样收集。
2、全数收集:就是字面意思,每一个数据都收集下来,收集方法,电脑,纸上记录
3、抽样收集:在质量上一般全数收集数据是不太现实。有些产品量大、测量复杂、数据采集有可能涉及破坏性等等,这时候我们一般都采用抽样的方法进行数据收集。
4、抽样又分为:简单随机抽样、分层抽样、等距抽样、整体抽样等等
5、抽样收集数据后,可以使用各种质量工具进行分析,推断产品整体的质量情况
② 如何进行质量数据分析
深入探索质量数据分析策略,结合现代计算机科学、工业统计与大数据技术,以及行业质量管理的最佳实践,我们的方案旨在提升效率、降低成本、预测未知并促进科学决策,以增强持续盈利能力。此方案采用实时质量风险预警、质量大数据分析、智能报告、自动化分析程序等组件,为业务提供实时洞察。
具体特性包括移动端界面设计,确保用户在任何时间、任何地点都能获取关键信息。
方案设计特色鲜明,集实时监控、异常自动标记、动态显示与自动化报表生成于一体,以自定义首页监控项目为核心,提供全方位的管理视图。
统计过程控制(SPC)工具通过数理统计方法,实时监控生产过程,预测并消除系统性因素的影响,确保质量控制处于受控状态。实时SPC监控、控制图、过程能力分析、样本运行图、均值运行图、正态检验、CPK趋势图、合格率趋势图、方差分析以及物料-检测项目清单,均是SPC分析的重要组成部分,旨在提供深入的质量数据分析。
质量分析涵盖了分类、设计特点、方差分析、分布分析、相关分析与机器学习等关键领域。方差分析(ANOVA)作为统计假设检定的一种,评估实验数据中的差异显著性。分布分析则关注产品变动的分布状态,识别质量波动的原因。相关分析研究标志间的因果关系,而机器学习则是从数据中自动学习模式并预测未知结果的算法。
方案采用Python实现,提供全面的质量业务分析功能,尤其在机器学习应用方面。然而,关键在于如何将业务分析与机器学习策略有效结合,这需要业务部门的深度参与与定制化分析方法的开发,以充分发挥机器学习的潜力。此方案旨在助力质量数据分析的全面升级,期待能为用户带来实际价值。
③ 数据质量控制通常做法
数据质量控制通常做法如下:
步骤一:探查数据内容、结构和异常
第一步是探查数据以发现和评估数据的内容、结构和异常。通过探查,可以识别数据的优势和弱势,帮助企业确定项目计划。一个关键目标就是明确指出数据错误和问题,例如将会给业务流程带来威胁的不一致和冗余。
步骤二:建立数据质量度量并明确目标
Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准,用户可以在数据质量记分卡中跟踪度量标准的达标情况,并通过电子邮件发送URL来与相关人员随时进行共享。
步骤三:设计和实施数据质量业务规则
明确企业的数据质量规则,即,可重复使用的业务逻辑,管理如何清洗数据和解析用于支持目标应用字段和数据。业务部门和IT部门通过使用基于角色的功能,一同设计、测试、完善和实施数据质量业务规则,以达成最好的结果。
步骤四:将数据质量规则构建到数据集成过程中
Informatica Data Quality支持普遍深入的数据质量控制,使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。
数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成,可用来执行探查、清洗、标准化、名称与地址匹配以及监测。
步骤五:检查异常并完善规则
在执行数据质量流程后,大多数记录将会被清洗和标准化,并达到企业所设定的数据质量目标。然而,无可避免,仍会存在一些没有被清洗的劣质数据,此时则需要完善控制数据质量的业务规则。Informatica Data Quality可捕获和突显数据质量异常和异常值,以便更进一步的探查和分析。
步骤六:对照目标,监测数据质量
数据质量控制不应为一次性的“边设边忘”活动。相对目标和在整个业务应用中持续监测和管理数据质量对于保持和改进高水平的数据质量性能而言是至关重要的。
Informatica Data Quality包括一个记分卡工具,而仪表板和报告选项则具备更为广泛的功能,可进行动态报告以及以更具可视化的方式呈现。
数据质量控制流程
第一阶段:启动
在这个阶段我们需要根据所在机构的现行组织架构和工作规范基础上,建立一套质量管控流程和规范。如建立质量管控委员会、制定质量管控管控办法等。
质量管控委员会不必是全职,可由现有组织中如信息中心相关人员兼任。数据质量管控办法,则应明确质量管控的角色、职责,建立可执行的工作流程、可量化的工作评估方法,同时也应具备绩效考核、冲突解决与管控方式等。
有了流程和规范后,相应的责任人就应明确本轮质量管控的目标。如:数据质量提升范围,或者是满足一些业务的预期。目标制定完成后我们就可以进入下一个执行阶段了。
第二阶段:执行
进入执行阶段,我们就要开始具体的质量管控工作,整个工作应该围绕启动阶段制定的目标进行。这时我们应该适当引入一些质量管控工具来帮助我们更高效地完成我们的工作。
第三阶段:检查
检查阶段,主要是对执行阶段的成果进行检查并分析原因。
第四阶段:处理(本环节一般包括以下2个方面):
1、监控数据质量,控制管理程序和绩效
根据既定的操作程序,对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点的制定不同的评分标准,有针对性地进行评价和管控,如整改初期数据缺失严重,则可对完整性规则权重调大,以期更快看到成效或者达到更好的效果。
2、建立质量控制意识与文化
在这里沟通与推广是重点,要让所有参与者了解数据质量问题和其实质影响,宣贯系统化的数据质量管控方法,同时挖掘对各个环节参与者的价值,尤其是业务方,传达一种“数据质量问题不能只靠技术手段解决”的意识。最终形成一种数据质量的管理的文化。