1. 数据调查的具体方法是什么
一 业务调研
数据仓库是要涵盖所有业务领域,还是各个业务领域独自建设,业务领域内的业务线也同样面临着这个问题。所以要构建大数据数据仓库,就需要了解各个业务领域、业务线的业务有什么共同点和不同点,以及各个业务线可以细分为哪几个业务模块,每个业务模块具体的业务流程又是怎样的。业务调研是否充分,将会直接决定数据仓库建设是否成功。
二 需求调研
了解业务系统的业务后不等于说就可以实施数仓建设了,还需要收集数据使用者的需求,及找分析师、运营人员、产品人员等了解他们对数据的诉求。通常需求调研分下面两种途径:
1. 根据与分析师、运营人员、产品人员的沟通获取需求。
2. 对现有报表、数据进行研究分析获取数据建设需求。
三 数据调研
前期需要做好数据探查工作,需要了解数据库类型,数据来源,全量数据情况及数据每年增长情况,更新机制;还需要了解数据是否结构化,是否清洗,是接口调用还是直接访问库,有哪些类型的数据,数据结构之怎样的。
数据开发,模型建设之前,先了解数据结构,数据内容,数据特性,对数据有一个整体把控
探查一下本次需求能不能实现,怎么实现,有没有隐藏bug,数据质量如何
2. 品质数据的确认方法有哪些
QC检验时一般有三种检验方式正常检验(NormalInspectin):产线品质较稳定无厂外退货与客诉。通常采取此种方式检验。
加严检验:(TightenedInspection):
1)新机种投产,品质无把握时;
2)新产线作业,品质不稳定时;
3)客户抱怨时,当有客户抱怨某机种有某种不良时,OQC则应清查库存加严重验并对产线后续入库之产品,连续三批须加严抽验,若五批后,再无厂内/外及客诉则转为正常检验。
减量检验:(RecedInspection)稳定之产品,制程不良率低,无厂内,厂外退货及客诉,长期生产可减量检验。
三者之间的转换条件为:N(正常检验)转换成T(加严检验):连续五批中有两批拒收。T(加严检验)转换成N(正常检验):连续五批合格。
N(正常检验)转换成R(减量检验):连续十批合格。
R(减量检验)转换成N(正常检验):十批中有一批拒收。若连续五批不合格则中止检验。
3。入库数量在150PCS以下须全检,若入库为200PCS,QC人员应视情况而定,也须全检。
4。对新产线,新客户之新料号或老客户之新料品质无保证的情况下,QC须跟产线全检。
5。抽样数及允收数详见《抽样计划》
3. 关于数据人工核查请教
录入之后。数据核查方法包括人工核查和系统核查,以系统核查为主。1.
系统核查是指用SAS
X.X
软件编写核查程序,运行程序对数据进行系统核查并产生数据疑问数据。2.
人工核查内容根据双方确认的DMP及DVP确定,一般主要包括安全性数据核查(不良事件、合并用药)、CRF内容修改的研究者签名和日期及系统核查难以核查的其它异常情况。举例:程序员根据Check
Specification,编写程序,对数据库中的数据进行核查,产生疑问数据;再由数据管理人员,对疑问数据进行Review和人工核查,将确定需要研究者核实、订正、补充等的疑问数据发出质疑。