『壹』 數據質量與數據質量八個維度指標
數據質量與數據質量八個維度指標
數據的質量直接影響著數據的價值，並且直接影響著數據分析的結果以及我們以此做出的決策的質量。質量不高的數據不僅僅是數據本身的問題，還會影響著企業經營管理決策；錯誤的數據還不如沒有數據，因為沒有數據時，我們還會基於經驗和基於常識的判斷來做出不見得是錯誤的決策，而錯誤的數據會引導我們做出錯誤的決策。因此數據質量是企業經營管理數據治理的關鍵所在。
數據的質量可以從八個方面進行衡量，每個維度都從一個側面來反映數據的品相。八個維度分別是：准確性、真實性、完整性、全面性、及時性、即時性、精確性和關聯性。
我們在比較兩個數據集的品相的時候往往採用這種圖形表示。比如說，常規來講內部數據採集的准確性、真實性、完整性高，而全面性、及時性、即時性、精確性和關聯性方面取決於企業內部對數據的重視程度以及採用的技術手段的先進性有關；外部數據集，比如說微博數據、互聯網媒體數據等，其全面性、及時性和即時性都可以通過技術手段，如網路爬蟲等得到提高，但在准確性、真實性、精確性上難以保證，也難以控制，在關聯性方面取決於數據採集和挖掘的相關技術。
我們也可以用這個模型來衡量公司內部各個職能部門數據的品相。下圖是個示意，通過數據質量8大指標的評價，我們可以對企業內部數據治理有針對性地採取措施去提高企業的數據質量。
數據的准確性
數據的准確性（Accuracy）是指數據採集值或者觀測值和真實值之間的接近程度，也叫做誤差值，誤差越大，准確度越低。數據的准確性由數據的採集方法決定的。
數據的精確性
數據的精確性（Precision）是指對同一對象的觀測數據在重復測量時所得到不同數據間的接近程度。精確性，也可以叫精準性。精確性與我們數據採集的精度有關系。精度高，要求數據採集的粒度越細，誤差的容忍程度越低。
測量人的身高，我們可以精確到厘米，多次測量差異只會在厘米級別；測量北京到上海的距離，我們精確到公里，多次測量結果間的差異會在公里級別；採用游標卡尺測量一個零件的厚度，可以精確到1/50毫米，多次測量的結果間的誤差也只會在1/50毫米間。採用的測量方法和手段直接影響著數據的精確性。
數據的真實性
數據的真實性，也叫數據的正確性（Rightness）。數據的正確性取決於數據採集過程的可控程度，可控程度高，可追溯情況好，數據的真實性容易得到保障，而可控程度低或者無法追溯，數據造假後無法追溯，則真實性難以保證。
為了提高數據的真實性，採用無人進行過程干涉的智能終端直接採集數據，能夠更好地保證所採集數據的真實性，減少人為干預，減少數據造假，從而讓數據更加正確地反應客觀事物。
數據的及時性
數據的及時性（In-time）就是數據能否在需要的時候得到保證。我們月初會對上個月的經營和管理數據進行統計匯總，這些數據能否及時處理完成，財務能否在月度關賬後及時核算。數據的及時性是我們數據分析和挖掘及時性的保障。如果公司的財務核算復雜，核算速度緩慢，上個月的數據在月中才能統計匯總完成，等需要調整財務策略的時候，已經到了月底了，一個月已經快過完了。特別是公司做大了之後，業務覆蓋多個市場、多個國家，數據不能及時匯總，會影響到高層決策的及時程度。
數據的及時性與企業數據處理的速度和效率有直接的關系，為了提高數據的及時性，越來越多的公司採用管理信息系統，並在管理信息系統中附加各種自動數據處理功能，能夠在數據上傳系統之後自動完成絕大部分報表，從而保證數據處理的效率。計算機自動處理中間層數據是提高企業數據處理效率的有效手段。
除了保證數據採集的及時性和數據處理的效率問題外，還需要從制度和流程上保證數據傳輸的及時性。數據報表完成了，要及時或者在要求的時間范圍內發送到指定的部門，或者上傳到指定的存儲空間。
數據的即時性
數據的即時性是指數據採集時間節點和數據傳輸的時間節點，一個數據在數據源頭採集後立即存儲，並立即加工呈現，就是即時數據，而經過一段時間之後再傳輸到信息系統中，則數據即時性就稍差。
微博的數據採集，當用戶發布了微博，數據立即能夠被抓取和加工，會生成即時微博數據報告，並隨著時間推移，數據不斷變化，我們可以稱作是即時採集和處理的。一個生產設備的儀表即時反應著設備的溫度、電壓、電流、氣壓等數據，這些數據生成數據流，隨時監控設備的運行狀況，這個數據可以看作是即時數據。而當設備的即時運行數據存儲下來，用來分析設備運行狀況與設備壽命的關系，這些數據就成為歷史數據。
數據的完整性
數據的完整性是從數據採集到的程度來衡量的，是應採集和實際採集到數據之間的比例。一條信息採集12個數據點，如我們採集員工信息數據的時候，要求填寫姓名、出生日期、性別、民族、籍貫、身高、血型、婚姻狀況、最高學歷、最高學歷專業、最高學歷畢業院校、最高學歷畢業時間等12項信息，而某一員工僅僅填寫了部分信息，如只填寫了其中的5項，則該員工所填寫數據的完整性只有一半。
一個公司數據的完整性體現著這個公司對數據的重視程度。要求採集數據而實際上並未完整採集，只採集了一部分，這就是不完整的，往往是公司對數據採集質量要求不到位導致的。公司要求每個人都填寫完整的個人信息表，而有部分員工拒絕填寫，公司2000員工，只有1200人填寫了完整的個人信息表，則這個數據集就是不完整的。
另外，對於動態數據，我們可以從時間軸上去衡量數據採集的完整性。比如，我們要求每小時採集一次數據，每天會形成24個數據點，記錄為24條數據，但是員工瀆職，只記錄了20次，那麼這個數據集也是不完整的。
數據的全面性
數據的全面性和完整性不同，完整性衡量的是應採集和實際採集的差異。而全面性指的是數據採集點的遺漏情況。比如說，我們要採集員工行為數據，我們只採集了員工上班打卡和下班打卡的數據，上班時間的員工行為數據並未採集，或者沒有找到合適的方法來採集。那麼，這個數據集就是不全面的。
我們描述一個產品的包裝，僅僅描述了產品包裝的正面和背面，沒有記錄產品包裝的側面，則就是不全面的。我們記錄一個客戶的交易數據，我們只採集了客戶訂單中的產品、訂單中產品的價格和數量，而沒有採集客戶送貨地址、采購時間，這個數據採集就是不全面的。
騰訊QQ和微信的用戶數據記錄了客戶交流溝通的數據；阿里和京東的用戶數據記錄了用戶的購買交易數據；網路地圖記錄了用戶出行的數據；大眾點評和美團記錄了客戶餐飲娛樂的數據。對於全面描述一個人的生活的衣食住行各方面，這些公司的數據都是不全面的，而如果把他們的數據整合起來，則會形成更加全面的數據。所以說，數據的全面性說一個相對的概念。過度追求數據的全面性說不現實的。
數據的關聯性
數據的關聯性是指各個數據集之間的關聯關系。比如員工工資數據和員工績效考核數據是通過員工這個資源關聯在一起來的，而且績效數據直接關繫到工資的多少。采購訂單數據與生產訂單數據之間通過物料的追溯機制進行關聯，而生產訂單又是由員工完成的，即通過員工作業數據與員工信息數據關聯起來。
其實，我們本書探討的企業大數據，每個數據集都是相關關聯的，有些是直接關聯的，比如員工工資數據和員工績效數據，有些是間接關聯的，比如說物料采購訂單數據與員工工資數據。這些數據的關聯關系是由公司的資源，包括人、財、物和信息等，連接起來的。如果有任何的數據集不能連接到其他的數據集，就會存在數據割裂或者數據孤島。數據割裂和數據孤島是企業數據關聯性不足導致的。而數據的關聯性直接影響到企業數據集的價值。