⑴ 大數據模型建模方法
以下是常見的大數據模型建模方法:
⑵ 創建有效的大數據模型的6個技巧
創建有效的大數據模型的6個技巧
數據建模是一門復雜的科學,涉及組織企業的數據以適應業務流程的需求。它需要設計邏輯關系,以便數據可以相互關聯,並支持業務。然後將邏輯設計轉換成物理模型,該物理模型由存儲數據的存儲設備、資料庫和文件組成。
歷史上,企業已經使用像SQL這樣的關系資料庫技術來開發數據模型,因為它非常適合將數據集密鑰和數據類型靈活地鏈接在一起,以支持業務流程的信息需求。
不幸的是,大數據現在包含了很大比例的管理數據,並不能在關系資料庫上運行。它運行在像NoSQL這樣的非關系資料庫上。這導致人們認為可能不需要大數據模型。
問題是,企業確實需要對大數據進行數據建模。
以下是大數據建模的六個提示:
1.不要試圖將傳統的建模技術強加於大數據
傳統的固定記錄數據在其增長中穩定且可預測的,這使得建模相對容易。相比之下,大數據的指數增長是不可預測的,其無數形式和來源也是如此。當網站考慮建模大數據時,建模工作應該集中在構建開放和彈性數據介面上,因為人們永遠不知道何時會出現新的數據源或數據形式。這在傳統的固定記錄數據世界中並不是一個優先事項。
2.設計一個系統,而不是一個模式
在傳統的數據領域中,關系資料庫模式可以涵蓋業務對其信息支持所需的數據之間的大多數關系和鏈接。大數據並非如此,它可能沒有資料庫,或者可能使用像NoSQL這樣的資料庫,它不需要資料庫模式。
正因為如此,大數據模型應該建立在系統上,而不是資料庫上。大數據模型應包含的系統組件包括業務信息需求、企業治理和安全、用於數據的物理存儲、所有類型數據的集成、開放介面,以及處理各種不同數據類型的能力。
3.尋找大數據建模工具
有商業數據建模工具可以支持Hadoop以及像Tableau這樣的大數據報告軟體。在考慮大數據工具和方法時,IT決策者應該包括為大數據構建數據模型的能力,這是要求之一。
4.關注對企業的業務至關重要的數據
企業每天都會輸入大量的數據,而這些大數據大部分是無關緊要的。創建包含所有數據的模型是沒有意義的。更好的方法是確定對企業來說至關重要的大數據,並對這些數據進行建模。
5.提供高質量的數據
如果組織專注於開發數據的正確定義和完整的元數據來描述數據來自何處、其目的是什麼等等,那麼可以對大數據模型產生更好的數據模型和關系。可以更好地支持支持業務的數據模型。
6.尋找數據的關鍵切入點
當今最常用的大數據載體之一就是地理位置,這取決於企業的業務和行業,還
有其他用戶需要的大數據常用密鑰。企業越能夠識別數據中的這些常用入口點,就越能夠設計出支持企業關鍵信息訪問路徑的數據模型。