『壹』 數據倉庫,大數據和雲計算有什麼區別和聯系
您好,上海藍盟為您解答。
首先簡單的看一下雲計算與大數據的概念.
1)雲計算:雲計算本質上是一種計算資源集中分布和充分共享的效用計算模式,其中集中是為了計算資源的集約化管理,分布是便於擴展計算能力.集中分布式是針對雲服務提供商的,充分共享是針對用戶,在雲計算中,雖然對於每個雲用戶來說都擁有一台超級計算機,但本質上,這些用戶是充分共享了雲服務商所提供的計算服務.而效用計算更多的是一種商業模式,就是用戶按所需服務來付費.
2)在前面的博文中,對大數據有個討論,簡單的說,大數據的特點就是數據量大(雖然很多人都把大數據定義在T級別以上,其實我覺得這是有問題的,大數據的大其實應該是個相對概念,是相對於當前的存儲技術和計算能力的),數據應用需求大,計算量大.數據量大是最基本的,需求大其實包含了需求的數量、多樣性和實時性.計算量大是因為數據量大和需求量大和演算法復雜(檢索,推薦,模式識別)所致.大數據的這種特點使得我們很難找到通用的處理模式來解決大數據所面臨的問題,我們只能針對不同的需求採用不同的處理方法,這也是大數據處理比較困難的症結所在。無論是傳統的資料庫還是最近興起的NoSQL資料庫,在大數據存儲和處理方面其實都是有非常大的局限性的,所以分布式計算才在大數據處理中大興其道。Hadoop雖然提供了比較完整的一套處理模式,但相對於大數據所面臨的應用需求的多樣性而言,能處理的問題域也是十分有限的。
資料庫和數據倉庫的概念,大家google一下就可以了,接下來,我們看看它們之間的關系:
1)資料庫和數據倉庫都是數據的一種存儲方式,大數據處理更多的是一種需求(問題),而雲計算是一種比較綜合的需求(問題)解決方案。
2)由於雲計算本身的特性,天生就面臨大數據處理(存儲、計算等)問題,因為雲計算的基本架構模式是C/S模式,其中S相對集中,而C是廣泛分布。所有用戶的數據和絕大部分的計算都是在S端完成的(數據量大,計算量大),加上用戶也天然具有多樣性(地域,文化,需求,個性化等),因此需求(也包括計算量)就非常大。
3)雲計算當然會涉及到數據的存儲技術,但資料庫技術對於雲計算來說要視具體的情況來分析:
A)對於IaaS而言,資料庫技術不是必需的,也不是必備的功能;
B)對於PaaS來說,資料庫功能應該是必備的功能
C)對於SaaS而言,必然會用到資料庫技術(包括傳統關系資料庫和NoSQL資料庫)。
而對於數據倉庫技術,並不是雲計算所必需的,但由於雲數據的信息價值極大,類似一座金礦,我想雲服務商是不可能放過從這些金礦中提取金子的.
4)大數據首先所面臨的問題就是大數據的存儲問題,一般都會綜合運用各種存儲技術(文件存儲,資料庫存儲),當然,你完全用文件存儲或者資料庫存儲來解決,也是沒問題的。與雲計算類似,數據倉庫技術不是必需的,但對於數據倉庫技術對於結構化數據進行淘金還是非常有用的,當然,你不用數據倉庫技術也可以,比如Hadoop模式。
在雲計算和大數據處理中,最基礎的技術其實是分布式計算技術。而對於構建分布式計算而言,多線程,同步,遠程調用(RPC,RMI等),進程管理與通信是其基本技術點。分布式計算編程是一種綜合性應用編程,不僅需要有基本的技術點,還需要一定的組織管理知識。
就目前來說,雲計算和大數據處理其實都沒有形成一個統一的標准和定義。希望我的回復對您有所幫助。
『貳』 哪位大哥能解釋大數據與數據倉庫之間的關系(求告知)
相較而言,大數據數據量和一般數據倉庫數據量不在一個量級;大數據的數據類型偏多,任何的信息都能成為數據;
大數據中存在的價值較高,但如果沒有準確的分析挖掘,還是白扯
『叄』 大數據的影響
大數據將會對社會發展產生深遠的影響,具體表現在以下幾個方面:大數據決策成為一種新的決策方式;大數據成為提升國家治理能力的新途徑;大數據應用促進信息技術與各行業的深度融合;大數據開發推動新技術和新應用的不斷涌現。
有專家指出,大數據將會在未來10年改變幾乎每一個行業的業務功能。互聯網、銀行、保險、交通、材料、能源、服務等行業領域,不斷累積的大數據將加速推進這些行業與信息技術的深度融合,開拓行業發展的新方向。比如,大數據可以幫助快遞弊宴公司選擇運費成本最低的最佳行車路徑,協助投資者選擇收益最大化的股票投資組合,輔助零售商有效定位目標客戶群體,幫助互聯網公司實現廣告精準投放,還可以讓電力公司做好配送電計劃確保電網安全等。總之,大數據所觸及的每個角落,我們的社會生產和生活都會因之而發生巨大而深刻的變化。
4.大數據開發推動新技術和新應用的不斷唯攔涌現
大數據的應用需求,是大數據新技術開發的源泉。在各種應用需求的強烈驅動下,各種突破性的大數據技術將被不斷提出並得到廣泛應用,數據的能量也將不斷得到釋放。在不遠的將來,原來那些依靠人類自身判斷力的領域應用,將逐漸被各種基於大數據的應用所取代。比如,今天的汽車保險公司,只能憑借少量的車主信息,對客戶進行簡單類別劃分,並根據客戶的汽車出險次數給予相應的保費優惠方案,客戶選擇哪家保險公司都沒有太大差別。隨著車聯網的出現,「汽車大數據」將會深刻改變汽車保險業的商業模式,如果某家商業保險公司能夠獲取客戶車輛的相關細節信息,並利用事先構建的數學模型對客戶等級進行更加細致的判定,給予更加個性化的「一對一」優惠方案,那麼,毫無疑問,這家保險公司將具備明顯的市場競爭優勢,獲得更多客戶的青睞。
『肆』 誰能說說數據倉庫,數據挖掘,BI三者之間的區別和聯系的相關推薦
數據倉庫(DW)屬於BI的一部分,一般來說DW就是BI這個房子的地基了. 做好DW才好進而分析利用內,讓數據容產生價值. DW沒做好,整個BI項目很容易垮掉.
BI包括ETL, DW和相應的Reporting System. 因為現在一般的公司動不動說上個BI系統,都是要從DW建模開始做,然後做ETL,最後做對應的Reporting System. 雖然最終領導們只看到了他們想要的報表,但是這一套系統是需要DW和ETL的支持的。
數據挖掘(DM)是一門新興的技術,在BI 中會常用到數據挖掘的技術。數據挖掘涉及到的是資料庫、統計學、機器學習、數據分析、可視化等等。
三者之間緊密聯系,但是屬於三個不同的概念范疇。
『伍』 數據倉庫和大數據一樣嗎,概念好抽像啊
不一樣。
數據倉庫,是為企業所有級別的決策制定過程,提供所有類型數據版支持的戰權略集合。它是單個數據存儲,出於分析性報告和決策支持目的而創建。 為需要業務智能的企業,提供指導業務流程改進、監視時間、成本、質量以及控制。
大數據,是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。大數據不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有數據進行分析處理。大數據的5V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)Veracity(真實性)。
從我個人的理解來說,數據倉庫是個體的數據存儲,是分散的;而大數據是一個集合概念,它的目的在於准確的分析和定位。比如,你打開經常用的瀏覽器會發現網頁上很多推薦都是你曾經瀏覽過的,或者是你比較感興趣的,這就是大數據的應用。
以上,希望幫到你!