1. 所謂的大數據指的是什麼
大數據(英語:Big data),又稱為巨量資料,指的是傳統數據處理應用軟體不足以處理它們的大或復雜的數據集的術語。大數據也可以定義為來自各種來源的大量非結構化和結構化數據。從學術角度而言,大數據的出現促成了廣泛主題的新穎研究。這也導致了各種大數據統計方法的發展。大數據並沒有抽樣;它只是觀察和追蹤發生的事情。因此,大數據通常包含的數據大小超出了傳統軟體在可接受的時間內處理的能力。由於近期的技術進步,發布新數據的便捷性以及全球大多數政府對高透明度的要求,大數據分析在現代研究中越來越突出。
2. 大數據是什麼
大數據是什麼意思呢?
如果從字面意思來看,大數據指的是巨量數據。那麼可能有人會問,多大量級的數據才叫大數據?不同的機構或學者有不同的理解,難以有一個非常定量的定義,只能說,大數據的計量單位已經越過TB級別發展到PB、EB、ZB、YB甚至BB級別。
最早提出「大數據」這一概念的 是全球知名咨詢公司麥肯錫,它是這樣定義大數據的:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型以及價值密度低四大特徵。
研究機構Gartner是這樣定義大數據的:「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流轉優化能力來適應海量、高增長率和多樣化的信息資產。若從技術角度來看,大數據的戰略意義不在於掌握龐大的數據,而在於對這些含有意義的數據進行專業化處理,換言之,如果把大數據比作一種產業,那麼這種產業盈利的關鍵在於提高對數據的「加工能力」,通過「加工」實現數據的「增值」。
3. 什麼是大數據
大數據是什麼?其實很簡單,大數據其實就是海量資料巨量資料,這些巨量資料來源於世界各地隨時產生的數據,在大數據時代,任何微小的數據都可能產生不可思議的價值。大數據有4個特點,為別為:Volume(大量)、Variety(多樣)、Velocity(高速)、Value(價值),一般我們稱之為4V。
所謂4V,具體指如下4點:
1.大量。大數據的特徵首先就體現為「大」,從先Map3時代,一個小小的MB級別的Map3就可以滿足很多人的需求,然而隨著時間的推移,存儲單位從過去的GB到TB,乃至現在的PB、EB級別。隨著信息技術的高速發展,數據開始爆發性增長。社交網路(微博、推特、臉書)、移動網路、各種智能工具,服務工具等,都成為數據的來源。淘寶網近4億的會員每天產生的商品交易數據約20TB;臉書約10億的用戶每天產生的日誌數據超過300TB。迫切需要智能的演算法、強大的數據處理平台和新的數據處理技術,來統計、分析、預測和實時處理如此大規模的數據。
2.多樣。廣泛的數據來源,決定了大數據形式的多樣性。任何形式的數據都可以產生作用,目前應用最廣泛的就是推薦系統,如淘寶,網易雲音樂、今日頭條等,這些平台都會通過對用戶的日誌數據進行分析,從而進一步推薦用戶喜歡的東西。日誌數據是結構化明顯的數據,還有一些數據結構化不明顯,例如圖片、音頻、視頻等,這些數據因果關系弱,就需要人工對其進行標注。
大數據
3.高速。大數據的產生非常迅速,主要通過互聯網傳輸。生活中每個人都離不開互聯網,也就是說每天個人每天都在向大數據提供大量的資料。並且這些數據是需要及時處理的,因為花費大量資本去存儲作用較小的歷史數據是非常不劃算的,對於一個平台而言,也許保存的數據只有過去幾天或者一個月之內,再遠的數據就要及時清理,不然代價太大。基於這種情況,大數據對處理速度有非常嚴格的要求,伺服器中大量的資源都用於處理和計算數據,很多平台都需要做到實時分析。數據無時無刻不在產生,誰的速度更快,誰就有優勢。
4. 大數據是什麼意思
大數據指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大家經常聽到“大數據”這個詞,彷彿帶了一個“大”字我們就難以理解其中的含義。那麼,大數據是什麼意思呢?
大數據又稱巨量數據集合,指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據特點
業界將大數據的特徵歸納為4個“V”(量Volume,多樣Variety,價值Value,速Velocity),或者說特點有四個層面:
一,數據體量巨大。
大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T。
二,數據類型繁多。
比如,網路日誌、視頻、圖片、地理位置信息等等。
三,價值密度低,商業價值高。
四,處理速度快。
末尾這一點也是和傳統的數據挖掘技術有著本質的不同。
5. 有誰知道大數據指的是什麼
大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有數據的方法[2])大數據的4V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
說起大數據,就要說到商業智能:
商業智能(Business Intelligence,簡稱:BI),又稱商業智慧或商務智能,指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。
商業智能作為一個工具,是用來處理企業中現有數據,並將其轉換成知識、分析和結論,輔助業務或者決策者做出正確且明智的決定。是幫助企業更好地利用數據提高決策質量的技術,包含了從數據倉庫到分析型系統等。
商務智能的產生發展
商業智能的概念經由Howard Dresner(1989年)的通俗化而被人們廣泛了解。當時將商業智能定義為一類由數據倉庫(或數據集市)、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。
商務智能是20世紀90年代末首先在國外企業界出現的一個術語,其代表為提高企業運營性能而採用的一系列方法、技術和軟體。它把先進的信息技術應用到整個企業,不僅為企業提供信息獲取能力,而且通過對信息的開發,將其轉變為企業的競爭優勢,也有人稱之為混沌世界中的智能。因此,越來越多的企業提出他們對BI的需求,把BI作為一種幫助企業達到經營目標的一種有效手段。
目前,商業智能通常被理解為將企業中現有的數據轉化為知識,幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據,以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是作業層的,也可以是管理層和策略層的決策。
為了將數據轉化為知識,需要利用數據倉庫、線上分析處理(OLAP)工具和數據挖掘等技術。因此,從技術層面上講,商業智能不是什麼新技術,它只是ETL、數據倉庫、OLAP、數據挖掘、數據展現等技術的綜合運用。
把商業智能看成是一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理,以保證數據的正確性,然後經過抽取(Extraction)、轉換(Transformation)和裝載(Load),即ETL過程,合並到一個企業級的數據倉庫里,從而得到企業數據的一個全局視圖,在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理(這時信息變為輔助決策的知識),最後將知識呈現給管理者,為管理者的決策過程提供支持。
企業導入BI的優點
1.隨機查詢動態報表
2.掌握指標管理
3.隨時線上分析處理
4.視覺化之企業儀表版
5.協助預測規劃
導入BI的目的
1.促進企業決策流程(Facilitate the Business Decision-Making Process):BIS增進企業的資訊整合與資訊分析的能力,匯總公司內、外部的資料,整合成有效的決策資訊,讓企業經理人大幅增進決策效率與改善決策品質。
2.降低整體營運成本(Power the Bottom Line):BIS改善企業的資訊取得能力,大幅降低IT人員撰寫程式、Poweruser製作報表的時間與人力成本,而彈性的模組設計介面,完全不需撰寫程式的特色也讓日後的維護成本大幅降低。
3.協同組織目標與行動(Achieve a Fully Coordinated Organization):BIS加強企業的資訊傳播能力,消除資訊需求者與IT人員之間的認知差距,並可讓更多人獲得更有意義的資訊。全面改善企業之體質,使組織內的每個人目標一致、齊心協力。
商業智能領域的技術應用
商業智能的技術體系主要有數據倉庫(Data Warehouse,DW)、聯機分析處理(OLAP)以及數據挖掘(Data Mining,DM)三部分組成。
數據倉庫是商業智能的基礎,許多基本報表可以由此生成,但它更大的用處是作為進一步分析的數據源。所謂數據倉庫(DW)就是面向主題的、集成的、穩定的、不同時間的數據集合,用以支持經營管理中的決策制定過程。多維分析和數據挖掘是最常聽到的例子,數據倉庫能供給它們所需要的、整齊一致的數據。
在線分析處理(OLAP)技術則幫助分析人員、管理人員從多種角度把從原始數據中轉化出來、能夠真正為用戶所理解的、並真實反映數據維特性的信息,進行快速、一致、交互地訪問,從而獲得對數據的更深入了解的一類軟體技術。
數據挖掘(DM)是一種決策支持過程,它主要基於AI、機器學習、統計學等技術,高度自動化地分析企業原有的數據,做出歸納性的推理,從中挖掘出潛在的模式,預測客戶的行為,幫助企業的決策者調整市場策略,減少風險,做出正確的決策。
商業智能的應用范圍
1.采購管理
2.財務管理
3.人力資源管理
4.客戶服務
5.配銷管理
6.生產管理
7.銷售管理
8.行銷管理
商業智能實施步驟
商業智能系統處理流程[1]
商業智能(BI)作為一個概念,描述與業務緊密結合,並且根據需要進行相關特性展示和數據處理的過程。
為了讓數據「活」起來,往往需要利用數據倉庫、數據挖掘、報表設計與展示、聯機在線分析(OLAP)等技術。數據或者數據源包含的種類繁多,例如存儲在關系型資料庫中的,在外圍數據文件中的,在業務流中實時產生存儲在內存中的等等。而商業智能最終能夠輔助的業務經營決策,既可以是操作層的,也可以是戰術層和戰略層的決策。
這些分析有財務管理、點擊流分析(Clickstream)、供應鏈管理、關鍵績效指標(Key Performance Indicators, KPI)、客戶分析等。商業智能關注的是,從各種渠道(軟體,系統,人,等等)發掘可執行的戰略信息。商業智能用的工具有抽取(Extraction)、轉換(Transformation)和載入(Load)軟體(搜集數據,建立標準的數據結構,然後把這些數據存在另外的資料庫中)、數據挖掘和在線分析(Online Analytical Processing,允許用戶容易地從多個角度選取和察看數據)等 。
商業智能系統的功能
商業智能系統應具有的主要功能:
數據倉庫:高效的數據存儲和訪問方式。提供結構化和非結構化的數據存儲,容量大,運行穩定,維護成本低,支持元數據管理,支持多種結構,例如中心式數據倉庫,分布式數據倉庫等。存儲介質能夠支持近線式和二級存儲器。能夠很好的支持現階段容災和備份方案。
數據ETL:數據ETL支持多平台、多數據存儲格式(多數據源,多格式數據文件,多維資料庫等)的數據組織,要求能自動化根據描述或者規則進行數據查找和理解。減少海量、復雜數據與全局決策數據之間的差距。幫助形成支撐決策要求的參考內容。
數據統計輸出(報表):報表能快速的完成數據統計的設計和展示,其中包括了統計數據表樣式和統計圖展示,可以很好的輸出給其他應用程序或者Html形式表現和保存。對於自定義設計部分要提供簡單易用的設計方案,支持靈活的數據填報和針對非技術人員設計的解決方案。能自動化完成輸出內容的發布。
分析功能:可以通過業務規則形成分析內容,並且展示樣式豐富,具有一定的交互要求,例如預警或者趨勢分析等。要支持多維度的聯機在線分析(OLAP分析),實現維度變化、旋轉、數據切片和數據鑽取等。幫助決策做出正確的判斷。
典型的商業智能系統
典型的商業智能系統有:
客戶分析系統、菜籃分析系統、反洗錢系統、反詐騙系統、客戶聯絡分析系統、市場細分系統、信用計分系統、產品收益系統、庫存運作系統以及與商業風險相關的應用系統等。
[編輯]商業智能解決方案廠商
提供商業智能解決方案的著名IT廠商包括微軟、IBM、Oracle、Microstrategy、Business Objects、Cognos、SAS等
最後,希望你關注一下FineBI,帆軟軟體的大數據解決方案,我看了,還是很不錯的