大資料庫計算

Ⅰ 大型資料庫的設計原則與開發技巧

隨著計算機技術越來越廣泛地應用於國民經濟的各個領域 在計算機硬體不斷微型化的同時 應用系統向著復雜化 大型化的方向發展 資料庫是整個系統的核心 它的設計直接關系系統執行的效率和系統的穩定性 因此在軟體系統開發中 資料庫設計應遵循必要的資料庫範式理論 以減少冗餘 保證數據的完整性與正確性 只有在合適的資料庫產品上設計出合理的資料庫模型 才能降低整個系統的編程和維護難度 提高系統的實際運行效率 雖然對於小項目或中等規模的項目開發人員可以很容易地利用範式理論設計出一套符合要求的資料庫 但對於一個包含大型資料庫的軟體項目 就必須有一套完整的設計原則與技巧

一 成立數據小組

大型資料庫數據元素多 在設計上有必要成立專門的數據小組 由於資料庫設計者不一定是使用者 對系統設計中的數據元素不可能考慮周全 資料庫設計出來後 往往難以找到所需的庫表 因此數據小組最好由熟悉業務的項目骨幹組成

數據小組的職能並非是設計資料庫 而是通過需求分析 在參考其他相似系統的基礎上 提取系統的基本數據元素 擔負對資料庫的審核 審核內容包括審核新的資料庫元素是否完全 能否實現全部業務需求 對舊資料庫（如果存在舊系統）的分析及數據轉換 資料庫設計的審核 控制及必要調整

二 設計原則

規范命名 所有的庫名 表名 域名必須遵循統一的命名規則 並進行必要說明 以方便設計 維護 查詢

控制欄位的引用 在設計時 可以選擇適當的資料庫設計管理工具 以方便開發人員的分布式設計和數據小組的集中審核管理 採用統一的命名規則 如果設計的欄位已經存在 可直接引用 否則 應重新設計

庫表重復控制 在設計過程中 如果發現大部分欄位都已存在 開發人員應懷疑所設計的庫表是否已存在 通過對欄位所在庫表及相應設計人員的查詢 可以確認庫表是否確實重復

並發控制 設計中應進行並發控制 即對於同一個庫表 在同一時間只有一個人有控制權 其他人只能進行查詢

必要的討論 資料庫設計完成後 數據小組應與相關人員進行討論 通過討論來熟悉資料庫 從而對設計中存在的問題進行控制或從中獲取資料庫設計的必要信息

數據小組的審核 庫表的定版 修改最終都要通過數據小組的審核 以保證符合必要的要求

頭文件處理 每次數據修改後 數據小組要對相應的頭文件進行修改（可由管理軟體自動完成） 並通知相關的開發人員 以便進行相應的程序修改

三 設計技巧

分類拆分數據量大的表 對於經常使用的表（如某些參數表或代碼對照表） 由於其使用頻率很高 要盡量減少表中的記錄數量 例如 銀行的戶主賬表原來設計成一張表 雖然可以方便程序的設計與維護 但經過分析發現 由於數據量太大 會影響數據的迅速定位 如果將戶主賬表分別設計為活期戶主賬 定期戶主賬及對公戶主賬等 則可以大大提高查詢效率

索引設計 對於大的資料庫表 合理的索引能夠提高整個資料庫的操作效率 在索引設計中 索引欄位應挑選重復值較少的欄位 在對建有復合索引的欄位進行檢索時 應注意按照復合索引欄位建立的順序進行 例如 如果對一個 萬多條記錄的流水表以日期和流水號為序建立復合索引 由於在該表中日期的重復值接近整個表的記錄數 用流水號進行查詢所用的時間接近 秒 而如果以流水號為索引欄位建立索引進行相同的查詢 所用時間不到 秒 因此在大型資料庫設計中 只有進行合理的索引欄位選擇 才能有效提高整個資料庫的操作效率

數據操作的優化 在大型資料庫中 如何提高數據操作效率值得關注 例如 每在資料庫流水表中增加一筆業務 就必須從流水控製表中取出流水號 並將其流水號的數值加一 正常情況下 單筆操作的反應速度尚屬正常 但當用它進行批量業務處理時 速度會明顯減慢 經過分析發現 每次對流水控製表中的流水號數值加一時都要鎖定該表 而該表卻是整個系統操作的核心 有可能在操作時被其他進程鎖定 因而使整個事務操作速度變慢 對這一問題的解決的辦法是 根據批量業務的總筆數批量申請流水號 並對流水控製表進行一次更新 即可提高批量業務處理的速度 另一個例子是對插表的優化 對於大批量的業務處理 如果在插入資料庫表時用普通的Insert語句 速度會很慢 其原因在於 每次插表都要進行一次I/O操作 花費較長的時間 改進後 可以用Put語句等緩沖區形式等滿頁後再進行I/O操作 從而提高效率 對大的資料庫表進行刪除時 一般會直接用Delete語句 這個語句雖然可以進行小表操作 但對大表卻會因帶來大事務而導致刪除速度很慢甚至失敗 解決的方法是去掉事務 但更有效的辦法是先進行Drop操作再進行重建

資料庫參數的調整 資料庫參數的調整是一個經驗不斷積累的過程 應由有經驗的系統管理員完成 以Informix資料庫為例 記錄鎖的數目太少會造成鎖表的失敗 邏輯日誌的文件數目太少會造成插入大表失敗等 這些問題都應根據實際情況進行必要的調整

必要的工具 在整個資料庫的開發與設計過程中 可以先開發一些小的應用工具 如自動生成庫表的頭文件 插入數據的初始化 數據插入的函數封裝 錯誤跟蹤或自動顯示等 以此提高資料庫的設計與開發效率

避免長事務 對單個大表的刪除或插入操作會帶來大事務 解決的辦法是對參數進行調整 也可以在插入時對文件進行分割 對於一個由一系列小事務順序操作共同構成的長事務（如銀行交易系統的日終交易） 可以由一系列操作完成整個事務 但其缺點是有可能因整個事務太大而使不能完成 或者 由於偶然的意外而使事務重做所需的時間太長 較好的解決方法是 把整個事務分解成幾個較小的事務 再由應用程序控制整個系統的流程 這樣 如果其中某個事務不成功 則只需重做該事務 因而既可節約時間 又可避免長事務

適當超前 計算機技術發展日新月異 資料庫的設計必須具有一定前瞻性 不但要滿足當前的應用要求 還要考慮未來的業務發展 同時必須有利於擴展或增加應用系統的處理功能

Ⅱ 大數據庫和資料庫到底有什麼區別和聯系

大數據本質是一種概念，既數據體量大纖緩、數據格式復雜培世、數據來源廣。而資料庫則是一種具體的計算機技術，用來存儲數據，常見的資料庫有Mysql資料庫、Oracle資料庫等，底層還是基於磁碟來進行存儲。

從大數據在引申出來的技術，比如數據量大的情況，怎麼存儲數據，以及怎麼對這些數據進行加工處理。像現在HBase大數據組件，主要是針對大數據存儲的，HadoopMapRece計算框架、Spark計算框架等，則是針對大數據計算的。

大數據與資料庫之間的關系，從大數據涉及到的技術中，包括資料庫技術。因為在大數據情況下，也需要存儲這些數據，此時就需要使用到資料庫。當然，大數據技術存儲數據不僅僅能夠使用到資料庫，還可以使用分布式文件系統，比如HDFS分布式文件系統，亞馬遜的S3等。

同時，在大數據所涉及到的技術中，也包括了大數據計算、數據的展示等等。所以從技術領域來區分，大數據的技術會更廣，而資料庫技術則是更加配豎肢的具體，就是用來存儲數據。

目前在國內互聯網公司而言，大數據方面資料庫使用最多的還是HBase列式資料庫。比如阿里巴巴，其內部有很多使用HBase列式資料庫的場景。HBase資料庫支持水平擴展，同時由於其採用LSM架構，天然的對數據寫入支持非常好，因為是對磁碟進行追加寫的模式，這比對內存隨機寫要更加的快速。

不僅僅是阿里，像在小米其實也有很多使用HBase列式資料庫的場景，當然，其他小公司也在使用。所以在未來，我認為HBase列式資料庫的發展前景非常好，畢竟也有互聯網大廠在使用，開源社區方面也有它們在推動發展。如果你想學習一門大數據方面的資料庫技術的話，我推薦你可以學習HBase。

我是Lake，專注大數據技術原理、人工智慧、資料庫技術、程序員經驗分享，如果我的問答對你有幫助的話，希望你能點贊

Ⅲ 大數據是指什麼

大數據又稱為巨量資料，指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。「大數據」概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出，指不用隨機分析法（抽樣調查）的捷徑，而是採用所有數據進行分析處理。大數據有4V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

對於「大數據」（Big data）研究機構Gartner給出了這樣的定義。「大數據」是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
根據維基網路的定義，大數據是指無法在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合。
大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。換言之，如果把大數據比作一種產業，那麼這種產業實現盈利的關鍵，在於提高對數據的「加工能力」，通過「加工」實現數據的「增值」。
從技術上看，大數據與雲計算的關系就像一枚硬幣的正反面一樣密不可分。大數據必然無法用單台的計算機進行處理，必須採用分布式架構。它的特色在於對海量數據進行分布式數據挖掘，但它必須依託雲計算的分布式處理、分布式資料庫和雲存儲、虛擬化技術。
隨著雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。《著雲台》的分析師團隊認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型資料庫用於分析時會花費過多時間和金錢。大數據分析常和雲計算聯繫到一起，因為實時的大型數據集分析需要像MapRece一樣的框架來向數十、數百或甚至數千的電腦分配工作。
大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用於大數據的技術，包括大規模並行處理（MPP）資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。
最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
它們按照進率1024（2的十次方）來計算：
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
特徵
容量（Volume）：數據的大小決定所考慮的數據的價值的和潛在的信息；
種類（Variety）：數據類型的多樣性；
速度（Velocity）：指獲得數據的速度；
可變性（Variability）：妨礙了處理和有效地管理數據的過程。
真實性（Veracity）：數據的質量
復雜性（Complexity）：數據量巨大，來源多渠道
意義
有人把數據比喻為蘊
藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是成為贏得競爭的關鍵。
大數據的價值體現在以下幾個方面：1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷;2) 做小而美模式的中長尾企業可以利用大數據做服務轉型;3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值。

Ⅳ 大數據技術包括哪些

大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。

1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。

2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，

3、基礎架構：雲存儲、分布式文件存儲等。

4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標簽雲、關系圖等。

Ⅳ 大數據資料庫有哪些

問題一：大數據技術有哪些 非常多的，問答不能發link，不然我給你link了。有譬如Hadoop等開源大數據項目的，編程語言的，以下就大數據底層技術說下。
簡單以永洪科技的技術說下，有四方面，其實也代表了部分通用大數據底層技術：
Z-Suite具有高性能的大數據分析能力，她完全摒棄了向上升級(Scale-Up)，全面支持橫向擴展(Scale-Out)。Z-Suite主要通過以下核心技術來支撐PB級的大數據：
跨粒度計算(In-Databaseputing)
Z-Suite支持各種常見的匯總，還支持幾乎全部的專業統計函數。得益於跨粒度計算技術，Z-Suite數據分析引擎將找尋出最優化的計算方案，繼而把所有開銷較大的、昂貴的計算都移動到數據存儲的地方直接計算，我們稱之為庫內計算(In-Database)。這一技術大大減少了數據移動，降低了通訊負擔，保證了高性能數據分析。
並行計算(MPP puting)
Z-Suite是基於MPP架構的商業智能平台，她能夠把計算分布到多個計算節點，再在指定節點將計算結果匯總輸出。Z-Suite能夠充分利用各種計算和存儲資源，不管是伺服器還是普通的PC，她對網路條件也沒有嚴苛的要求。作為橫向擴展的大數據平台，Z-Suite能夠充分發揮各個節點的計算能力，輕松實現針對TB/PB級數據分析的秒級響應。
列存儲 (Column-Based)
Z-Suite是列存儲的。基於列存儲的數據集市，不讀取無關數據，能降低讀寫開銷，同時提高I/O 的效率，從而大大提高查詢性能。另外，列存儲能夠更好地壓縮數據，一般壓縮比在5 -10倍之間，這樣一來，數據佔有空間降低到傳統存儲的1/5到1/10 。良好的數據壓縮技術，節省了存儲設備和內存的開銷，卻大大了提升計算性能。
內存計算
得益於列存儲技術和並行計算技術，Z-Suite能夠大大壓縮數據，並同時利用多個節點的計算能力和內存容量。一般地，內存訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過內存計算，CPU直接從內存而非磁碟上讀取數據並對數據進行計算。內存計算是對傳統數據處理方式的一種加速，是實現大數據分析的關鍵應用技術。

問題二：大數據使用的資料庫是什麼資料庫 ORACLE、DB2、SQL SERVER都可以，關鍵不是選什麼資料庫，而是資料庫如何優化！ 需要看你日常如何操作，以查詢為主或是以存儲為主或2者，還要看你的數據結構，都要因地制宜的去優化！所以不是一句話說的清的！

問題三：什麼是大數據和大數據平台 大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。
大數據平台是為了計算，現今社會所產生的越來越大的數據量。以存儲、運算、展現作為目的的平台。

問題四：常用大型資料庫有哪些 FOXBASE
MYSQL
這倆可算不上大型資料庫管理系統
PB 是資料庫應用程序開發用的ide，根本就不是資料庫管理系統
Foxbase是dos時代的產品了，進入windows時代改叫foxpro，屬於桌面單機級別的小型資料庫系統，mysql是個中輕量級的，但是開源，大量使用於小型網站，真正重量級的是Oracle和DB2，銀行之類的關鍵行業用的多是這兩個，微軟的MS SQLServer相對DB2和Oracle規模小一些，多見於中小型企業單位使用，Sybase可以說是日薄西山，不行了

問題五：幾大資料庫的區別 最商業的是ORACLE,做的最專業,然後是微軟的SQL server,做的也很好,當然還有DB2等做得也不錯,這些都是大型的資料庫,,,如果掌握的全面的話,可以保證數據的安全. 然後就是些小的資料庫access,mysql等,適合於中小企業的資料庫100萬數據一下的數據.如有幫助請採納,謝!

問題六：全球最大的資料庫是什麼 應該是Oracle，第一，Oracle為商業界所廣泛採用。因為它規范、嚴謹而且服務到位，且安全性非常高。第二，如果你學習使用Oracle不是商用，也可以免費使用。這就為它的廣泛傳播奠定了在技術人員中的基礎。第三，Linux/Unix系統常常作為伺服器，伺服器對Oracle的使用簡直可以說極其多啊。建議樓梗多學習下這個強大的資料庫

問題七：什麼是大數據？ 大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托・邁爾-舍恩伯格及肯尼斯・庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣的捷徑，而採用所有數據的方法[2]）大數據的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。
說起大數據，就要說到商業智能：
商業智能（Business Intelligence，簡稱：BI），又稱商業智慧或商務智能，指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。

商業智能作為一個工具，是用來處理企業中現有數據，並將其轉換成知識、分析和結論，輔助業務或者決策者做出正確且明智的決定。是幫助企業更好地利用數據提高決策質量的技術，包含了從數據倉庫到分析型系統等。

商務智能的產生發展
商業智能的概念經由Howard Dresner(1989年)的通俗化而被人們廣泛了解。當時將商業智能定義為一類由數據倉庫（或數據集市）、查詢報表、數據分析、數據挖掘、數據備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。

商務智能是20世紀90年代末首先在國外企業界出現的一個術語，其代表為提高企業運營性能而採用的一系列方法、技術和軟體。它把先進的信息技術應用到整個企業，不僅為企業提供信息獲取能力，而且通過對信息的開發，將其轉變為企業的競爭優勢，也有人稱之為混沌世界中的智能。因此，越來越多的企業提出他們對BI的需求，把BI作為一種幫助企業達到經營目標的一種有效手段。

目前，商業智能通常被理解為將企業中現有的數據轉化為知識，幫助企業做出明智的業務經營決策的工具。這里所談的數據包括來自企業業務系統的訂單、庫存、交易賬目、客戶和供應商資料及來自企業所處行業和競爭對手的數據，以及來自企業所處的其他外部環境中的各種數據。而商業智能能夠輔助的業務經營決策既可以是作業層的，也可以是管理層和策略層的決策。

為了將數據轉化為知識，需要利用數據倉庫、線上分析處理（OLAP）工具和數據挖掘等技術。因此，從技術層面上講，商業智能不是什麼新技術，它只是ETL、數據倉庫、OLAP、數據挖掘、數據展現等技術的綜合運用。

把商業智能看成是一種解決方案應該比較恰當。商業智能的關鍵是從許多來自不同的企業運作系統的數據中提取出有用的數據並進行清理，以保證數據的正確性，然後經過抽取（Extraction）、轉換（Transformation）和裝載（Load），即ETL過程，合並到一個企業級的數據倉庫里，從而得到企業數據的一個全局視圖，在此基礎上利用合適的查詢和分析工具、數據挖掘工具、OLAP工具等對其進行分析和處理（這時信息變為輔助決策的知識），最後將知識呈現給管理者，為管理者的決策過程提供支持。
企業導入BI的優點
1.隨機查詢動態報表

2.掌握指標管理

3.隨時線上分析處理

4.視覺化之企業儀表版

5.協助預測規劃

導入BI的目的
1.促進企業決策流程(Facilitate the Business Decision-Making Process)：BIS增進企業的資訊整合與資訊分析的能力，匯總公司內、外部的資料，整合成有效的決策資訊，讓企業經理人大幅增進決策效率與改善決策品質。

......>>

問題八：資料庫有哪幾種？ 常用的資料庫：oracle、sqlserver、mysql、access、sybase 2、特點。 -oracle： 1.資料庫安全性很高，很適合做大型資料庫。支持多種系統平台（HPUX、SUNOS、OSF/1、VMS、 WINDOWS、WINDOWS/NT、OS/2）。 2.支持客戶機/伺服器體系結構及混合的體系結構（集中式、分布式、 客戶機/伺服器）。 -sqlserver: 1.真正的客戶機/伺服器體系結構。 2.圖形化用戶界面，使系統管理和資料庫管理更加直觀、簡單。 3.具有很好的伸縮性，可跨越從運行Windows 95/98的膝上型電腦到運行Windows 2000的大型多處理器等多種平台使用。 -mysql: MySQL是一個開放源碼的小型關系型資料庫管理系統，開發者為瑞典MySQL AB公司，92HeZu網免費贈送MySQL。目前MySQL被廣泛地應用在Internet上的中小型網站中。提供由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。 -access Access是一種桌面資料庫，只適合數據量少的應用，在處理少量數據和單機訪問的資料庫時是很好的，效率也很高。 但是它的同時訪問客戶端不能多於4個。 -

問題九：什麼是大數據 大數據是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。 大數據首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。
數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取：關系資料庫、NOSQL、SQL等。
基礎架構：雲存儲、分布式文件存儲等。
數據處理：自然語言處理(NLP，NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機理解自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(putational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智慧(AI, Artificial Intelligence)的核心課題之一。
統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數據挖掘：分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測：預測模型、機器學習、建模模擬。
結果呈現：雲計算、標簽雲、關系圖等。
要理解大數據這一概念，首先要從大入手，大是指數據規模，大數據一般指在10TB(1TB=1024GB)規模以上的數據量。大數據同過去的海量數據有所區別，其基本特徵可以用4個V來總結(Vol-ume、Variety、Value和Veloc-ity)，即體量大、多樣性、價值密度低、速度快。
第一，數據體量巨大。從TB級別，躍升到PB級別。
第二，數據類型繁多，如前文提到的網路日誌、視頻、圖片、地理位置信息，等等。
第三，價值密度低。以視頻為例，連續不間斷監控過程中，可能有用的數據僅僅有一兩秒。
第四，處理速度快。1秒定律。最後這一點也是和傳統的......>>

問題十：國內真正的大數據分析產品有哪些 國內的大數據公司還是做前端可視化展現的偏多，BAT算是真正做了大數據的，行業有硬性需求，別的行業跟不上也沒辦法，需求決定市場。
說說更通用的數據分析吧。
大數據分析也屬於數據分析的一塊，在實際應用中可以把數據分析工具分成兩個維度：
第一維度：數據存儲層――數據報表層――數據分析層――數據展現層
第二維度：用戶級――部門級――企業級――BI級
1、數據存儲層
數據存儲設計到資料庫的概念和資料庫語言，這方面不一定要深鑽研，但至少要理解數據的存儲方式，數據的基本結構和數據類型。SQL查詢語言必不可少，精通最好。可從常用的selece查詢，update修改，delete刪除，insert插入的基本結構和讀取入手。
Access2003、Access07等，這是最基本的個人資料庫，經常用於個人或部分基本的數據存儲；MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
SQL Server2005或更高版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。
DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台。
BI級別，實際上這個不是資料庫，而是建立在前面資料庫基礎上的，企業級應用的數據倉庫。Data Warehouse，建立在DW機上的數據存儲基本上都是商業智能平台，整合了各種數據分析，報表、分析和展現！BI級別的數據倉庫結合BI產品也是近幾年的大趨勢。
2、報表層
企業存儲了數據需要讀取，需要展現，報表工具是最普遍應用的工具，尤其是在國內。傳統報表解決的是展現問題，目前國內的帆軟報表FineReport已經算在業內做到頂尖，是帶著數據分析思想的報表，因其優異的介面開放功能、填報、表單功能，能夠做到打通數據的進出，涵蓋了早期商業智能的功能。
Tableau、FineBI之類，可分在報表層也可分為數據展現層。FineBI和Tableau同屬於近年來非常棒的軟體，可作為可視化數據分析軟體，我常用FineBI從資料庫中取數進行報表和可視化分析。相對而言，可視化Tableau更優，但FineBI又有另一種身份――商業智能，所以在大數據處理方面的能力更勝一籌。
3、數據分析層
這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具；
Excel軟體，首先版本越高越好用這是肯定的；當然對excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作！但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體；
SPSS軟體：當前版本是18，名字也改成了PASW Statistics；我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體；
SAS軟體：SAS相對SPSS其實功能更強大，SAS是平台化的，EM挖掘模塊平台整合，相對來講，SAS比較難學些，但如果掌握了SAS會更有價值，比如離散選擇模型，抽樣問題，正交實驗設計等還是SAS比較好用，另外，SAS的學習材料比較多，也公開，會有收獲的！
JMP分析：SAS的一個分析分支
XLstat：Excel的插件，可以完......>>