⑴ 哪些技術屬於大數據的關鍵技術
隨著大數據分析市場快速滲透到各行各業，哪些大數據技術是剛需?哪些技術有極大的潛在價值?根據弗雷斯特研究公司發布的指數，這里給出最熱的十個大數據技術。
預測分析：預測分析是一種統計或數據挖掘解決方案，包含可在結構化和非結構化數據中使用以確定未來結果的演算法和技術。可為預測、優化、預報和模擬等許多其他用途而部署。隨著現在硬體和軟體解決方案的成熟，許多公司利用大數據技術來收集海量數據、訓練模型、優化模型，並發布預測模型來提高業務水平或者避免風險;當前最流行的預測分析工具當屬IBM公司的SPSS,SPSS這個軟體大家都已經很熟悉了，它集數據錄入、整理、分析功能於一身。用戶可以根據實際需要和計算機的功能選擇模塊，SPSS的分析結果清晰、直觀、易學易用，而且可以直接讀取EXCEL及DBF數據文件，現已推廣到多種各種操作系統的計算機上。
NoSQL資料庫：非關系型資料庫包括Key-value型(Redis)資料庫、文檔型(MonogoDB)資料庫、圖型(Neo4j)資料庫;雖然NoSQL流行語火起來才短短一年的時間，但是不可否認，現在已經開始了第二代運動。盡管早期的堆棧代碼只能算是一種實驗，然而現在的系統已經更加的成熟、穩定。
搜索和認知商業：當今時代大數據與分析已經發展到一個新的高度，那就是認知時代，認知時代不再是簡單的數據分析與展示，它更多的是上升到一個利用數據來支撐人機交互的一種模式，例如前段時間的圍棋大戰，就是一個很好的應用、現已經逐步推廣到機器人的應用上面，也就是下一個經濟爆發點——人工智慧，互聯網人都比較熟悉國內的BAT，以及國外的apple、google、facebook、IBM、微軟、亞馬遜等等;可以大致看一下他們的商業布局，未來全是往人工智慧方向發展，當然目前在認知商業這一塊IBM當屬領頭羊，特別是當前主推的watson這個產品，以及取得了非常棒的效果。
流式分析：目前流式計算是業界研究的一個熱點，最近Twitter、LinkedIn等公司相繼開源了流式計算系統Storm、Kafka等，加上Yahoo!之前開源的S4，流式計算研究在互聯網領域持續升溫，流式分析可以對多個高吞吐量的數據源進行實時的清洗、聚合和分析;對存在於社交網站、博客、電子郵件、視頻、新聞、電話記錄、傳輸數據、電子感應器之中的數字格式的信息流進行快速處理並反饋的需求。目前大數據流分析平台有很多、如開源的spark，以及ibm的 streams 。
內存數據結構：通過動態隨機內存訪問(DRAM)、Flash和SSD等分布式存儲系統提供海量數據的低延時訪問和處理;
分布式存儲系統：分布式存儲是指存儲節點大於一個、數據保存多副本以及高性能的計算網路;利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。當前開源的HDFS還是非常不錯，有需要的朋友可以深入了解一下。
數據可視化：數據可視化技術是指對各類型數據源(包括hadoop上的海量數據以及實時和接近實時的分布式數據)進行顯示;當前國內外數據分析展示的產品很多，如果是企業單位以及政府單位建議使用 cognos ，安全、穩定、功能強大、支持大數據、非常不錯的選擇。
數據整合：通過亞馬遜彈性MR(EMR)、Hive、Pig、Spark、MapRece、Couchbase、Hadoop和MongoDB等軟體進行業務數據整合;
數據預處理：數據整合是指對數據源進行清洗、裁剪，並共享多樣化數據來加快數據分析;
數據校驗：對分布式存儲系統和資料庫上的海量、高頻率數據集進行數據校驗，去除非法數據，補全缺失。
數據整合、處理、校驗在目前已經統稱為 ETL ，ETL過程可以把結構化數據以及非結構化數據進行清洗、抽取、轉換成你需要的數據、同時還可以保障數據的安全性以及完整性、關於ETL的產品推薦使用 datastage就行、對於任何數據源都可以完美處理。
⑵ 大數據創業 數據哪裡來
大數據創業：數據哪裡來？需要跨過幾道坎？
這篇文章考慮了很久也沒下筆，一方面想寫得干貨一些，一方面又想寫得引人入勝一些，糾結來糾結去，終於決定還是以一個中立的用戶角度去寫，盡量寫得大眾化一些。
2013年5月10日，在淘寶十周年晚會-馬雲退休演講中，馬雲說：這是一個變化的時代。還有人沒搞清楚PC，移動互聯網來了；還沒搞清楚移動互聯網，大數據來了。而變化的時代是年輕人的時代。
馬雲說的這句話很關鍵，他不僅提到了大數據，而且更是用一句話闡述了互聯網從PC時代，進化到移動互聯網時代，然後從移動互聯網時代進階到了大數據時代。有幾個關鍵點很重要：PC時代，全球催生了大量的互聯網上市企業，包括谷歌、亞馬遜、新浪、搜狐、新東方等等；
移動互聯網時代，中國創業熱潮風生水起，不僅有大量的移動互聯網（包括手游）企業赴美上市，更是誕生了無數個創業奇跡。移動互聯網不僅為我們的生活帶來了便利，更是把創業熱潮推向了歷史最高峰。
現在問題來了，大數據時代，創業熱潮是不是應該比移動互聯網時代更加熱鬧呢？大數據時代如何創業？大數據創業的門檻又有哪些呢？
先回答第一個問題：大數據時代，創業熱潮是不是應該比移動互聯網時代更加熱鬧呢？
據我了解，不是。走在中關村創業大街上，你能收到的100份融資BP里，可能有99份都是APP和O2O項目，但99家裡90%以上會重視大數據。
那麼大數據時代如何創業呢？請先了解一下大數據的創業門檻。
門檻一：數據大數據大數據，沒有數據怎麼玩？那麼數據從哪裡來呢？
像網路、騰訊和阿里巴巴這樣的BAT企業，本身就積累了大量的數據，所以他們玩起大數據來，多半是「悶聲發大財」。當然了，也可以說幾句BAT企業玩大數據的例子，比如說網路旗下的「網路遷徙」、「網路精算」、「網路輿情」、「網路大數據預測引擎」等等，都是網路的大數據產品應用；阿里巴巴的話，「阿里雲」、「支付寶-花唄」、「支付寶-借唄」「芝麻信用」、「螞蟻金服」等等，都應有了大數據技術。而騰訊方面，「騰訊廣點通」、「騰訊雲分析」和微信等也都引用了大數據技術。
爾等屌絲沒有數據，如何玩呢？
首先，你可以通過第三方購買數據，比如說，數據堂就有很多數據出售和分享；
其次，你可以用爬蟲爬回一些數據來存儲；
再者，通過給企業、開發者、站長等等授權使用大數據工具來積累數據。這方面的新創企業包括Talkingdata、友盟和DataEye等。
最後，使用免費的政府、企業、和機構開放數據。比如說高德數據的API介面和微博商業數據API介面等等。
總體來說，解決好數據源是大數據創業的必要門檻。關鍵看你創業的項目是什麼。
門檻二：硬體在北京，我曾經參觀過一家大數據初創企業，當時他們還沒有拿到融資。我去他們的辦公區發現一幕特別心酸的事情。他們的員工擠在一間很小的屋子裡辦公，而兩件較大的屋子都用來安放大數據存儲伺服器。大數據的存儲量是很驚人的，這對機房和硬體設備也提出了新的挑戰。
這一點和移動互聯網不太一樣，你做一個APP，用電腦搞開發，伺服器用雲伺服器就行，按需購買。但是大數據不行，你沒法把自家的數據存儲在別人的雲伺服器上，一方面是安全因素，另外一方面也有產權因素。
硬體也是大數據創業的門檻之一，但不是最大 的門檻。順便補充一句，我曾經參觀過的那家大數據新創企業，目前已完成百萬美元的A輪融資，現在他們家的辦公區特別寬敞，恭喜星圖數據。
門檻三：人才我認為大數據創業的最大門檻在於人才。和做APP不一樣，大數據創業你一個人乃至幾個人都是沒法玩轉的。初創企業你就往10-15人這樣的團隊先招人吧，這樣的團隊要包括Hadoop工程師、演算法工程師，數據建模工程師、架構師、NoSQL工程師、BI工程師等等，全都是技術要求較高、薪資要求也很高的人才。
大數據人才有多貴？在美國，在R、NoSQL和MapRece方面需求的專業人才薪水達到了每年約11萬5千美元，在中國也便宜不到哪裡去，沒有年薪30萬，你很難招到一個大數據人才。
也就是說，技術很牛的大數據人才，他的選擇面很寬，要麼早就進入BAT企業，要麼也是在不錯的企業拿著高薪，你要挖這樣的人才，除了錢，股票、期權、福利等等，都是必須付出的代價。
2015年-2016年是大數據人才最為匱乏的兩年，原因很簡單，各大剛剛開通了大數據科目的院校，學生還沒畢業；而招聘市場上的大數據人才需求量遠遠已經供不應求。除了BAT企業，通信企業、電力企業、金融銀行行業、醫療行業、工業、游戲行業等等，哪個行業不是都在招大數據人才？創業公司要在這么嚴峻的人才環境中找到適合自己的大數據技術人才，門檻可不止是錢。
門檻四：技術說了人才，就要說技術了。大數據技術不是你懂C++或者R語言就夠了的，大數據有一整套自己的技術體系，包括統計、編程、JAVA、資料庫、Hadoop、Spark、NoSQL、機器學習、自然語言處理、演算法、數據可視化等等技術。光是Hadoop需要用到的技術和編程語言就有很多項。
而且市面上的大數據工具每家用的還不一樣，用開源軟體（如Hadoop、Spark）或者用SAP（SAP HANA）需要的技術也不一樣。技術要求較高，而擁有大數據綜合技術的人才又較少，這也成為了制約大數據創業的最大問題。
門檻五：錢其實我不想寫錢，但是又必須寫錢。大數據行業創業不缺資本，只要你創業項目的商業模式沒問題，並且技術能力強，且團隊靠譜，無論在中國還是在美國，融個A輪還是沒有問題的，資本關注度很熱。但是你在拿到融資之前，自己啟動的資金就需要一大筆。人才、硬體和技術成本都較高。
這么理解吧，如果說，幾個好朋友湊50萬花3個月可以做一個APP項目，那麼要在大數據行業創業的話，請先准備600-800萬再來玩。
門檻六：商業模式中國互聯網上最賺錢的行業是什麼？我認為是電子商務和網路游戲。電子商務和網路游戲也是互聯網變現最快的行業。而大數據，它的變現能力不如網路游戲和電子商務那般簡單直接。在我拜訪過的很多企業中，他們手裡有錢、有數據、有人才也有技術，但是他們不知道自己手裡的數據可以拿來做什麼。
也就是說，大數據目前沒有最明朗最直接的商業模式。大數據只有和業務場景結合，才能產生價值。
大數據就像石油原油一樣，你知道它在哪裡，你可以開采它，但是開采出來你還需要冶煉，並且經過減壓蒸餾、加氫精製、溶劑精製、溶劑脫蠟等煉制過程，成為成品油後運送到各個加油站，讓汽車加滿油後產生了動力才實現最終價值。大數據也一樣，需要一整套復雜 的過程才能實現商業價值。
那麼你可能會問了，大數據交易算不算是商業模式呢？我個人覺得，要看交易的是什麼東西？原始的非結構化的數據，後面數據清洗需要太多的工序，數據存儲也是很大的成本，這樣的交易代價太高。我相信無論是企業用戶也好，還是個人用戶也好，大家更傾向於購買「拿來就能用」的大數據數據源。
你說京東和騰訊完成首筆大數據交易，我覺得就是一個笑話，京東和騰訊的大數據不早就整合在一起了么？我用微信直接就能在京東購物，數據是互通的，何必交易？
所以說，大數據創業最難的還是在於商業模式的思考，如果你沒有找到一條讓大數據變現的渠道，那麼千萬不要忙著拉團隊創業。大數據行業創業，光有idea是不夠的，跑通整個商業模式才是關鍵。
以上是小編為大家分享的關於大數據創業 數據哪裡來？的相關內容，更多信息可以關注環球青藤分享更多干貨
⑶ 大數據什麼技術是進行數據挖掘的基礎
1. 統計學
統計學雖然是一門「古老的」學科，但它依然是最基本的數據挖掘技術，特別是多元統計分析，如判別分析、主成分分析、因子分析、相關分析、多元回歸分析等。
2. 聚類分析和模式識別
聚類分析主要是根據事物的特徵對其進行聚類或分類，即所謂物以類聚，以期從中發現規律和典型模式。這類技術是數據挖掘的最重要的技術之一。除傳統的基於多元統計分析的聚類方法外，近些年來模糊聚類和神經網路聚類方法也有了長足的發展。
3. 決策樹分類技術
決策樹分類是根據不同的重要特徵，以樹型結構表示分類或決策集合，從而產生規則和發現規律。
4. 人工神經網路和遺傳基因演算法
人工神經網路是一個迅速發展的前沿研究領域，對計算機科學 人工智慧、認知科學以及信息技術等產生了重要而深遠的影響，而它在數據挖掘中也扮演著非常重要的角色。人工神經網路可通過示例學習，形成描述復雜非線性系統的非線性函數，這實際上是得到了客觀規律的定量描述，有了這個基礎，預測的難題就會迎刃而解。目前在數據挖掘中，最常使用的兩種神經網路是BP網路和RBF網路 不過，由於人工神經網路還是一個新興學科，一些重要的理論問題尚未解決。
5. 規則歸納
規則歸納相對來講是數據挖掘特有的技術。它指的是在大型資料庫或數據倉庫中搜索和挖掘以往不知道的規則和規律，這大致包括以下幾種形式：IF … THEN …
6. 可視化技術
可視化技術是數據挖掘不可忽視的輔助技術。數據挖掘通常會涉及較復雜的數學方法和信息技術，為了方便用戶理解和使用這類技術，必須藉助圖形、圖象、動畫等手段形象地指導操作、引導挖掘和表達結果等，否則很難推廣普及數據挖掘技術。
⑷ 大數據技術有哪些
大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。
大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。
大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。
一、大數據採集技術
數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。
重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。
互聯網是個神奇的大網，大數據開發和軟體定製也是一種模式，這里提供最詳細的報價，如果你真的想做，可以來這里，這個手機的開始數字是一八七中間的是三兒
零最後的是一四二五零，按照順序組合起來就可以找到，我想說的是，除非你想做或者了解這方面的內容，如果只是湊熱鬧的話，就不要來了。
大數據採集一般分為大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。
必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。
基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。
重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。
二、大數據預處理技術
主要完成對已接收數據的辨析、抽取、清洗等操作。
1)抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。
2)清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。
三、大數據存儲及管理技術
大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。
重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。
主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。
開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。
開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。
其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。
關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。
開發大數據安全技術。
改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。
四、大數據分析及挖掘技術
大數據分析技術。
改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。
數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘涉及的技術方法很多，有多種分類法。
根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。
機器學習中，可細分為:歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。
統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。
神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。
資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。
從挖掘任務和挖掘方法的角度，著重突破：
1.可視化分析。
數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。
數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。
2.數據挖掘演算法。
圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。
分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。
這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。
3.預測性分析。
預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。
4.語義引擎。
語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。
5.數據質量和數據管理。
數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。
六、大數據展現與應用技術
大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。
在我國，大數據將重點應用於以下三大領域：商業智能、 *** 決策、公共服務。
例如：商業智能技術， *** 決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。
⑸ 大數據處理的五大關鍵技術及其應用
作者 | 網路大數據
來源 | 產業智能官
數據處理是對紛繁復雜的海量數據價值的提煉，而其中最有價值的地方在於預測性分析，即可以通過數據可視化、統計模式識別、數據描述等數據挖掘形式幫助數據科學家更好的理解數據，根據數據挖掘的結果得出預測性決策。其中主要工作環節包括：
大數據採集 大數據預處理 大數據存儲及管理 大數據分析及挖掘 大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。一、大數據採集技術
數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。
大數據採集一般分為：
大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。
基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。
二、大數據預處理技術
完成對已接收數據的辨析、抽取、清洗等操作。
抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。
清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。
三、大數據存儲及管理技術
大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。
開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。
開發大數據安全技術：改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。
四、大數據分析及挖掘技術
大數據分析技術：改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。
數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。
機器學習中，可細分為歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。
數據挖掘主要過程是：根據分析挖掘目標，從資料庫中把數據提取出來，然後經過ETL組織成適合分析挖掘演算法使用寬表，然後利用數據挖掘軟體進行挖掘。傳統的數據挖掘軟體，一般只能支持在單機上進行小規模數據處理,受此限制傳統數據分析挖掘一般會採用抽樣方式來減少數據分析規模。
數據挖掘的計算復雜度和靈活度遠遠超過前兩類需求。一是由於數據挖掘問題開放性，導致數據挖掘會涉及大量衍生變數計算，衍生變數多變導致數據預處理計算復雜性;二是很多數據挖掘演算法本身就比較復雜，計算量就很大，特別是大量機器學習演算法，都是迭代計算，需要通過多次迭代來求最優解，例如K-means聚類演算法、PageRank演算法等。
從挖掘任務和挖掘方法的角度，著重突破：
可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。 數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。 預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。 語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。 數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。預測分析成功的7個秘訣
預測未來一直是一個冒險的命題。幸運的是，預測分析技術的出現使得用戶能夠基於歷史數據和分析技術(如統計建模和機器學習)預測未來的結果，這使得預測結果和趨勢變得比過去幾年更加可靠。
盡管如此，與任何新興技術一樣，想要充分發揮預測分析的潛力也是很難的。而可能使挑戰變得更加復雜的是，由不完善的策略或預測分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內才會顯現出來。
預測分析有可能徹底改變許多的行業和業務，包括零售、製造、供應鏈、網路管理、金融服務和醫療保健。AI網路技術公司Mist Systems的聯合創始人、首席技術官Bob fridy預測:「深度學習和預測性AI分析技術將會改變我們社會的所有部分，就像十年來互聯網和蜂窩技術所帶來的轉變一樣。」。
這里有七個建議，旨在幫助您的組織充分利用其預測分析計劃。
1.能夠訪問高質量、易於理解的數據
預測分析應用程序需要大量數據，並依賴於通過反饋循環提供的信息來不斷改進。全球IT解決方案和服務提供商Infotech的首席數據和分析官Soumendra Mohanty評論道:「數據和預測分析之間是相互促進的關系。」
了解流入預測分析模型的數據類型非常重要。「一個人身上會有什麼樣的數據?」 Eric Feigl - Ding問道，他是流行病學家、營養學家和健康經濟學家，目前是哈佛陳氏公共衛生學院的訪問科學家。「是每天都在Facebook和谷歌上收集的實時數據，還是難以訪問的醫療記錄所需的醫療數據?」為了做出准確的預測，模型需要被設計成能夠處理它所吸收的特定類型的數據。
簡單地將大量數據扔向計算資源的預測建模工作註定會失敗。「由於存在大量數據，而其中大部分數據可能與特定問題無關，只是在給定樣本中可能存在相關關系，」FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，FactSet是一家金融數據和軟體公司。「如果不了解產生數據的過程，一個在有偏見的數據上訓練的模型可能是完全錯誤的。」
2.找到合適的模式
SAP高級分析產品經理Richard Mooney指出，每個人都痴迷於演算法，但是演算法必須和輸入到演算法中的數據一樣好。「如果找不到適合的模式，那麼他們就毫無用處，」他寫道。「大多數數據集都有其隱藏的模式。」
模式通常以兩種方式隱藏:
模式位於兩列之間的關系中。例如，可以通過即將進行的交易的截止日期信息與相關的電子郵件開盤價數據進行比較來發現一種模式。Mooney說:「如果交易即將結束，電子郵件的公開率應該會大幅提高，因為買方會有很多人需要閱讀並審查合同。」
模式顯示了變數隨時間變化的關系。「以上面的例子為例，了解客戶打開了200次電子郵件並不像知道他們在上周打開了175次那樣有用，」Mooney說。
3 .專注於可管理的任務，這些任務可能會帶來積極的投資回報
紐約理工學院的分析和商業智能主任Michael Urmeneta稱:「如今，人們很想把機器學習演算法應用到海量數據上，以期獲得更深刻的見解。」他說，這種方法的問題在於，它就像試圖一次治癒所有形式的癌症一樣。Urmeneta解釋說:「這會導致問題太大，數據太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的。」
而當任務相對集中時，成功的可能性就會大得多。Urmeneta指出:「如果有問題的話，我們很可能會接觸到那些能夠理解復雜關系的專家」 。「這樣，我們就很可能會有更清晰或更好理解的數據來進行處理。」
4.使用正確的方法來完成工作
好消息是，幾乎有無數的方法可以用來生成精確的預測分析。然而，這也是個壞消息。芝加哥大學NORC (前國家意見研究中心)的行為、經濟分析和決策實踐主任Angela Fontes說:「每天都有新的、熱門的分析方法出現，使用新方法很容易讓人興奮」。「然而，根據我的經驗，最成功的項目是那些真正深入思考分析結果並讓其指導他們選擇方法的項目——即使最合適的方法並不是最性感、最新的方法。」
羅切斯特理工學院計算機工程系主任、副教授shanchie Jay Yang建議說:「用戶必須謹慎選擇適合他們需求的方法」。「必須擁有一種高效且可解釋的技術，一種可以利用序列數據、時間數據的統計特性，然後將其外推到最有可能的未來，」Yang說。
5.用精確定義的目標構建模型
這似乎是顯而易見的，但許多預測分析項目開始時的目標是構建一個宏偉的模型，卻沒有一個明確的最終使用計劃。「有很多很棒的模型從來沒有被人使用過，因為沒有人知道如何使用這些模型來實現或提供價值，」汽車、保險和碰撞修復行業的SaaS提供商CCC信息服務公司的產品管理高級副總裁Jason Verlen評論道。
對此，Fontes也表示同意。「使用正確的工具肯定會確保我們從分析中得到想要的結果……」因為這迫使我們必須對自己的目標非常清楚，」她解釋道。「如果我們不清楚分析的目標，就永遠也不可能真正得到我們想要的東西。」
6.在IT和相關業務部門之間建立密切的合作關系
在業務和技術組織之間建立牢固的合作夥伴關系是至關重要的。客戶體驗技術提供商Genesys的人工智慧產品管理副總裁Paul lasserr說:「你應該能夠理解新技術如何應對業務挑戰或改善現有的業務環境。」然後，一旦設置了目標，就可以在一個限定范圍的應用程序中測試模型，以確定解決方案是否真正提供了所需的價值。
7.不要被設計不良的模型誤導
模型是由人設計的，所以它們經常包含著潛在的缺陷。錯誤的模型或使用不正確或不當的數據構建的模型很容易產生誤導，在極端情況下，甚至會產生完全錯誤的預測。
沒有實現適當隨機化的選擇偏差會混淆預測。例如，在一項假設的減肥研究中，可能有50%的參與者選擇退出後續的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復雜，因為在這樣的研究中，那些堅持參加這個項目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經歷的人。因此，雖然減肥在整個世界都是具有因果性和可預測性的，但在一個有50%退出率的有限資料庫中，實際的減肥結果可能會被隱藏起來。
六、大數據展現與應用技術
大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。
在我國，大數據將重點應用於以下三大領域：商業智能 、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。