大數據建模引擎

① 如何搭建大數據分析平台

1、 搭建大數據分析平台的背景
在大數據之前，BI就已經存在很久了，簡單把大數據等同於BI，明顯是不恰當的。但兩者又是緊密關聯的，相輔相成的。BI是達成業務管理的應用工具，沒有BI，大數據就沒有了價值轉化的工具，就無法把數據的價值呈現給用戶，也就無法有效地支撐企業經營管理決策；大數據則是基礎，沒有大數據，BI就失去了存在的基礎，沒有辦法快速、實時、高效地處理數據，支撐應用。 所以，數據的價值發揮，大數據平台的建設，必然是囊括了大數據處理與BI應用分析建設的。
2、 大數據分析平台的特點
數據攝取、數據管理、ETL和數據倉庫：提供有效的數據入庫與管理數據用於管理作為一種寶貴的資源。
Hadoop系統功能：提供海量存儲的任何類型的數據，大量處理功率和處理能力幾乎是無限並行工作或任務
流計算在拉動特徵：用於流的數據、處理數據並將這些流作為單個流。
內容管理特徵：綜合生命周期管理和文檔內容。
數據治理綜合：安全、治理和合規解決方案來保護數據。
3、 怎樣去搭建大數據分析平台
大數據分析處理平台就是整合當前主流的各種具有不同側重點的大數據處理分析框架和工具，實現對數據的挖掘和分析，一個大數據分析平台涉及到的組件眾多，如何將其有機地結合起來，完成海量數據的挖掘是一項復雜的工作。我們可以利用億信一站式數據分析平台（ABI），可以快速構建大數據分析平台，該平台集合了從數據源接入到ETL和數據倉庫進行數據整合，再到數據分析，全部在一個平台上完成。
億信一站式數據分析平台（ABI）囊括了企業全部所需的大數據分析工具。ABI可以對各類業務進行前瞻性預測分析，並為企業各層次用戶提供統一的決策分析支持，提升數據共享與流轉能力。

② 大數據技術有哪些

隨著大數據分析市場迅速擴展，哪些技術是最有需求和最有增長潛力的呢？在Forrester Research的一份最新研究報告中，評估了22種技術在整個數據生命周期中的成熟度和軌跡。這些技術都對大數據的實時、預測和綜合洞察有著巨大的貢獻。
1. 預測分析技術
這也是大數據的主要功能之一。預測分析允許公司通過分析大數據源來發現、評估、優化和部署預測模型，從而提高業務性能或降低風險。同時，大數據的預測分析也與我們的生活息息相關。淘寶會預測你每次購物可能還想買什麼，愛奇藝正在預測你可能想看什麼，百合網和其他約會網站甚至試圖預測你會愛上誰……
2. NoSQL資料庫
NoSQL，Not Only SQL，意思是「不僅僅是SQL」，泛指非關系型資料庫。NoSQL資料庫提供了比關系資料庫更靈活、可伸縮和更便宜的替代方案，打破了傳統資料庫市場一統江山的格局。並且，NoSQL資料庫能夠更好地處理大數據應用的需求。常見的NoSQL資料庫有HBase、Redis、MongoDB、Couchbase、LevelDB等。
3. 搜索和知識發現
支持來自於多種數據源(如文件系統、資料庫、流、api和其他平台和應用程序)中的大型非結構化和結構化數據存儲庫中自助提取信息的工具和技術。如，數據挖掘技術和各種大數據平台。
4. 大數據流計算引擎
能夠過濾、聚合、豐富和分析來自多個完全不同的活動數據源的數據的高吞吐量的框架，可以採用任何數據格式。現今流行的流式計算引擎有Spark Streaming和Flink。
5. 內存數據結構
通過在分布式計算機系統中動態隨機訪問內存(DRAM)、快閃記憶體或SSD上分布數據，提供低延遲的訪問和處理大量數據。
6. 分布式文件存儲
為了保證文件的可靠性和存取性能，數據通常以副本的方式存儲在多個節點上的計算機網路。常見的分布式文件系統有GFS、HDFS、Lustre 、Ceph等。
7. 數據虛擬化
數據虛擬化是一種數據管理方法，它允許應用程序檢索和操作數據，而不需要關心有關數據的技術細節，比如數據在源文件中是何種格式，或者數據存儲的物理位置，並且可以提供單個客戶用戶視圖。
8. 數據集成
用於跨解決方案進行數據編排的工具，如Amazon Elastic MapRece (EMR)、Apache Hive、Apache Pig、Apache Spark、MapRece、Couchbase、Hadoop和MongoDB等。
9. 數據准備
減輕采購、成形、清理和共享各種雜亂數據集的負擔的軟體，以加速數據對分析的有用性。
10. 數據質量
使用分布式數據存儲和資料庫上的並行操作，對大型高速數據集進行數據清理和充實的產品。

③ 大數據引擎的主要功能

所謂大數據引擎，也稱網路大數據引擎，指的是對大數據進行收集、存儲、計算、挖掘和管理，並通過深度學習技術和數據建模技術，使數據具有「智能」。網路大數據引擎主要包含三大組件：開放雲、數據工廠和網路大腦。
網路在開發和運營一整套自主研發的大數據引擎系統，包括數據中心伺服器設計、數據中心規劃和設計、大規模機器學習、分布式存儲、超大規模集群自動化運維、數據管理、數據安全、機器學習（特別是深度學習）、大規模GPU並行化平台等方面，網路「大數據引擎」具有先進性和安全性。

④ 大數據處理的五大關鍵技術及其應用

作者 | 網路大數據

來源 | 產業智能官

數據處理是對紛繁復雜的海量數據價值的提煉，而其中最有價值的地方在於預測性分析，即可以通過數據可視化、統計模式識別、數據描述等數據挖掘形式幫助數據科學家更好的理解數據，根據數據挖掘的結果得出預測性決策。其中主要工作環節包括：

大數據採集 大數據預處理 大數據存儲及管理 大數據分析及挖掘 大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。

一、大數據採集技術

數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。

大數據採集一般分為：

大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。

基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。

二、大數據預處理技術

完成對已接收數據的辨析、抽取、清洗等操作。

抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。

清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。

三、大數據存儲及管理技術

大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。

開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。

開發大數據安全技術：改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。

四、大數據分析及挖掘技術

大數據分析技術：改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。

機器學習中，可細分為歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。

數據挖掘主要過程是：根據分析挖掘目標，從資料庫中把數據提取出來，然後經過ETL組織成適合分析挖掘演算法使用寬表，然後利用數據挖掘軟體進行挖掘。傳統的數據挖掘軟體，一般只能支持在單機上進行小規模數據處理,受此限制傳統數據分析挖掘一般會採用抽樣方式來減少數據分析規模。

數據挖掘的計算復雜度和靈活度遠遠超過前兩類需求。一是由於數據挖掘問題開放性，導致數據挖掘會涉及大量衍生變數計算，衍生變數多變導致數據預處理計算復雜性;二是很多數據挖掘演算法本身就比較復雜，計算量就很大，特別是大量機器學習演算法，都是迭代計算，需要通過多次迭代來求最優解，例如K-means聚類演算法、PageRank演算法等。

從挖掘任務和挖掘方法的角度，著重突破：

可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。 數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。 預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。 語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。 數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。

預測分析成功的7個秘訣

預測未來一直是一個冒險的命題。幸運的是，預測分析技術的出現使得用戶能夠基於歷史數據和分析技術(如統計建模和機器學習)預測未來的結果，這使得預測結果和趨勢變得比過去幾年更加可靠。

盡管如此，與任何新興技術一樣，想要充分發揮預測分析的潛力也是很難的。而可能使挑戰變得更加復雜的是，由不完善的策略或預測分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內才會顯現出來。

預測分析有可能徹底改變許多的行業和業務，包括零售、製造、供應鏈、網路管理、金融服務和醫療保健。AI網路技術公司Mist Systems的聯合創始人、首席技術官Bob fridy預測:「深度學習和預測性AI分析技術將會改變我們社會的所有部分，就像十年來互聯網和蜂窩技術所帶來的轉變一樣。」。

這里有七個建議，旨在幫助您的組織充分利用其預測分析計劃。

1.能夠訪問高質量、易於理解的數據

預測分析應用程序需要大量數據，並依賴於通過反饋循環提供的信息來不斷改進。全球IT解決方案和服務提供商Infotech的首席數據和分析官Soumendra Mohanty評論道:「數據和預測分析之間是相互促進的關系。」

了解流入預測分析模型的數據類型非常重要。「一個人身上會有什麼樣的數據?」 Eric Feigl - Ding問道，他是流行病學家、營養學家和健康經濟學家，目前是哈佛陳氏公共衛生學院的訪問科學家。「是每天都在Facebook和谷歌上收集的實時數據，還是難以訪問的醫療記錄所需的醫療數據?」為了做出准確的預測，模型需要被設計成能夠處理它所吸收的特定類型的數據。

簡單地將大量數據扔向計算資源的預測建模工作註定會失敗。「由於存在大量數據，而其中大部分數據可能與特定問題無關，只是在給定樣本中可能存在相關關系，」FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，FactSet是一家金融數據和軟體公司。「如果不了解產生數據的過程，一個在有偏見的數據上訓練的模型可能是完全錯誤的。」

2.找到合適的模式

SAP高級分析產品經理Richard Mooney指出，每個人都痴迷於演算法，但是演算法必須和輸入到演算法中的數據一樣好。「如果找不到適合的模式，那麼他們就毫無用處，」他寫道。「大多數數據集都有其隱藏的模式。」

模式通常以兩種方式隱藏:

模式位於兩列之間的關系中。例如，可以通過即將進行的交易的截止日期信息與相關的電子郵件開盤價數據進行比較來發現一種模式。Mooney說:「如果交易即將結束，電子郵件的公開率應該會大幅提高，因為買方會有很多人需要閱讀並審查合同。」

模式顯示了變數隨時間變化的關系。「以上面的例子為例，了解客戶打開了200次電子郵件並不像知道他們在上周打開了175次那樣有用，」Mooney說。

3 .專注於可管理的任務，這些任務可能會帶來積極的投資回報

紐約理工學院的分析和商業智能主任Michael Urmeneta稱:「如今，人們很想把機器學習演算法應用到海量數據上，以期獲得更深刻的見解。」他說，這種方法的問題在於，它就像試圖一次治癒所有形式的癌症一樣。Urmeneta解釋說:「這會導致問題太大，數據太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的。」

而當任務相對集中時，成功的可能性就會大得多。Urmeneta指出:「如果有問題的話，我們很可能會接觸到那些能夠理解復雜關系的專家」 。「這樣，我們就很可能會有更清晰或更好理解的數據來進行處理。」

4.使用正確的方法來完成工作

好消息是，幾乎有無數的方法可以用來生成精確的預測分析。然而，這也是個壞消息。芝加哥大學NORC (前國家意見研究中心)的行為、經濟分析和決策實踐主任Angela Fontes說:「每天都有新的、熱門的分析方法出現，使用新方法很容易讓人興奮」。「然而，根據我的經驗，最成功的項目是那些真正深入思考分析結果並讓其指導他們選擇方法的項目——即使最合適的方法並不是最性感、最新的方法。」

羅切斯特理工學院計算機工程系主任、副教授shanchie Jay Yang建議說:「用戶必須謹慎選擇適合他們需求的方法」。「必須擁有一種高效且可解釋的技術，一種可以利用序列數據、時間數據的統計特性，然後將其外推到最有可能的未來，」Yang說。

5.用精確定義的目標構建模型

這似乎是顯而易見的，但許多預測分析項目開始時的目標是構建一個宏偉的模型，卻沒有一個明確的最終使用計劃。「有很多很棒的模型從來沒有被人使用過，因為沒有人知道如何使用這些模型來實現或提供價值，」汽車、保險和碰撞修復行業的SaaS提供商CCC信息服務公司的產品管理高級副總裁Jason Verlen評論道。

對此，Fontes也表示同意。「使用正確的工具肯定會確保我們從分析中得到想要的結果……」因為這迫使我們必須對自己的目標非常清楚，」她解釋道。「如果我們不清楚分析的目標，就永遠也不可能真正得到我們想要的東西。」

6.在IT和相關業務部門之間建立密切的合作關系

在業務和技術組織之間建立牢固的合作夥伴關系是至關重要的。客戶體驗技術提供商Genesys的人工智慧產品管理副總裁Paul lasserr說:「你應該能夠理解新技術如何應對業務挑戰或改善現有的業務環境。」然後，一旦設置了目標，就可以在一個限定范圍的應用程序中測試模型，以確定解決方案是否真正提供了所需的價值。

7.不要被設計不良的模型誤導

模型是由人設計的，所以它們經常包含著潛在的缺陷。錯誤的模型或使用不正確或不當的數據構建的模型很容易產生誤導，在極端情況下，甚至會產生完全錯誤的預測。

沒有實現適當隨機化的選擇偏差會混淆預測。例如，在一項假設的減肥研究中，可能有50%的參與者選擇退出後續的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復雜，因為在這樣的研究中，那些堅持參加這個項目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經歷的人。因此，雖然減肥在整個世界都是具有因果性和可預測性的，但在一個有50%退出率的有限資料庫中，實際的減肥結果可能會被隱藏起來。

六、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。

在我國，大數據將重點應用於以下三大領域：商業智能 、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

⑤ 大數據分析用什麼軟體數據分析軟體有哪些優缺點是什麼

用過OurwayBI參加數據可視化大賽

OurwayBI採用Node.js。速度非常快，利用基於時間序列的內存計算技版術，減少與資料庫的交互權，可大大提升效率。操作指引更易上手：OurwayBI為了讓用戶不進行任何培訓即可掌握常用操作，設置了操作指引，智能引導用戶逐步掌握基本操作及各項技巧。整個產品的UI進行了大量細節優化，以增加使用者的美觀要求與使用體驗等。

我的小微笑數據可視化作品

⑥ 如今智能化成為未來發展趨勢，那麼智慧高速智慧公路也可以

智慧交通是在智能交通的基礎上，融入了物聯網、雲計算、大數據、移動互聯網、人工智慧等新技術。通過高新技術匯集交通信息，對交通管理、交通運輸、公眾出行等等交通領域全方面以及交通建設管理全過程進行管控支撐，使交通系統在區域、城市甚至更大的時空范圍具備感知、互聯、分析、預測、控制等能力，以充分保障交通安全、發揮交通基礎設施效能、提升交通系統運行效率和管理水平，為通暢的公眾出行和可持續的經濟發展服務。

大數據分析、智能決策為智慧交通主要技術特徵

智慧交通運用大數據技術從海量數據中提取有價值的信息，實時分析、預測、調控交通運輸需求，促進交通運營效率、道路網通行能力和設施使用效率的提升。基於行業管理和信息服務需求，利用人工智慧最新技術，將動態交通大數據、實時動態交通分配、交通誘導措施等緊密聯動，實現交通運輸基礎設施和運載裝備的智能控制、行業智能管理以及信息智能服務。

——更多數據參考前瞻產業研究院發布的《中國智慧交通行業市場前瞻與投資規劃分析報告》。

⑦ 大數據開發難不難學

說實話是難的

大數據領域三個較為常見的發展方向：大數據分析、大數據開發、大數據科研

這個三個方向的難度是遞增的，大數據開發排第二，是較難的。

大數據開發需要學習的課程：

階段一：javaSE開發

階段二：JavaEE開發

階段三：並發編程實戰開發

階段四：Linux精講

階段五：Hadoop生態體系

階段六：Python實戰開發

階段七：Storm實時開發

階段八：Spark生態體系

階段九：ElasticSearch

階段十：Docker容器引擎

階段十一：機器學習

階段十二：超大集群調優

階段十三：大數據項目實戰

總結下上面的課程內容，大數據開發需要學java、linxu、資料庫、hadoop、spark、storm、python、ElasticSearch、Docker等知識。

大數據開發學出之後能從事的工作

1. Hadoop開發工程師

2.數據挖掘工程師

3.大數據科學家

4.首席數據官（CDO）

5.ETL研發

6.大數據信息架構開發

⑧ 從預測到「現測」 大數據商業建模的新發展

從預測到「現測」：大數據商業建模的新發展

大數據商業建模的新發展方向在哪裡？怎麼樣預測才能真正發揮大數據的特有優勢？從預測到「現測」是如何實現的？百分點首席模型科學家陳宇新教授為我們做了更深一層的闡述，從預測到「現測」：大數據商業建模的新發展。

以下是陳宇新教授在2015百分點大數據操作系統（BD-OS）暨D輪融資發布會上的演講摘錄：

謝謝大家，謝謝各位來賓！非常榮幸在今天這個場合給大家分享關於大數據商業建模新發展的一些思考，這也是現在百分點研發的一個前沿。

大家都知道預測是大數據商業應用的一個核心，大數據預測需要大量的高質量數據加上非常先進的模型，在當前的情況下什麼是預測領域新的熱點或者一個新的發展方向？怎麼樣預測才能真正發揮大數據特有的優勢？這是我想分享的，在這之前給大家先介紹兩條最近媒體報道的新聞，從新聞上大家或許能夠看出一些新的發展趨勢。這兩條新聞都是8月份華爾街日報刊登的。

第一條，蘋果和谷歌正在開發在用戶想要之前就知道用戶想要什麼的技術，在你不知道想要什麼之前就告訴你想要什麼，這兩款產品大家也聽說過，對蘋果來說叫「主動助手」，對谷歌來說這個產品叫「谷歌現代」。這兩家公司通過對你未來肯定要做的事情的一個探知反過來推測你最近的將來想干什麼。谷歌通過郵件可以知道你今天下午六點有班飛機，下午三點的時候根據你現在的位置，根據北京的交通流量告訴你現在該走了，如果走的話該打什麼車，滴滴或者Uber，這是它預測的思路，通過對一些已知的未來的事件的掌握來推測即將發生的未來應該干什麼的一個預測。

跟這個看起來沒有特別關系，但是有共通之處的另一條新聞，宏觀經濟指標預測，這家公司名字叫「現測」，創始人是哥倫比亞大學諾貝爾經濟學獎得主的博士生，大數據預測宏觀經濟指標，比如物價指數。為什麼叫「現測」？不是預測，而是很快的把剛剛發生的整個美國各種物價變化歸納出來呈現給用戶，描述剛剛發生的事件，而不是真正預測未來的物價怎麼樣。為什麼這件事有意義？因為通常政府頒布的指標是一個月或者一個季度以前的，它能做到一分鍾之前。

這兩條新聞有一個共同的關鍵詞就是「現」，NOW，這是目前對於大數據應用的一個非常重要的趨勢，那就是從預測到現測，預測是大數據建模技術的一個核心，但同時也是大數據建模的一個最大的難點，大家都說大數據很厲害，能預測很多東西，你能不能告訴我明天中國的股票是漲100點還是跌50點，沒有人可以做到。但是大數據的優勢在於很多時候我們真正需要的並不是預測，而是所謂的現測，是對極近過去的描述和極近將來的預測。

什麼叫極近？一天以前或者一小時以前？這實際上是取決於我們現在數據量的多少和技術的發展，趨勢是這個極越來越短，本來一個月前的經濟數據，現在可以知道一分鍾之前的，高頻交易之前的我們需要知道一秒鍾之前的數據。這是我們想到的現測的定義，現是一個動態過程，現測是指我們目前狀況之前一點時間和之後一點時間情況的描述或者預測，這實際上是大量的大數據應用所真正用到的預測模型，比如高頻交易，實際上已經知道市場的情況，但是在別人反應之前我們就知道了極近的過去發生的。

推薦引擎，這是大數據應用非常重要的，也是百分點最原始的DNA，根據消費者在這個頁面上當前的狀態，馬上給他一個現時的推薦，這個推薦可能只是在一秒甚至半秒之內，實時投放的RTB廣告，還有打車軟體，大家用過滴滴專車，他們背後的原理是現測的原理，我知道車在什麼地方，你在什麼地方，交通狀況，我就可以推測下一分鍾車開到哪兒，知道前一秒車在什麼地方。現測剛剛發生的事情，即將發生的事情，背後有一個非常重要的科學原理。自然也好，給了我們一個非常重要的預測手段，萬世萬物都有一個所謂的慣性，這個慣性效率發生的時候就使得我們預測能夠比較准確。一個物體從斜面上往下滑，下一秒這個木塊在什麼地方可以預測的非常准確，現測為什麼有它的准確性，來源於萬世萬物背後的慣性。

放在社會領域，慣性是由場景驅動的，比如明天我的太太過生日，生日要買生日禮物，有了這個目標，根據慣性原理，預測就變成一個現測。

現測的優勢一個是利用所謂的慣性原理，另外利用了時間差，這是大數據的特點，因為大數據往往是實時的數據，海量高頻的數據，這張圖大家可以看到如果我每十分鍾照一個這樣的照片，可能就錯過這個鏡頭，如果每一個微秒或者每半秒拍一個照片可能就看到這個鏡頭，看到這個鏡頭就有一個慣性的應用，這個女士拿起這個橘子，如果沒有時間差，比如5分鍾拍一次照這個鏡頭就錯過了，但是如果頻率高的話，我們知道她拿這個橘子看一下，雖然孩子拉走了，但她對這個橘子有興趣，這個情況下我們可以有一些營銷手段。

說起來跟預測一樣，實際上這是一個描述問題，高頻的描述效果跟預測是非常像的，我們並不在預測她到底喜歡蘋果還是橘子，只不過我們描述從預測變成了實測，描述非常有優勢，這樣我們把一個非常艱難的預測問題變成一個描述問題。這是我講的為什麼對大數據來說我們具有現測的優勢。

我有一些博士生在做模型的建立和模型的測試，根據現測的概念，我們可以發展出一系列的技術模型，這些模型有一系列商業的應用。一個是協同過濾和時間序列的分析，通常在計算機科學領域，大家都知道協同過濾的演算法，如果放在現測的考量中，就像計量經濟學的時間序列分析，在高頻交易中大量用的是時間序列分析，現在做的把協同過濾和時間序列分析結合起來，大家可以做出一個相應的應用。

第二是用戶畫像，結合快速迭代的貝葉斯學習，我們知道用戶大概是一個什麼樣的人，什麼樣的人會做什麼樣的事情，但是這個慣性趨勢放在一個特定的場景中我們可以看以前的需要，到一個修正，這個修正必須在實時中完成，很快的迭代。

第三，百分點開發了一些數據動態可視化和人機互動的產品。人腦的優勢在於對一個場景的綜合把握能得到一個比計算機更好的預測，但是大數據能快速實時的截取這樣的信息，如果我們動態的展現出一些數據來，通過人機互動就可以判斷，有超市人員在的條件下，判斷這位女士喜歡橘子，讓電腦直接判斷的話不一定很准確，但是我們通過動態數據可視化使得人對一些全景的預測和電腦對數據的抓取有機的結合。

現在一些學者重點研究的就是基於運籌優化和行為科學的反時序預測，換句話說用未來來預測當下，聽上去有點兒懸乎，很多時候我們遠處的未來，你可能飛機票買好了明天要飛這是確切的未來，我們有了確切的未來用它來幫助預測當下，比如你在一家百貨商店，王府井百貨，我起碼知道你肯定是要出去的，你不可能一輩子呆在裡面，你要出這家百貨店就這幾條路徑，根據這一條就可以通過運籌優化的方法告訴你大約幾條選擇，每條選擇經過哪幾個貨架，有幾個可能的商品推薦，把幾個非常難以把握的預測問題變成已知終點反推回來的運籌優化問題，有相當多的應用，這也是百分點以前做和現在做的非常緊密的結合點，百分點的DNA本來就有實時推薦，和現測是不謀而合的理念。

百分點在建模方面做的非常多的就是用戶畫像和細化場景，仔細推敲，細化場景更往前走一步不光研究用戶場景，而是研究用戶在這個場景里的目標是什麼，在這個會場上我的目標是跟大家交流，任何用戶在任何商業環境或者任何場景當中，它實際上都有一個目的所在，到一個飯店的目的是吃飯，到學校的目的是讀書，我們把這個目的找到，剛才我講的技術，通過目的知道未來你想要的東西，反推回來當下想干什麼。已知用戶畫像推他當下的想法行為，目前建立的這套數據體系和場景細分，包括用戶畫像，為什麼在現測的范圍里有很多的應用。所以，積累大量的數據，有非常好的前景。

像大數據預測公司一樣，很多金融相關的信息及實時經濟指數，對過去的描述來預測未來。還有一個跟金融信息相關的領域，個人徵信。從現測角度，以前所謂的人口學指標，過去行為的指標，現在有更多的做法，一個人購買大件的商品，買一輛車，這個信息馬上反饋到你個人的徵信系統，你的現金流水平發生變化，這樣一種實時監控的做法，類似的有在做個性化的企業營銷。

同樣剛才舉的例子，個人的金融，信用卡根據你實時消費情況的變化可以計算出你這個月大概還能用多少錢，每個月開銷錢的總數，銀行存款多少，根據這個反推回來，反推你買什麼東西，否則你推薦的用戶可能沒有財力消費。

第三個應用，旅遊出行管理。你的航班，比如我知道明天天氣要變化，可以通過這個反推回來知道你在北京要開會，明天天氣不好，可以實時提醒你是不是把機票換成火車票，這是現測的概念，知道未來的一些確定性反過來幫助你解決不確定性。

個人健康管理，目標三個月減重五斤，根據這個可以反推回來每天該減多少，吃多少，實時調整你的健康管理計劃。

最後把一些東西放在一起，就可以打造所謂的數字生活的助理，把你整個生活各個方面管理起來，給你提供最佳的體驗。

為什麼剛才反復強調現測的重要性，而且大數據應用有極大的優勢，以前大數據經常提到這一點，所謂的三個V或者四個V，但是通常大家對大數據的探討，這個V往往是Velocity，能夠很快的把海量的數據進行處理，當你知道剛剛過去的事情和即將到來的未來。另外，大數據的相對優勢，對短尺度的應用性具有特別的優勢，但是對長尺度的應用性反而不具有明顯的優勢。

在長尺度上我可以說我也不需要大數據，用小數據就能獲得成功。但是短尺度的預測，我說不出來今天晚上大家晚飯吃什麼，大數據往往知道這一點，因為它知道你中午吃了什麼，是哪裡人，愛吃什麼，現在在什麼位置，周圍有什麼飯店，往往通過這個能推出來你要吃什麼，而且通過你什麼時候吃的中飯，身高體重，推出你什麼時候一定餓得不行了，我們可以反推回來做一系列的介紹。這是大數據非常大的優勢，在商業中應該特別重視這一點。通過大數據用戶畫像和細化場景建模發掘和利用行為慣性。這就是大數據價值提升和揚長避短的一個新的發展趨勢，希望大家多多指正和交流。謝謝！

以上是小編為大家分享的關於從預測到「現測」 大數據商業建模的新發展的相關內容，更多信息可以關注環球青藤分享更多干貨

⑨ 做大數據分析一般用什麼工具呢

一、Hadoop

Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

八、EverString

everstring主要是通過大數據的預測分析建模為企業提供業務和客戶推薦的SaaS服務，獲取和積累了兩個數據信息資源庫，一個行業外部的資源庫（公有SaaS收費形式），一個行業自己內部的資源庫（私有），然後再通過機器學習和人工智慧的方法對數據進行相應行業或是領域的建模，最後得到一個比較不錯的結果，優化於人工可以得到的結果，而且Everstring也成為了初創大數據公司裡面估值很高的公司。

⑩ 海致大數據建模平台大於31怎麼算

海致大數據建模平台大於31的演算法如下。本文來自由海致網路技術公司翟士丹分享。專注於大數據技術領域，Apache Spark Contributor，有豐富的Spark SQL引擎調優經驗。海致全稱海致網路技術公司，成立於2013年7月。作為一家技術驅動的創業型公司，海致的創始班底擁有豐富的技術經驗。核心團隊成員來自網路、微軟、IBM、EMC、矽谷等知名企業的資深互聯網專家。