智能大數據smart准則

① 大數據對互聯網的影響

大數據對互聯網的影響

大數據是最近經常被互聯網大佬提到的名詞，大數據在漸漸的改變互聯網，互聯網大佬們也正在利用大數據對用戶提供更精準的營銷和服務。

那麼大數據是從哪裡來的?大數據又對互聯網產生了什麼影響呢?

互聯網的大數據是來自人們的使用習慣，人們經常瀏覽網路、網路購物、網路社交等留下的信息都會被大數據的收集工具所收集，並上傳到數據處理平台進行數據處理。比如電商網站會因為你的購買習慣為你提供你可能感興趣的商品，搜索引擎會因為你的搜索習慣提供你想要搜索的結果，社交工具和社交平台更是會因為你的興趣愛好向你推薦你可感興趣的人。

由於大數據的信息量非常的多，一般的處理工具已經無法滿足如此大量數據的處理，雲計算平台也隨之產生。雲計算平台是由大量的伺服器組成的，收集的復雜數據為被分成小數據分配到伺服器上進行處理，這樣即使其中有一台伺服器壞了，其他伺服器也能正常運行，而且壞了的那台服務品的數據會被重新分配到其他伺服器上處理。雲計算平台的產生也同樣促生了雲伺服器和雲主機的產生。

雲伺服器的產生也保證了我們的網站不會出現宕機，網站能更好更快的運行。雲主機不僅能讓網站的訪問速度和數據處理速度更快，還能幫我們收集用戶的使用習慣，讓我們能准確的為用戶提供用戶所需要的服務。

RAKsmart美國加州伺服器中國區的產品經理曾經對我說：「大數據的興起會讓越來越多的企業使用雲計算平台，互聯網營銷和服務將越來越准確，越來越多的中小企業會選擇雲主機建設網站並開展他們的業務。」

RAKsmart美國加州伺服器是一家較早開展雲主機業務的公司，一直以品質和服務打動客戶，他們也專門針對中國客戶提供支持中國電信線路的雲主機服務，他們的雲主機除了在性能上比一般的強以外，他們的雲主機更是可以支持10個獨立IP。大家都知道一般中國的雲主機都是需要另外購買獨立IP的，而RAKsmart美國加州伺服器是會免費贈送一個獨立IP的，而且價格也比國內的要便宜的多，多年的經驗使他們更懂得用戶的需要。

以上是小編為大家分享的關於大數據對互聯網的影響的相關內容，更多信息可以關注環球青藤分享更多干貨

② 怎樣的架構設計才是真正的數據倉庫架構

一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途：

• 整合公司所有業務數據，建立統一的數據中心；

• 提供各種報表，有給高層的，有給各個業務的；

• 為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；

• 為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；

• 分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；

• 開發數據產品，直接或間接為公司盈利；

• 建設開放數據平台，開放公司數據；

• 。。。。。。



• 上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；


• 其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；


• 建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。


• 整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：


• 邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。


• 我們從下往上看：


• 數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。



• 數據源的種類比較多：



• 網站日誌：



• 作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，


• 一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；



• 業務資料庫：



• 業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。


• 當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。



• 來自於Ftp/Http的數據源：



• 有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；



• 其他數據源：



• 比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；



• 數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。



• 離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；


• 當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》


• 實時計算部分，後面單獨說。


• 數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；



• 前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。


• 另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。



• 數據應用

• 業務產品
  



• 業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；



• 報表



• 同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；



• 即席查詢



• 即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；


• 這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。


• 即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。


• 當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。



• OLAP



• 目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；


• 這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；


• 比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。



• 其它數據介面
  



• 這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。



• 實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。


• 我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。


• 做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。


• 任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；



• 這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。


• 前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。


• 總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。

③ 農業大數據能為農民做什麼應該如何應用

農業大數據平台就是利用氣候及土壤大數據，提供農戶最佳化的栽種管理決策，協助農民有內效管理其農容地，並讓農民從每一顆種子中提取最高的價值；
簡單來說，農夫可以透過移動裝置快速進行數據分析，並藉此分析結果優化資源及提高效益。除Climate FieldView平台外，MySmartFarm、FarmLogs等也都是大數據在農業應用中的實例。
農業大數據運用將會是解決未來人類對糧食需求的解葯，透過物聯網及雲端運算之應用，農業大數據下的精準農業，預期將能減少農業對環境生態的負面影響，並透過所建立的模型進行預測，提出最適的解決方案，一方面提高糧食的產量，另一方面則減少生產資源的錯置與浪費，進而在未來有效地回應人類對糧食的需求。

④ 對於當今最流行的大數據技術AL人工智慧技術。物聯網技術。你了解多少

帶你了解大數據及人工智慧時代的3項關鍵技術

01 雲計算根據美國國家標准與技術研究院（National Instituteof Standards and Technology，NIST）的定義，雲計算是指能夠針對共享的可配置計算資源，按需提供方便的、泛在的網路接入的模型。上述計算資源包括網路、伺服器、存儲、應用和服務等，這些資源能夠快速地提供和回收，而所涉及的管理開銷要盡可能小。具體來說，雲模型包含五個基本特徵、三個服務模型和四個部署模型。五個基本特徵：

按需自助服務（on-demand self-service）

廣闊的互聯網訪問（broad network access）

資源池（resource pooling）

快速伸縮（rapid elasticity）

可度量的服務（measured service）

三個服務模型：

軟體即服務（Software as a Service，SaaS）

平台即服務（Platform as a Service，PaaS）

基礎設施即服務（Infrastructure as a Service，IaaS）

四個部署模型：

私有雲（private cloud）

社區雲（community cloud）

公有雲（public cloud）

混合雲（hybrid cloud）

一般來說，雲計算可以被看作通過計算機通信網路（例如互聯網）來提供計算服務的分布式系統，其主要目標是利用分布式資源來解決大規模的計算問題。雲中的資源對用戶是透明的，用戶無須知曉資源所在的具體位置。這些資源能夠同時被大量用戶共享，用戶能夠在任何時間、任何地點訪問應用程序和相關的數據。雲計算的體系結構如圖1-3所示，還對三個服務模型進行了闡述。

一般來說，物聯網能夠在雲計算的虛擬形式的無限計算能力和資源上補償自身的技術性限制（例如存儲、計算能力和通信能力）。雲計算能夠為物聯網中服務的管理和組合提供高效的解決方案，同時能夠實現利用物聯網中產生的數據的應用程序和服務。對於物聯網來說，雲計算能夠以更加分布式的、動態的方式來擴展其能處理的真實世界中物/設備的范圍，進而交付大量實際生活中的場景所需要的服務。


在多數情況下，雲計算能夠提供物與應用程序之間的中間層，同時將實現應用程序所必需的復雜性和功能都隱藏起來，這將影響未來的應用程序開發。在未來的多雲環境下，應用程序的開發面臨著來自信息的收集、處理和傳輸等方面的新挑戰。物聯網在工業領域的應用涵蓋了眾多方面，例如自動化、優化、可預測製造、運輸等。製造（manufacturing）是物聯網在工業領域最大的市場，涉及軟體、硬體、連通性和服務等。


隨著物聯網的引入，由原料、工件、機器、工具、庫存和物流等組成的工業系統構成了實施製造過程的生產單元，上述這些構件之間可以互相通信。物聯網提供的連通性驅動了各項操作技術（Operational Technology，OT）的實際性能的收斂性，這里的操作技術包括機械手、傳送帶、儀表、發電機等。在整個製造過程中，感測器、分布式控制以及安全軟體發揮著「膠水」的作用。


當前，工業領域有遠見的企業都將生產線和生產過程構建在了物聯網之上。運輸（transportation）是物聯網在工業領域的第二大市場。當前，在眾多城市中涌現的智能運輸網路能夠優化傳統運輸網路中的路徑，生成高效、安全的路線，降低基礎設施的開銷並緩解交通擁塞。航空、鐵路、城際等貨運公司能夠集成海量的數據來對需求進行實時分析，實現統籌規劃和優化操作。


03 大數據隨著物聯網和雲計算技術的發展，海量的數據以前所未有的速度從異構數據源產生，這些數據源所在的領域有醫療健康、政府機構、社交網路、環境監測和金融市場等。在這些景象的背後，存在大量強大的系統和分布式應用程序來支持與數據相關的操作，例如智能電網（smart grid）系統、醫療健康（healthcare）系統、零售業（retailing）系統、政府（government）系統等。


在大數據的變革發生之前，絕大多數機構和公司都沒有能力長期保存歸檔數據，也無法高效地管理和利用大規模的數據集。實際上，現有的傳統技術能夠應對的存儲和管理規模都是有限的。在大數據環境下，傳統技術缺乏可擴展性和靈活性，其性能也無法令人滿意。當前，針對海量的數據集，需要設計涵蓋清洗、處理、分析、載入等操作的可行性方案。業界的公司越來越意識到針對大數據的處理與分析是使企業具有競爭力的重要因素。

1. 三類定義當前大數據在各個領域的廣泛普及使得學界與業界對大數據的定義很難達成一致。不過有一點共識是，大數據不僅是指大量的數據。通過對現有大數據的定義進行梳理，我們總結出三種對大數據進行描述和理解的定義。1）屬性型定義（attributive definition）作為大數據研究與應用的先驅，國際數據公司（International Data Corporation，IDC）在戴爾易安信（DELLEMC）公司的資助下於2011年提出了如下大數據的定義：

大數據技術描述了技術與體系結構，其設計初衷是通過實施高速的捕獲、發現以及分析，來經濟性地提取大量具有廣泛類型的數據的價值。

該定義側面描述了大數據的四個顯著特徵：數量、速度、多樣化和價值。由Gartner公司分析師Doug Laney總結的研究報告中給出了與上述定義類似的描述，該研究指出數據的增長所帶來的挑戰與機遇是三個維度的，即顯著增長的數量（Volume）、速度（Velocity）和多樣化（Variety）。盡管Doug Laney關於數據在三個維度的描述最初並不是要給大數據下定義，但包括IBM、微軟在內的業界在其後的十年間都沿用上述「3V」模型來對大數據進行描述。2）比較型定義（comparative definition）Mckinsey公司2011年給出的研究報告將大數據定義為：

規模超出了典型資料庫軟體工具的捕獲、存儲、管理和分析能力的數據集。

盡管該報告沒有在具體的度量標准方面對大數據給出定義，但其引入了一個革命性的方面，即怎樣的數據集才能夠被稱為大數據。3）架構型定義（architectural definition）美國國家標准與技術研究院（NIST）對大數據的描述為：

大數據是指數據的數量、獲取的速度以及數據的表示限制了使用傳統關系資料庫方法進行有效分析的能力，需要使用具有良好可擴展性的新型方法來對數據進行高效的處理。

2. 5V以下是一些文獻中關於大數據特徵的描述：

數據的規模成為問題的一部分，並且傳統的技術已經沒有能力處理這樣的數據。

數據的規模迫使學界和業界不得不拋棄曾經流行的方法而去尋找新的方法。

大數據是一個囊括了在合理時間內對潛在的超大數據集實現捕獲、處理、分析和可視化的范疇，並且傳統的信息技術無法勝任上述要求。

大數據的核心必須包含三個關鍵的方面：數量多、速度快和多樣化，即著名的「3V」。

1）數量數據的數量又稱為數據的規模，在大數據中，其是指在進行數據處理時所面對的超大規模的數據量。目前，海量的數據持續不斷地從千百萬設備和應用中產生（例如信息通信技術、智能手機、軟體代碼、社交網路、感測器以及各類日誌）。

McAfee公司在2012年估算：在2012年的每一天中，全球都產生著2.5EB的數據，並且該數值約每40個月實現翻倍。

2013年，國際數據公司（IDC）估算全球所產生、復制和消費的數據已經達到4.4ZB，並且該數值約每兩年實現翻倍。

到2015年，全球產生的數據將達到8ZB。根據IDC的研究報告，全球產生的數據將在2020年達到40ZB。

2）速度在大數據中，數據的速度是指在進行數據處理時所面對的具有高頻率和高實時性的數據流。高速生成的數據應當及時進行處理，以便提取有用的信息和洞察潛在的價值。全球知名的折扣連鎖店沃爾瑪基於消費者的交易每小時產生2.5PB的數據。視頻分享類網站（例如優酷、愛奇藝等）則是大數據高頻率和高實時性特徵的另一個例證。


3）多樣化在大數據中，數據的多樣化是指在進行數據處理時所面對的具有不同語法格式的數據類型。隨著物聯網技術與雲計算技術的普及，海量的多源異構數據從不同的數據源以不同的數據格式持續地產生，典型的數據源有感測器、音頻、視頻、文檔等。海量的異構數據形成各種各樣的數據集，這些數據集可能包含結構化數據、半結構化數據、非結構化數據，數據集的屬性可能是公開或隱私的、共享或機密的、完整或不完整的，等等。隨著大數據理論的發展，更多的特徵逐步被納入考慮的范圍，以便對大數據做出更好的定義，例如：

想像（vision），這里的想像是指一種目的；

驗證（verification），這里的驗證是指經過處理後的數據符合特定的要求；

證實（validation），這里的證實是指前述的想像成為現實；

復雜性（complexity），這里的復雜性是指由於數據之間關系的進化，海量數據的組織和分析均很困難；

不變性（immutability），這里的不變性是指如果進行妥善管理，那麼經過存儲的海量數據可以永久保留。

描述大數據的五個關鍵特徵（即「5V」）：

數量（Volume）

速度（Velocity）

多樣化（Variety）

准確性（Veracity）

價值（Value）

4）准確性在商界，決策者通常不會完全信任從大數據中提取出的信息，而會進一步對信息進行加工和處理，然後做出更好的決策。如果決策者不信任輸入數據，那麼輸出數據也不會獲得信任，這樣的數據不會參與決策過程。隨著大數據中數據規模的日新月異和數據種類的多樣化，如何更好地度量和提升數據可信度成為一個研究熱點。


5）價值一般來說，海量的數據具有價值密度低的缺點。如果無法從數據中有效地提取出潛在的價值，那麼這些數據在某種程度上就是沒用的。數據的價值是決策者最關注的方面，其需要仔細且認真的研究。目前，已經有大量的人力、物力和財力投入到大數據的研究和應用中，這些投資行為都期望從海量數據中獲得有價值的內容。但是，對於不同的機構和不同的價值提取方法，同樣的數據集所產生的價值差異可能很大，即投入與產出並不一定成正比。


因此，對大數據價值的研究需要建立更加完善的體系。