㈠ 大數據急需攻克的五大世界性難題
大數據急需攻克的五大世界性難題
世界人民的健康記錄：醫學領域最急需的資源，人腦圖譜：了解身體的各個部分如何運作，統籌世界范圍內的鈾原料供應：追蹤武器化活動與能源供給等這些人們最關注的世界性難題，IBM、谷歌等巨頭級企業已經開始對這類高難度挑戰發起沖擊，這很令人期待。
盡管計算性能、存儲容量以及分析技術一直在不斷進步，某些現實挑戰對於大數據而言仍然過於龐大以至於無法應對。在今天的文章中，我們將探討五個此類難題 ——看看如何才能將其解決。
如果大數據能夠在傳統領域之外進一步解決世界性難題，結果會怎麼樣？到目前為止，IBM、谷歌以及惠普等巨頭級企業已經開始對這類高難度挑戰發起沖擊，其中包括分析繁忙的高速公路上到底會有多少車輛通過某條橋梁，或者計算會有多少用戶查看網路瀏覽器中的一條小廣告。谷歌公司甚至公布了一項雄心勃勃的計劃，稱將解決人類衰老這一歷史性難題。
但仍有幾大世界性難題等待著我們攻克。在某些情況下，分析所需要的數據根本無跡可尋。在其它情況下，足以應對如此龐大數據量的計算機還沒有被發明出來。目前有五大課題值得我們關注。會有大數據技術企業站出來排憂解難嗎？我們等待時間帶來答案。
世界人民的健康記錄：醫學領域最急需的資源
大多數人都擁有一份電子健康記錄（簡稱HER），不過其中的內容頗為有限——甚至只包含最近一次健康檢查的基本結果。目前足以支撐全世界健康記錄資料庫的工具與技術已經到位。這樣的全球性資料庫一旦出現，制葯企業就能對其進行分析以開發人民群眾最急需的疫苗及葯物——也就是說，根據供應鏈的實際需要進行優先選擇。
既然前景一片光明，為什麼我們還沒有感受到由此帶來的益處呢？這是由於目前還缺乏一套訪問全球數據的可行機制。「健康記錄被保存在一大堆彼此隔離的系統當中，而資料持有者沒有足夠的動力來分享這些信息，」分布式資料庫供應商Cloudant公司聯合創始人兼首席科學家 MikeMiller表示。「即使我們真的把所有數據都歸攏在一起，也仍然需要通過機器學習演算法及實時分析對其進行全面優化。這也正是我們目前正在努力鑽研的課題。」
人腦圖譜：了解身體的各個部分如何運作
人類大腦模型能夠為科學研究帶來巨大幫助。醫生可以查看腫瘤的生長情況或者了解大腦如何通過一系列功能控制身體的其它器官。目前已經有包括歐洲人類大腦項目在內的多個科學項目嘗試在未來十年之內創建出大腦模擬系統。
障礙何在？要完成這項工作，我們需要一台運算速度千倍於當前水平的超級計算機。大腦當中存在數以百萬計的神經遞質，而且它們彼此之間互相連通、共同數據我們所接觸到的「數據」。
「這樣的計算規模要求我們從傳統的硅晶元領域脫離出來，邁向生物晶元時代——這是分子計算的前提條件，」曾任柯林頓政府前副助理國務卿（負責運輸體系技術政策）、現任霍華德大學教授的OliverG.McGee解釋道。「從直觀角度看，分子計算在數據管理方面的運算速度比傳統硅晶元高750倍，只有這樣的機制才能處理顱腹腦體系當中的關系認知奧秘。」
統籌世界范圍內的鈾原料供應：追蹤武器化活動與能源供給
毫無疑問，在全球范圍內收集任何數據都將是一項極為艱巨的任務，但追蹤全球鈾原料供應至少擁有其積極意義——當然，前提是所有信息碎片都能嚴絲合縫地被拼接在一起。
數據收集企業Connotate公司CEOKeithCooper指出，我們目前只能解決其中一部分難題，因為某些國家並沒有公開其鈾原料供應記錄。「目前，很多鈾儲量豐富的國家雖然已經擁有便捷的互聯網體系，但卻仍然拒絕以標准化方式公布其資源流向。」幸運的是，計算宏觀形勢倒不太困難——畢竟將鈾原料投入武器化領域的國家數量有限。
我們真正需要追蹤並掌握的是全球可用鈾原料當中最為寶貴的、僅佔15%的濃縮鈾，他解釋道。「我們需要識別並追蹤所有與濃縮鈾相關的銷售活動（通過黑市或者合法渠道）以及礦藏分布，並通過論壇、博客、監管機構及其它周邊體系進行數據統計，包括各政府及非政府組織對於鈾原料生產數據及開采活動的報道等。為了處理收集到的這些結果，我們還需要設計出一套智能化人機交流方案。」
全球實時犯罪數據：更加主動的警務處理能力
很多地方性執法機構已經掌握著非常豐富的犯罪數據，警務人員則可以在自己的警車內輕松訪問犯罪記錄資料庫，從而根據犯罪嫌疑人的具體情況做出反應。
障礙何在？這些數據只包含過往的罪行，Cloudant公司的Miller表示，其中無法體現剛剛發生或者正在進行中的犯罪活動。由於無法在犯罪活動進行的過程中進行阻止，警方只能被迫採取更為被動的應對措施。
不過情況已經有所轉變，Miller指出。舉例來說，加利福尼亞州奧克蘭市警方已經配備聲學監控器用於識別槍聲。技術人士將其稱為 「ShotSpotter」，配合大數據分析機制即可用於追蹤潛在的犯罪發生地點，警員則根據分析結論立即前往對應位置。實時犯罪數據所帶來的易處並不局限於執法領域：TruliaLocal熱點地圖能夠提供犯罪活動報告，從而幫助住房買家選擇更友善、更安全的生活環境。
追蹤兒童行蹤：更好、更及時的AmberAlert
時至今日，我們已經擁有很多種通報失蹤兒童的方式，例如美國所採用的AmberAlert系統。不過這些通告機制的最大問題在於，只能在事後發起提醒。追蹤兒童位置所必要的技術已經存在，當下大部分智能手機都能通過谷歌位置報告功能將兒童的當前所在地發送給父母。與此同時，大眾汽車的Car-Net以及福特汽車的MyKey應用也能在青少年駕車到達特殊地理位置時發送報告。
障礙何在？分析。數字營銷企業RoundarchIsobar公司副總裁JaisonManian指出，預測技術能夠助我們一臂之力。大數據廠商能夠分析兒童的行為模式，當然前提是家長願意分享相關數據。
「預測分析能夠追蹤兒童的日常行動模式，並在出現嚴重偏差時立即向父母發出警示，」他表示。只要滿足警示條件，信息會被實時發出 ——這能有效阻止重大事故的發生。
以上是小編為大家分享的關於大數據急需攻克的五大世界性難題的相關內容，更多信息可以關注環球青藤分享更多干貨
㈡ 大數據發展的前景怎麼樣
大數據主要的三大就業方向：
大數據系統研發類人才；
大數據應用開發類人才；
大數據分析類人才。
大數據十大就業職位：
一、ETL研發
隨著數據種類的不斷增加，企業對數據整合專業人才的需求越來越旺盛。ETL開發者與不同的數據來源和組織打交道，從不同的源頭抽取數據，轉換並導入數據倉庫以滿足企業的需要。
ETL研發，主要負責將分散的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
目前，ETL行業相對成熟，相關崗位的工作生命周期比較長，通常由內部員工和外包合同商之間通力完成。ETL人才在大數據時代炙手可熱的原因之一是：在企業大數據應用的早期階段，Hadoop只是窮人的ETL。
二、Hadoop開發
Hadoop的核心是HDFS和MapRece.HDFS提供了海量數據的存儲，MapRece提供了對數據的計算。隨著數據集規模不斷增大，而傳統BI的數據處理成本過高，企業對Hadoop及相關的廉價數據處理技術如Hive、HBase、MapRece、Pig等的需求將持續增長。如今具備Hadoop框架經驗的技術人員是最搶手的大數據人才。
三、可視化（前端展現）工具開發
海量數據的分析是個大挑戰，而新型數據可視化工具如Spotifre，Qlikview和Tableau可以直觀高效地展示數據。
可視化開發就是在可視開發工具提供的圖形用戶界面上，通過操作界面元素，由可視開發工具自動生成應用軟體。還可輕松跨越多個資源和層次連接您的所有數 據，經過時間考驗，完全可擴展的，功能豐富全面的可視化組件庫為開發人員提供了功能完整並且簡單易用的組件集合，以用來構建極其豐富的用戶界面。
過去，數據可視化屬於商業智能開發者類別，但是隨著Hadoop的崛起，數據可視化已經成了一項獨立的專業技能和崗位。
四、信息架構開發
大數據重新激發了主數據管理的熱潮。充分開發利用企業數據並支持決策需要非常專業的技能。信息架構師必須了解如何定義和存檔關鍵元素，確保以最有效的方式進行數據管理和利用。信息架構師的關鍵技能包括主數據管理、業務知識和數據建模等。
五、數據倉庫研究
數據倉庫是為企業所有級別的決策制定過程提供支持的所有類型數據的戰略集合。它是單個數據存儲，出於分析性報告和決策支持的目的而創建。為企業提供需要業務智能來指導業務流程改進和監視時間、成本、質量和控制。
數據倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數據一體機。能夠在這些一體機上完成數據集成、管理和性能優化等工作。
六、OLAP開發
隨著資料庫技術的發展和應用，資料庫存儲的數據量從20世紀80年代的兆（M）位元組及千兆（G）位元組過渡到現在的兆兆（T）位元組和千兆兆（P）位元組，同時，用戶的查詢需求也越來越復雜，涉及的已不僅是查詢或操縱一張關系表中的一條或幾條記錄，而且要對多張表中千萬條記錄的數據進行數據分析和信息綜合。聯機分析處理（OLAP）系統就負責解決此類海量數據處理的問題。
OLAP在線聯機分析開發者，負責將數據從關系型或非關系型數據源中抽取出來建立模型，然後創建數據訪問的用戶界面，提供高性能的預定義查詢功能。
七、數據科學研究
這一職位過去也被稱為數據架構研究，數據科學家是一個全新的工種，能夠將企業的數據和技術轉化為企業的商業價值。隨著數據學的進展，越來越多的實際工作 將會直接針對數據進行，這將使人類認識數據，從而認識自然和行為。因此，數據科學家首先應當具備優秀的溝通技能，能夠同時將數據分析結果解釋給IT部門和業務部門領導。
總的來說，數據科學家是分析師、藝術家的合體，需要具備多種交叉科學和商業技能。
八、數據預測（數據挖掘）分析
營銷部門經常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發者有些場景看上有有些類似數據科學家，即在企業歷史數據的基礎上通過假設來測試閾值並預測未來的表現。
九、企業數據管理
企業要提高數據質量必須考慮進行數據管理，並需要為此設立數據管家職位，這一職位的人員需要能夠利用各種技術工具匯集企業周圍的大量數據，並將數據清洗 和規范化，將數據導入數據倉庫中，成為一個可用的版本。然後，通過報表和分析技術，數據被切片、切塊，並交付給成千上萬的人。擔當數據管家的人，需要保證 市場數據的完整性，准確性，唯一性，真實性和不冗餘。
十、數據安全研究
數據安全這一職位，主要負責企業內部大型伺服器、存儲、數據安全管理工作，並對網路、信息安全項目進行規劃、設計和實施。數據安全研究員還需要具有較強的管理經驗，具備運維管理方面的知識和能力，對企業傳統業務有較深刻的理解，才能確保企業數據安全做到一絲不漏。
㈢ 如何應對大數據的挑戰
合理獲取數據，存儲應需而變，篩選和分析大數據，理性面對大數據的誘惑，雲計算和大數據相輔相成，處理好非結構化數據，與硬體保持距離，提高大數據的可視化，安全防範必不可少。
㈣ 大數據初創企業面臨的五大挑戰
大數據初創企業面臨的五大挑戰
近幾年，數據逐漸成為驅動業務的主要推動力。 更重要的是,大數據是可以幫助企業改善策略,提高運營效率和加速增長。
75% 的龍頭企業說,他們已經或計劃在未來幾年在大數據基礎設施方面布局。大量的新的和令人興奮的大數據初創公司出現來滿足企業客戶日益增長的需求。
雖然大數據吸引力巨大，但是考慮到66% 的創業公司一般會在12個月失敗，大數據初創公司們仍然面臨著很多挑戰。
挑戰一 缺乏人才
大數據市場在不斷增長，60%的領導者認為他們今年在大數據運營上會花費更多，只有5%預測預算會減少，最大的問題在於,這種增長將超過其實現它所需的人才和規模應用。
據麥肯錫的報告稱，美國的大數據人才需求在2018年將達到 170萬，大約在同一時間,美國數據市場價值將達到 415億美元。隨著行業的發展，人才技能差距將拉大。沒有簡單的解決方案,是唯一真正的修復是隨著時間的推移,人才自然會增加以滿足市場需求。
(這里還有一點諷刺,因為許多大數據初創企業試圖通過自己的軟體來解決市場上人才缺乏的問題，但他們同樣面臨招不到人。)
挑戰二 人才成本高
71% 企業和IT組織認為自己在利用數據方面剛達到平均水平或滯後。顯然需要提高整體人才能力和教育現有的勞動力。目前在員工的培訓上，為了跟上新開發產品需要大量成本。
這樣的培訓運營費用在2013年全球達到1300億，考慮到數據業務的快節奏的性質和隨後的需要更多的人員和持續培訓,這些成本只會持續上升。
挑戰三 解決理想與現實的沖突
在最近《華爾街日報》上 一篇有關Hadoop 的文章上黛博拉·蓋奇說，：一些評論把大數據捧地過於高了，對大數據的」炒作」使許多組織盲目的為採用而採用:他們急切地擁抱工具,但往往不關注他們的需求,只是因為這些工具似乎是最受歡迎的(Hadoop是一個例子)。
進一步復雜化的是,大數據平台本質上是厚數據。這使得供應商很難去表達它的功能和優點，甚至更難讓客戶們去理解。這就是為什麼, 據Gartner 說,到2017年,60%的大數據項目將無法超越試點和實驗,並將被放棄。 讓大數據項目更加落地是未來的重點。
挑戰四 融資障礙
大數據在風投界獲得了極大的關注和驚人的資金, Hortonworks和 Dataminr的 融資近1億美元就是很好的證明。 但在許多方面,爭奪現金變得不利於新公司。
由於行業的發展，風投們會更親睞具有挑戰性的企業家，很多公司喜歡Palantir,MongoDB和Mu Sigma (至少有2億美元投資)。 因為資金增加了,在某種程度上我們可以預期投資者變得更加初步承諾投資,而不是投資於更成熟的新銳品牌。
挑戰五 更殘酷的競爭
全球大數據預計在2015年產值達到 1250億美元,創業並不孤單; 他們面臨SAP微軟和IBM這樣的數十億美元的大公司的殘酷競爭。
這些巨人可以釋放功能更新產品,收購同類公司。他們的資金是無限的,而初創企業必須更加精細化他們的產品只是為了維持他們的現金消耗速率。
實際上,這是一件好事。初創公司成功的最佳方式和關注一個點和把它做好，大公司總是在尋找方法來獲得競爭優勢。 如果你在存儲、分析等方面有極大的優勢，被收購也是個不錯的選擇。
以上是小編為大家分享的關於大數據初創企業面臨的五大挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨
㈤ 大數據安防應用 三種技術及五大挑戰
大數據安防應用 三種技術及五大挑戰
1大數據安防應用的幾種關鍵技術
在安防行業，隨著前端設備解析度的不斷提高、安防系統建設規模的不斷擴大以及視頻、圖片數據存儲的時間越來越長，安防大數據問題日益凸顯。如何有效對數據進行存儲、共享以及應用變得愈加重要。要應用安防大數據，首先要了解安防大數據有何特點。
安防大數據涉及的類型比較多，主要包含結構化、半結構化和非結構化的數據信息。其中結構化數據主要包括報警記錄、系統日誌、運維數據、摘要分析結構化描述記錄以及各種相關的信息資料庫，如人口庫、六合一系統信息等；半結構化數據如人臉建模數據、指紋記錄等；而非結構化數據主要包括視頻錄像和圖片記錄，如監控、報警、視頻摘要等錄像信息和卡口、人臉等圖片信息。區別於其他行業大數據特點，安防大數據以非結構化的視頻和圖片為主，如何對非結構化的數據進行分析、提取、挖掘及處理，對安防行業提出了更多挑戰。
大數據
對於安防視頻圖像數據，傳統的處理方式主要靠事後人工查閱來完成，效率極低。面對海量的安防數據，如果繼續採用傳統方式，不僅效率低下，而且不能達到實戰應用目的，偏離了安防系統建設目的。為充分利用安防系統價值，提升對安防大數據的應用能力，大華股份從多層次、全方位考慮產品和方案規劃，不斷提升對於安防有效信息的快速挖掘能力。
要提升安防大數據的處理效率，首先要從智能分析做起，快速過濾無效信息。大華智能分析從多維度、多產品形態來實現。如對於事件檢測、行為分析、異常情況報警等，大華前端、存儲以及平台系統產品都能夠快速實現智能檢測，並通知系統對事件進行快速響應，這些產品從某種層面上將安防有效數據的分析分散化，大大加快了整個系統的大數據處理應用速度。此外，大華還推出了基於雲存儲系統的大數據應用系統，如視頻編解碼系統、車輛研判系統、以圖搜圖系統、視頻濃縮摘要系統、人臉識別系統以及車型識別系統等等。
大數據安防應用的幾種關鍵技術
1)大數據融合技術
經過十幾年的發展，國內安防系統建設基本形成了是以平安城市、智能交通系統為主體，其他行業系統有效完善的發展態勢。而「重建設、輕應用」的現況給安防應用提出了更高要求，如何解決這些問題成為當務之急。
為實現數據融合、數據共享，首先要解決存儲「分散」問題，大華雲存儲系統不僅能夠實現數據的有效融合與共享，解決系統在硬體設備故障條件下視頻數據的正常存儲和數據恢復問題，為安防大數據應用分析提供可靠基礎。
2)大數據處理技術
安防大數據以半結構化和非結構化數據居多，要實現對安防大數據的分析和信息挖掘，首先要解決數據結構化問題。所謂的數據結構化就是通過某種方式將半結構化和非結構化數據轉換為結構化數據。大華通過採用先進的雲計算系統對安防非結構化數據進行結構化處理，為大數據的進一步分析和應用提供進一步支持。
3)大數據分析和挖掘技術
國內平安城市歷經十幾年的建設，在解決了穩定性、規模化之後，當下面臨的問題是如何深化應用的問題，即如何實現公安部的要求，建為用、用為戰的目標，實現對安防系統的深層次應用。
對安防大數據而言，要實現業務的深層次應用，首先需要對安防數據進行分析和挖掘，以雲存儲和雲計算系統為基礎，通過雲計算系統實現對「大數據」的快速分析，如基於雲的車牌識別，可通過對海量視頻的分析，快速提取海量車牌信息，並通過應用系統對相關數據進行深一步挖掘、關聯，形成有效「檔案」。最後利用這些分析和挖掘的數據實現對事件的預測預防、報警，最終實現安防系統建設的實戰應用目的。
2大數據成熟行業應用大數據成熟行業應用
安防視頻監控行業是伴隨著平安城市、智能交通而發展起來了，新一輪的智慧城市建設也為安防行業的再次發展注入了「**」。隨著各地安防系統建設規模不斷增大，安防數據迅速膨脹。由於缺乏適當的手段去利用這些海量數據，導致了「重建設、輕應用」現象，下面就安防大數據在公安和交通行業的應用進行簡單介紹。
1)公安執法
在公安行業，大數據應用無處不存，下面簡單介紹一下大數據應用在公安行業幾個業務體現。
第一是稽查布控業務。當案件發生後，需要對嫌疑車輛進行稽查布控，一般採用布控車牌號，通過系統比對卡口車輛信息進行識別，但這種方式存在問題。當布控車輛從某個卡口經過時，攔截人員通常不在現場，等到攔截人員趕到現場時，嫌疑車輛早已逃之夭夭，從而失去布控的意義。對於這種情況，可實現移動警務、GIS系統有效關聯，通過在GIS系統中繪制嫌疑車輛逃跑路線和防控識別圈，可大大提高攔截效率；
第二是車輛落腳點分析業務。隨著城市的快速發展，城市越來越大，路網也越來越復雜，為迅速逃脫公安機關的抓捕，很多犯罪分子避開城區主幹道(一般來說，城區主幹道都裝有電子卡口)，逃竄到人員比較多的小區或偏僻區域。大華股份通過建設雲卡口，通過視頻實現卡口相機功能，對海量數據進行雲卡口識別，結合GIS系統，將嫌疑車輛軌跡描繪出來，大大提高公安辦案效率。
第三是伴隨車輛分析。由於公眾安全防範意識的不斷提高，犯罪分子獨立實施犯罪行為的成功率大大降低，因此，新時期的犯罪行為，開始表現為團伙作案。在踩點和作案時，犯罪團伙通常會使用多輛汽車，以提高成功率。從卡口系統的角度看，團伙作案具體表現為多輛車同時出沒於特定卡口覆蓋范圍，利用該特徵，我們可以從海量的卡口車輛數據中，提取滿足特定條件(如車輛行進路線、車輛通行間隔時間、跟車數量以及分析起止時間范圍等)的車輛，提高案件偵破效率。此外，在公安行業還有基於人臉識別的人臉卡口、視頻摘要等安防大數據應用。
2)智能交通
第一是旅行時間計算。由於電子狗的大量使用，不少駕駛員在通過卡口時，會主動降低速度，一旦離開卡口覆蓋范圍，又會迅速提高速度，超速行駛。傳統的單點測度無法發現這種超速行為，利用區間測速便可快速檢測違章行為，且可減少區域卡口數量，節省建設成本。而當發現相同車牌在相距較遠卡口同時出現時，還可檢測出套牌車輛，並可通知相關人員進行攔截追捕。
第二是交通流量分析。對於交通流量的檢測，傳統方式是通過地磁、微波檢測完成的，但這種檢測只能檢測車輛數量，卻無法檢測相關車牌號，這就限制了傳統流量分析的應用場景，智能對單一路段進行分析，無法形成全局的流量分析。而卡口系統記錄了車輛號碼、車身顏色、車型等更多詳細信息，基於卡口系統的流量分析，不僅可計算出城市各小區機動車數量分布，指導出行目的地分析、出行路線分析等應用，而且能夠根據車輛流量信息找出城市熱點區域，為交管部門提供參考，更好地優化路網機制，規劃更為合理的路網參數。
此外，還可通過智能分析系統，對卡口數據進行深層次分析與挖掘，不僅識別車輛車牌號，而且實現對車輛品牌、車輛型號、是否粘貼年檢標識、駕駛員是否系安全帶、是否駕駛時撥打電話等一些行為狀態識別，從而進一步規范車輛達標和安全駕駛行為。
3大數據安防面臨的挑戰大數據安防面臨的挑戰
(1)海量非結構化數據存儲
相較於其他行業，安防非結構化的數據存儲壓力不斷增大，一方面源於視頻、圖片等非結構化數據本身容量，另一方面源於安防數據規模的不斷擴大，安防大數據存儲對系統設備提出了更高挑戰，如何在滿足需求的前提下，刪除重復數據、降低存儲硬體成本投資成為海量數據存儲的一個難題
(2)數據共享
大數據需要通過快速的採集、發現和分析，從大量化、多類別的數據中提取價值。安防大數據時代最顯著的特徵就是海量和非結構化數據共享，用以提高數據處理能力。而海量數據存儲在不同系統、不同區域、不同節點、不同設備中，這給數據的傳輸和共享帶來極大的挑戰：
(3)數據安全
視頻監控數據具有私密性高、保密性強等特點，不僅是事後追查的依據，而且更是後續數據分析挖掘的基礎。因此，數據安全一方面體現在數據不受外界入侵或非法獲取，另一方面體現在龐大數據系統的魯棒性、體系容錯機制，確保硬體在發生故障時數據可以恢復，可以繼續保存。面對海量數據的存儲、共享、硬體和軟體設備承載的極大風險，如何構建大型、海量視頻監控存儲系統、數據分析系統以及容錯冗餘機制是安防行業面臨的重大考驗；
(4)數據利用
安防監控雖然數據量很大，但真正有用的信息並不多。安防數據的有效性分為兩個方面，一方面有效信息可能只分布在一個較短的時間段內，根據統計學原理，信息呈現冪率分布，往往越高密度的信息對客戶價值越大；另一方面，數據的有效性體現在深層次挖掘龐大的海量數據，關聯得出有效信息。視頻監控業務網路化、大聯網後，網內的設備越來越多，利用網內的閑置資源，實現資源的最大化利用，關乎運算的效率。在視頻監控領域，往往視頻分析的效率決定價值，更低的延遲、更准確的分析往往是客戶的普遍需求。如何對海量的視頻數據進行分析檢索業對行業提出更大的挑戰。
(5)缺乏統一標准
國內安防行業經歷十幾年的快速發展，在此發展過程中，平安城市建設表現卓越，在安防應用中也一直走在前列，國內平安城市系統的建設也不斷推動著國內安防技術和安防廠商的發展。在平安城市項目的建設過程中，由於參與的安防廠家眾多，不同項目、不同系統甚至同一系統採用的設備廠商也不盡相同，為了更好的兼容各廠商產品，整個安防行業和政府也制定了一些標准，如ONVIF協議、GB28181協議以及各個地方省市發布的一些標准。
新一輪的智慧城市正在緊鑼密鼓地進行著，相對平安城市相對「簡單」的治安監控，智慧城市要求數據共享，跨區域視頻聯網監控、監控資源整合與共享以及政府各部門之間的視頻監控資源共享等等。但是不同的地方城市，不同的行業類別，不同的管理方式都會有不同的監控系統方案，數據融合或者共享兼容性問題更多，對整個系統建設是重大考驗。
平安城市系統面向的是安防行業設備與系統的兼容問題，隨著各種行標、地標的制定，各種問題基本得以解決；而智慧城市系統不僅僅是安防系統的整合，而是多個行業系統的集成應用，因缺乏統一標准帶來的復雜性可想而知。慶幸的是國家目前已經開始起草智慧城市建設的各種標准，而相關企業也在不斷規范自身系統的兼容性和開放性。
以上是小編為大家分享的關於大數據安防應用 三種技術及五大挑戰的相關內容，更多信息可以關注環球青藤分享更多干貨
㈥ 我國大數據戰略實施面臨的五大挑戰
我國大數據戰略實施面臨的五大挑戰
一、我國實施國家大數據戰略的新成效
近幾年，在國家政策支持下，我國大數據戰略取得多方面成效：
一是產業集聚效應初步顯現。國家八個大數據綜合實驗區建設促進了具有地方特色產業集聚。京津冀和珠三角跨區綜合試驗區，注重數據要素流通;上海、重慶、河南和沈陽試驗區，注重數據資源統籌和產業集聚;內蒙的基礎設施統籌發展，充分發揮能源、氣候等條件，加快實現大數據跨越發展。
二是新業態新模式不斷涌現。我國在大數據應用方面位於世界前列，特別是在服務業領域，如基於大數據的互聯網金融及精準營銷迅速普及;在智慧物流交通領域，通過為貨主、乘客與司機提供實時數據匹配，提升了物流交通效率。
三是與傳統產業融合步伐加快。鐵路、電力和製造業等加快了運用信息技術和大數據的步伐。高鐵推出「高鐵線上訂餐」等服務，提升了乘客體驗。電力企業推廣智能電表，提高了企業利潤。三一重工、航天科工、海爾等一批企業將自身積累的智能製造能力，向廣大中小企業輸出解決方案，著手建設工業互聯網平台。
四是技術創新取得顯著進展。互聯網龍頭企業伺服器單集群規模達到上萬台，具備了建設和運維超大規模大數據平台的技術實力，並以雲服務向外界開放自身技術服務能力和資源。在深度學習、人工智慧、語音識別等前沿領域，我國企業積極布局，搶占技術制高點。
五是產業規模快速增長。2016年我國包括大數據核心軟硬體產品和大數據服務在內的市場規模達到3100億元。預計2017年有望達到4185億元。未來2-3年市場規模的增長率將保持在35%左右。未來5年，年均增長率將超過50%。
六是一批企業快速成長。主要分為三類：一類是已經有獲取大數據能力、具有一定國際影響力的公司，如網路、騰訊、阿里巴巴等互聯網巨頭;二是以華為、浪潮、中興、曙光、用友等為代表的電子信息通信廠商;三是以億贊普、拓爾思、九次方等為代表的大數據服務新興企業。
七是法治法規建設全面推進。先後制定和出台《全國人大常委會關於加強網路信息保護的決定》《全國人大常委會關於加強網路信息保護的決定》《電信和互聯網用戶個人信息保護規定》《電話用戶真實身份信息登記規定(部令第25號)》《中華人民共和國網路安全法》等文件，保障用戶隱私和合法權益。
二、我國實施國家大數據戰略面臨的挑戰
一是數據權屬不清晰，數據流通和利用混亂。大數據帶來了復雜的權責關系，產生數據的個人、企業、非政府組織和政府機構，擁有數據存取實際管理權的雲服務提供商和擁有數據法律和行政管轄權的政府機構，在大數據問題上的法律權責不明確，數據產權承認和保護存在盲點，阻礙了數據有效流通。
二是數據爆炸式增長與數據有效利用矛盾突出。當前面臨的問題不是數據缺乏，而是數據快速增長與數據有效存儲和利用之間矛盾日益突出。數據呈爆炸式增長，每兩年數據量翻10倍，而摩爾定律已接近極限，硬體性能提升難以應對海量數據增長。
三是企業與政府數據雙向共享機制缺乏。目前，我國政府、少數互聯網企業和行業龍頭企業掌握了大部分數據資源，但數據歸屬處於模糊狀態，法律規定不明確，政府與企業數據資源雙向共享不夠。
四是發展一哄而上，存在過度競爭傾向。截止2017年1月，全國37個省、市出台大數據發展規劃，90%提出要統籌建設政府和行業數據中心，有12個省市提出建設面向全國的大數據產業中心，有14省(市)合計產值目標過2.8萬億元，遠遠超過工信部提出到2020年1萬億元大數據產值發展目標。
五是安全問題日益凸顯。截至2017年7月，全國共偵破侵犯公民個人信息案件和黑客攻擊破壞案件1800餘起，抓獲犯罪嫌疑人4800餘名，查獲竊取的各類公民個人信息500多億條。烏克蘭電力系統和伊朗核設施遭遇網路攻擊，也給我國電力、石油、化工、鐵路等重要信息系統安全敲響了警鍾。
三、 更好實施我國國家大數據戰略政策建議
按照十九大精神，要著力推動大數據與實體經濟深度融合，建設數字中國和智慧社會，實現網路強國的目標，需要從政府、企業、社會組織和個人等統籌推動國家大數據戰略落實。
(一)完善機制與制度，更好發揮政府作用。在體制機制方面，建議設立由國務院領導擔任組長的國家大數據戰略領導小組，負責組織領導、統籌協調全國大數據發展。領導小組下設辦公室和大數據專家咨詢委員會。
在法規建設方面，加快制定《大數據管理條例》，鼓勵行業組織制定和發布《大數據挖掘公約》和《大數據職業操守公約》，在條件成熟時啟動《數據法》立法，明確數據權屬，培育大數據市場，加快數據作為生產要素規范流通。
在產業政策方面，出台數字經濟優惠政策，創新數字經濟監管模式，加強重點人群大數據應用能力培訓，創造更多就業。
在試點示範方面，在環境治理、食品安全、市場監管、健康醫療、社保就業、教育文化、交通旅遊、工業製造等領域開展大數據試點應用，以點帶面提升大數據應用能力。
在資源共享方面，按照「邏輯統一、物理分散」原則，通過建設國家一體化大數據中心和國家互聯網大數據平台，探索政府與企業數據資源雙向共享機制。
在發展環境方面，著力部署下一代新基礎設施，加快我國信息基礎設施優化升級，制定政府大數據開發與利用的「負面清單」「權力清單」和「責任清單」，建立統計和評估指標體系，營造良好的輿論環境，防止炒作大數據概念，引導全國大數據健康有序發展。
在數據安全方面，加快落實《中華人民共和國網路安全法》，建立國家關鍵基礎設施信息安全保護制度，明確監管機構的關鍵基礎設施行業主管部門的信息安全監督管理職責，加快推動國產軟硬體的應用推廣，提升安全可控水平。
(二)對企業分類施策，發揮市場資源配置決定性作用。一是發揮互聯網龍頭企業引領和帶動作用。網路、騰訊、阿里、京東為代表的龍頭企業技術和人才儲備雄厚，具有強大的數據資源收集、存儲、計算和分析能力，成為我國大數據技術進步的主要推動力。應像使用電、水、交通等傳統基礎設施一樣，互聯網龍頭企業向各行業提供高性能和低成本的大數據服務，幫助傳統企業提升效率，提升核心競爭力。
二是發揮重要行業龍頭企業數據和用戶優勢。我國電力、交通、金融等諸多行業龍頭集聚了海量用戶和數據，是未來我國大數據戰略實施的主戰場和大數據價值真正「鑽石礦」。應發揮鐵路、電力、金融等重要行業龍頭企業優勢，通過與互聯網龍頭企業深度合作，利用其技術優勢，深度挖掘數據資源，提升自身核心競爭力，並幫助中小企業發展。
三是發揮通信運營商生力軍作用，為大數據發展提供基礎性戰略性資源。我國移動、電信、聯通等擁有全球最多的電話用戶，積累了海量數據，是我國信息社會的戰略性資源。應充分發揮自身在網路方面的優勢，推動移動互聯網、雲計算、大數據、物聯網等與行業結合，助力智慧城市、交通、能源、教育、醫療、製造、旅遊等行業的創新和發展。
(三)激發社會組織活力，構建新型協作關系。構建政府和社會組織互動的信息採集、共享和應用協作機制，提高社會組織大數據應用意識和能力，與具有大數據技術的企業合作，提高社會事業精準化水平和資金使用效率。針對發展需要、重視科技引領，整合廣大科研機構和事業單位力量，加強大數據基礎理論、方法和技術研究，推動關鍵技術突破。
(四)提升公民數據意識和能力，推動「數字公民」建設。通過給每位公民一個數字身份，方便公民獲取個性化、智慧化精準服務，提高政府公共服務的精準度與實效性，推動社會治理向精細化、智慧化轉變。要提高公民數據素養，增強公民數據權利意識，提高大數據應用能力。
㈦ 大數據發展前景如何
隨著信息技術和人類生產生活交匯融合，全球數據呈現爆發增長、海量集聚的特點。無論是國家、企業還是社會公眾，都越來越認識到數據的價值。因此，近年來，各地紛紛成立大數據發展局，企業紛紛推動數據資產治理，大數據輻射的行業也從傳統的電信、金融逐漸擴展到工業、醫療、教育等。一時間，彷彿各行各業都在談大數據，人人都在談大數據。但也有聲音說大數據迎來了「七年之癢虛爛世」，面對大數據熱潮也需要一些「冷思考」。我國大數據究竟發展得如何？未來我國大數據發展還有哪些機遇和挑戰？
1、大數據產業進展顯著
過去幾年，大數據理念已經深入人心，「用數據說話」已經成為所有人的共識，數據也成了堪比石油、黃金、鑽石的戰略資源。五年來，我國大數據產業政策日漸完善，技術、應用和產業都取得了非常明顯的進展。
在政策方面，我國從中央到地方的大數據政策體系已經基本完善，目前已經進入落地實施階段。自從2014年「大數據」這個詞寫入政府工作報告以來，我國大數據發展的政策環境掀開了全新的篇章。在頂層設計上，國務院《促進大數據發展行動綱要》對政務數據共享開放、產業發展和安全三方面做了總體部署。《政務信息資源共享管理暫行辦法》《大數據產業發展規劃（2016-2020）》等文件也都已經出台。十九大報告中提出「推動大數據與實體經濟深度融合」，「十三五」規劃中提出「實施國家大數據戰略」。衛健、農業、環保、檢察、稅務等部門還出台了領域大數據發展的具體政策。截至2019年初，所有省級行政區都發布了大數據相關的發展規劃，十幾個省市設立了大數據管理局，8個國家大數據綜合試驗區、11個國家工程實驗室啟動建設。可以說，大數據的政策體系已經基本搭建完成，目前已經紛紛進入落地實施甚至評估檢查階段。
在技術方面，我國大數據技術發展屬於「全球第一梯隊」，但國產核心技術能力嚴重不足。我國獨有的大體量應用場景和多類型實踐模式，促進了大數據領域技術創新速度和能力水平，處於國際領先地位。在技術全面性上，我國平台類、管理類、應用類技術均具有大面積落地案例和研究；在應用規模方面，我國已經完成大數據領域的最大集群公開能力測試，達到了萬台節點；在效率能力方面，我國大數據產品在國際大數據技術能力競爭平台上也取得了前幾名的好成績；在知識產權方面，2018年我國大數據領域專利公開量約佔全球的40%，位居世界第二。但我國大數據技術大部分為基於國外開源產品的二次改造，核心技術能力亟待加強。例如，目前國內主流大數據平台技術中，自研比例不超過10%。
在產業方面，我國大數據產業多年來保持平穩快速增長，但面臨提質增效的關鍵轉型。2018年，我國大數據產業延續多年來的增速，繼續保持相對高速的增長。根據中國信息通信研究院的歷槐測算，2018年我國大數據產業整體規模有望達到5400億元，同比增長15%。然而，綜合國內外環境、新興技術發展等多種因素，大數據產業的增速出現了下滑。我國的大數據產業也面臨著從高速發展向高質量發展的關鍵轉型期。
在應用方面，大數據的行業應用更加廣泛，正加速滲透到經濟社會的方方面面。隨著大數據工具的門檻降低以及企業數據意識的不斷提升，越來越多的行業開始嘗到大數據帶來的「甜頭」。無論是從新增企業數量、融資規模還是應用熱度來說，與大數據結合緊密的行業正在從傳統的電信業、金融差肢業擴展到政務、健康醫療、工業、交通物流、能源行業、教育文化等，行業應用「脫虛向實」趨勢明顯，與實體經濟的融合更加深入。
2、產業的五大困局
雖然我國大數據總體發展形勢良好，也面臨難得的發展機遇，但仍然存在一些困難和問題。
一是，涉及核心技術的產業發展薄弱，未能有效提升我國核心技術競爭力。核心技術的影響力在大數據產業有著極高的重要性。由於大數據企業在完成產品開發後，可以近乎零成本無限制的復制，因此擁有核心技術的大企業，很容易將技術優勢轉化為市場優勢，即憑借具體的信息產品贏得海量用戶獲得壟斷地位。當前，從大數據技術與產品的供給側看，我國雖然在局部技術實現了單點突破，但大數據領域系統性、平台級核心技術創新仍不多見。大數據處理工具都是「他山之石」，大部分企業用的都是國外的數據採集、數據處理、數據分析、數據可視化技術，自主核心技術突破還有待時日。尤其是開源產品的技術標准方面，我國的影響力尚亟待提升。
二是，數據孤島和壁壘降低了大數據產業資源配置效率。大數據產業發展必須實現數據信息的自由流動和共享，如果數據不開放、不共享，數據整合就不能實現，數據價值也會大大降低。無論是政府數據、互聯網數據還是其他數據，數據擁有者往往不願對其進行開放流通。受制於前期信息基礎設施建設，目前我國政府數據往往還存在著諸多「數據孤島」和「數據煙囪」，數據價值難以發揮。
三是，數據安全管理薄弱增加了大數據產業的發展風險。大數據技術為經濟社會發展帶來創新活力的同時，也使數據安全、個人信息保護乃至大數據平台安全等面臨新威脅與新風險。海量多源數據在大數據平台匯聚，來自多個用戶的數據可能存儲在同一個數據池中，並分別被不同用戶使用，極易引發數據泄露風險。利用大數據技術對海量數據（21.90 -5.19%,診股）進行挖掘分析所得結果可能包含涉及國家經濟社會等各方面的敏感信息，需要對分析結果的共享和披露加強安全管理。
四是，產業壟斷與惡性競爭現象頻發，「劣幣驅逐良幣」現象明顯。由於資源型產業門檻低、利潤高，新興的大數據企業往往首先將目光盯在獲取數據資源上面。大量依託數據資源優勢的企業誕生，為大數據產業帶來了低附加值的壟斷經濟模式，使得依靠技術壁壘打江山的企業不得不面對殘酷的市場競爭，放緩了技術研發的步伐。同時，數據壟斷問題也愈發明顯。少數互聯網巨頭企業擁有巨大數據，不但對產業發展不利，甚至存在巨大的數據聚集隱患。
五是，各地發展同質化嚴重，普遍存在重存儲輕應用的現象。由於缺乏統一的大數據產業分類統計體系和產業運行監測手段，各地大數據產業的定位相似，同質化競爭加劇。而盲目的重復建設，更是可能導致大數據產業過剩。同時，由於部分地區信息化發展程度有限，大數據應用場景不夠豐富，更是以數據中心等大數據存儲設施的建設作為發展大數據產業的關鍵，且規模巨大，目標動輒以百萬台計，後期若無法有效利用，將造成巨大的資源浪費。