大數據面臨問題研究

Ⅰ 大數據發展遇到的困境

大數據的理念已經被追捧多年，但是還遠未達到人們想像的完全實用的程度。大數據的發展受阻主要表現在以下幾個方面:

1.數據基礎的缺失

大數據發展的前提條件是要有豐富的數據源，對於製造業，IT行業數據化程度比較高，雖然缺少資源共享和信息交換，但至少可以在公司內部探索和嘗試。

但對於教育，醫療行業數據化程度還是遠遠落後於大數據時代的需求。單從患者的角度考慮，自己在各個醫院的病例和居家檢測的醫學數據。如果將這些數據利用起來，就會遇到數據源不算，數據格式不統一，隱私問題等等。

2.數據孤島之踵

不同的數據源獨立存在，不能夠互相共享，形成了一個個數據孤島。

政府部門缺乏數據開放的動力，由於其掌握的數據有一定的敏感性而趨於保守態度。比如稅務部門的個人納稅信息會涉及到個人隱私，公安部門的監控信息更是涉及到個人的人身安全問題。

各大企業不會隨便開放自身有價值的數據，因為它有巨大的商業價值，也關繫到企業的生死存亡。比如搜索引擎，谷歌的搜尋效果比其他的好，其實他們的技術差別不大。真正的差異是谷歌的數據量大，能夠找到最佳的搜索策略。而其他的搜索引擎則相反，從而造成惡性循環。

即使沒有商業競爭，企業也會盡量獨占數據。比如航空公司的航班晚點，他不會提前通知，而會出於商業利益選擇在乘客登記結束後廣播通知。

3.難以突破創新的瓶頸

對於相應行業數據壟斷的大企業，利用自身壟斷地位阻礙創新使壟斷地位更加堅固。搜索引擎就是一個很好的案例，還有某互聯網公司利用資源優勢模仿競爭對手的創新產品，並且擠垮對手。

4.個人隱私

個人信息越來越多的被別人掌握，我們既不能阻止，也不知道會產生怎樣的後果。一方面，我們的虛擬世界和實際生活軌跡可以通過大數據洞察一切，預測我們的行為。另一方面，作為數據的主人，卻不知道數據如何被記錄，流向哪裡，被誰利用，這個過程我們一無所知。

大數據的發展需要解決個人隱私問題。一方面不能被無限制的使用，每個人都有對個人隱私有知情權，拒絕的權利。另一方面需要將個人隱私數據找到安全，可靠的方法共享，這樣大數據才能夠發展。

5.其他方面

數據的泛濫，盲目的崇拜等

Ⅱ 大數據安全面臨哪些風險及如何防護

現如今大數據已經逐漸改變了我們的生活方式，成為必不可少的存在，在我們享野首受大數據給我們帶來的便利時，安全性無論對於企業還是個人都是必須要解決的重大課題。

總結大數據面臨的三大風險問題如下

1.個人隱私問題凸顯

例如大數據中的精準營銷定位功能，通常是依賴於高度採集個人信息，通過多種關聯技術分析來實現信息推廣，精準營銷。企業會掌握用戶大量的數據，不排除隱私部分的敏感數據，一旦伺服器遭到不法分子攻擊導致數據泄露，很可能危及用戶的隱私、財產甚至是人身安全。

2.數據准確與權威性

大數據通過各種渠道獲取大量數據進行計算分析，企業通常直接通過分析結果進行支持決策，有時候企業只看結果，卻忽略了源頭數據的准確性，不準確的數據直接影響大數據分析的結果和企業的利益，錯誤的指導會對企業帶來一定的風險與損失。

3.基礎設施維護壓力

數據量越大，對基礎設施的性能要求就越高，同樣對於網路的安全、恢復、防範依賴性就越強，一定程度上對企業設施安全的維護造成了壓力，基礎設施建設不完善、維護不到位，抱有沒出問題就得過且過的態度，時刻面臨被攻擊的危險可能。

針對上述問題的防護措施如下

1.對用戶早脊嘩而言

雖然在互聯網時代下要完全保護自己的隱私是比較困難的，但也要加強自身信息的防範意識。注冊賬號時，遵循最少原則，不要隨意泄露敏感信息，降陸行低隱私信息被泄露的危險；

2.對企業而言

加強數據安全管理，實現數據的治理與清洗，從源頭保證數據的一致性、准確性。首先升級基礎伺服器環境，建立多重防護、多級互聯體系結構，確保大數據處理環境可信度。其次全方位實時監控、審計、防護，防止敏感數據泄露、丟失，確保數據風險可控，並不斷通過體系化的大數據安全評估，形成數據安全治理的閉環管理；

3.對政策而言

應該加強對數據信息的保護，對數據的使用進行一定的監管與限制，對非法盜用、濫用數據信息者嚴懲，之後加強對技術安全研發使用的推廣與實施，保證數據安全，加強對數據治理的力度。

大數據時代的到來，可以為我們的生活帶來切實的利益，行業的數據規范正在建立並逐步趨於完善，對於我們來說，既不要因為安全風險問題而排斥大數據，也不要疏忽於對個人/企業信息的保護，合理看待和利用大數據，讓其發揮真正的價值。

Ⅲ 大數據面行業發展面臨哪些現實困境

1、大部分數據都是孤立的，與其他類型的數據隔離開來，無法進行宏觀全面的分析。例如，財務數據很難與消費者數據輕松匯總，以獲得關於特定客戶行為對公司財務績效影響的更深刻的見解。
2、很難足夠快地處理大數據以使洞察有用。大多數類型的數據的價值都是短暫的，消費者今天所做的將在明天和後天發生改變。為了獲得最大利益，企業需要能夠快速提供行動指導的洞察，但大多數傳統的資料庫系統無法以必要的速度處理數據。
3、收集的大部分數據都被浪費掉了。負責在海量數據中尋找業務問題「答案」的業務分析師必須過濾掉不相關的數據，並找出可能存在答案的特定數據集。結果，估計有60%至73%的數據未提供價值。如今，另一個主要的數據來源正在推動潮流——物聯網數據。物聯網在許多方面加劇了數據問題，但它也提供了解決方案。

Ⅳ 大數據安全問題及應對思路研究

大數據安全問題及應對思路研究

隨著互聯網、物聯網、雲計算等技術的快速發展，全球數據量出現爆炸式增長。與此同時，雲計算為這些海量的多樣化數據提供了存儲和運算平台，分布式計算等數據挖掘技術又使得大數據分析規律、研判趨勢的能力大大增強。在大數據不斷向各個行業滲透、深刻影響國家的政治、經濟、民生和國防的同時，其安全問題也將對個人隱私、社會穩定和國家安全帶來巨大的潛在威脅，如何應對面臨巨大挑戰。

一、大數據安全關鍵問題

隨著數字化進程不斷深入，大數據逐步滲透至金融、汽車、製造、醫療等各個傳統行業，甚至到社會生活的每個角落，大數據安全問題影響也日益增大。

（一）國家數據資源大量流失。互聯網海量數據的跨境流動，加劇了大數據作為國家戰略資源的大量流失，全世界的各類海量數據正在不斷匯總到美國，短期內還看不到轉變的跡象。隨著未來大數據的廣泛應用，涉及國家安全的政府和公用事業領域的大量數據資源也將進一步開放，但目前由於相關配套法律法規和監管機制尚不健全，極有可能造成國家關鍵數據資源的流失。

（二）大數據環境下用戶隱私安全威脅嚴重。隨著大數據挖掘分析技術的不斷發展，個人隱私保護和數據安全變得非常緊迫。一是大數據環境下人們對個人信息的控制權明顯下降，導致個人數據能夠被廣泛、詳實的收集和分析。二是大數據被應用於攻擊手段，黑客可最大限度地收集更多有用信息，為發起攻擊做准備，大數據分析讓黑客的攻擊更精準。三是隨著大數據技術發展，更多信息可以用於個人身份識別，個人身份識別信息的范圍界定困難，隱私保護的數據范圍變得模糊。四是以往建立在「目的明確、事先同意、使用限制」等原則之上的個人信息保護制度，在大數據場景下變得越來越難以操作。

（三）基於大數據挖掘技術的國家安全威脅日益嚴重。大數據時代美國情報機構已搶佔先機，美國通過遍布在全球的國安局監聽機構如地面衛星站、國內監聽站、海外監聽站等採集各種信息，對採集到的海量數據進行快速預處理、解密還原、分析比對、深度挖掘，並生成相關情報，供上層決策。2013年6月底，美中情局前雇員斯諾登爆料，美國情報機關通過思科路由器對中國內地移動運營商、中國教育和科研計算機網等骨幹網路實施長達4年之久的長期監控，以獲取網內海量簡訊數據和流量數據。

（四）基礎設施安全防護能力不足引發數據資產失控。一是基礎通信網路關鍵產品缺乏自主可控，成為大數據安全缺口。我國運營企業網路中，國外廠商設備的現網存量很大，國外產品存在原生性後門等隱患，一旦被遠程利用，大量數據信息存在被竊取的安全風險。二是我國大數據安全保障體系不健全，防禦手段能力建設處於起步階段，尚未建立起針對境外網路數據和流量的監測分析機制，對棱鏡監聽等深層次、復雜、高隱蔽性的安全威脅難以有效防禦、發現和處置。

二、國外大數據安全相關舉措及我國應對思路

目前世界各國均通過出台國家戰略、促進數據融合與開放、加大資金投入等推動大數據應用。相比之下，各國在涉及大數據安全方面的保障舉措則起剛剛起步，主要集中在通過立法加強對隱私數據的保護。德國在2009年對《聯邦數據保護法》進行修改並生效，約束范圍包括互聯網等電子通信領域，旨在防止因個人信息泄露導致的侵犯隱私行為；印度在2012年批准國家數據共享和開放政策的同時，通過擬定非共享數據清單以保護涉及國家安全、公民隱私、商業秘密和知識產權等數據信息；美國在2014年5月發布《大數據：把握機遇，守護價值》白皮書表示，在大數據發揮正面價值的同時，應該警惕大數據應用對隱私、公平等長遠價值帶來的負面影響，建議推進消費者隱私法案、通過全國數據泄露立法、修訂電子通信隱私法案等。

我國在布局、鼓勵和推動大數據發展應用的同時，也應提早謀劃、積極應對大數據帶來的安全挑戰，從戰略制定、法律法規、基礎設施防護等方面應對大數據安全問題。

（一）將大數據資源保護上升為國家戰略，建立分級分類安全管理機制。一是把數據資源視為國家戰略資源，將大數據資源保護納入到國家網路空間安全戰略框架中，構建大數據環境下的信息安全體系，提高應急處置能力和安全防範能力，提升服務能力和運作效率。二是通過國家層面的戰略布局，明確大數據資源保護的整體規劃和近遠期重點工作。三是對國內大數據資源按實施分級分類安全保護思路，保障數據安全、可靠，積極開展大數據安全風險評估工作，針對不同級別大數據特點加強安全防範。五是盡快制定不同級別的大數據採集、存儲、備份、遷移、處理和發布等關鍵環節的安全規范和標准，配套完善相應的監管措施。

（二）完善法律法規，加大個人信息保護監管力度。一是積極推動個人信息保護法律的立法工作，探索通過技術標准、行業自律等手段解決法律出台前的個人信息保護問題。加快《網路安全法》的出台，在《網路安全法》中對電信和互聯網行業用戶信息保護作出明確法律界定，為相關工作開展提供法律依據。二是加強對個人隱私保護的行政監管，同時要加大對侵害個人隱私行為的打擊力度，建立對個人隱私保護的測評機制，推動大數據行業的自律和監督。

（三）加強國家信息基礎設施保護，提升大數據安全保障與防範能力。一是促進技術研究和創新，通過加大財政支持力度，激勵關系國家安全和穩定的政府和國有企事業單位採用安全可控的產品，提升我國基礎設施關鍵設備的安全可控水平。二是加強大數據信息安全系統建設，針對大數據的收集、處理、分析、挖掘等過程設計與配置相應的安全產品，並組成統一的、可管控的安全系統，推動建立國家級、企業級的網路個人信息保護態勢感知、監控預警、測評認證平台。三是充分利用大數據技術應對網路攻擊，通過大數據處理技術實現對網路異常行為的識別和分析，基於大數據分析的智能驅動型安全模型，把被動的事後分析變成主動的事前防禦；基於大數據的網路攻擊追蹤，實現對網路攻擊行為的溯源。

以上是小編為大家分享的關於大數據安全問題及應對思路研究的相關內容，更多信息可以關注環球青藤分享更多干貨

Ⅳ 大數據會帶來哪些問題

一、分布式系統

大數據解決方案將數據和操作分布在許多系統中，以實現更快的處理和分析。這種分布式系統可以平衡負載，避免單點故障。但是這樣的系統容易受到安全威脅，黑客只要攻擊一個點就可以滲透整個網路。

二.數據存取

大數據系統需要訪問控制來限制對敏感數據的訪問，否則，任何用戶都可以訪問機密數據，有些用戶可能會出於惡意使用。此外，網路犯罪分子可以入侵與大數據系統相連的系統，竊取敏感數據。因此，使用大數據的公司需要檢查和驗證每個用戶的身份。

三.數據不正確

網路犯罪分子可以通過操縱存儲的數據來影響大數據系統的准確性。因此，網路犯罪分子可以創建虛假數據，並將這些數據提供給大數據系統。比如醫療機構可以利用大數據系統研究患者的病歷，而黑客可以修改這些數據，產生不正確的診斷結果。

四.侵犯隱私

大數據系統通常包含機密數據，這是很多人非常關心的問題。這樣的大數據隱私威脅已經被全世界的專家討論過了。此外，網路犯罪分子經常攻擊大數據系統以破壞敏感數據。這種數據泄露已經成為頭條新聞，導致數百萬人的敏感數據被盜。

五、雲安全性不足

大數據系統收集的數據通常存儲在雲中，這可能是一個潛在的安全威脅。網路犯罪分子破壞了許多知名公司的雲數據。如果存儲的數據沒有加密，並且沒有適當的數據安全性，就會出現這些問題。

Ⅵ 騰訊與清華大學牽手大數據科研，大數據研究的難題有哪些

據媒體報道，2021年5月18日騰訊與清華大學簽署衛生健康大數據科研，並表示未來將緊密合作從理論、技術、政策等多維度展開創新性研究。此消息在社交平台上引起了網民們的廣泛關注與討論。

部分網民們認為，當前我們已經步入了風險社會，所謂風險社會即是預知以及不可預知的風險交織在我們的社會之中，而未來通過大數據來介入公共衛生治理定有大成效；也有部分網民認為當前的全民健康管理以及重大公共衛生挑戰需要有大數據的幫助。而筆者以下想講一下大數據研究的難題有哪些？並想針對此講講自己的看法。

而在信息生態方面，當前為應對在公共衛生方面的種種挑戰，各部門已經正在試圖建構公共衛生分析系統以預防未來的公共衛生挑戰。但是其中的一個問題是如何通過大數據研究來建設一個完整且閉合的大數據信息生態。

Ⅶ 大數據面臨哪些安全與隱私問題

(一)大數據遭受異常流量攻擊
大數據所存儲的數據非常巨大，往往採用分布式的方式進行存儲，而正是由於這種存儲方式，存儲的路徑視圖相對清晰，而數據量過大，導致數據保護，相對簡單，黑客較為輕易利用相關漏洞，實施不法操作，造成安全問題。由於大數據環境下終端用戶非常多，且受眾類型較多，對客戶身份的認證環節需要耗費大量處理能力。由於APT攻擊具有很強的針對性，且攻擊時間長，一旦攻擊成功，大數據分析平台輸出的最終數據均會被獲取，容易造成的較大的信息安全隱患。
(二)大數據信息泄露風險
大數據平台的信息泄露風險在對大數據進行數據採集和信息挖掘的時候，要注重用戶隱私數據的安全問題，在不泄露用戶隱私數據的前提下進行數據挖掘。需要考慮的是在分布計算的信息傳輸和數據交換時保證各個存儲點內的用戶隱私數據不被非法泄露和使用是當前大數據背景下信息安全的主要問題。同時，當前的大數據數據量並不是固定的，而是在應用過程中動態增加的，但是，傳統的數據隱私保護技術大多是針對靜態數據的，所以，如何有效地應對大數據動態數據屬性和表現形式的數據隱私保護也是要注重的安全問題。最後，大數據的數據遠比傳統數據復雜，現有的敏感數據的隱私保護是否能夠滿足大數據復雜的數據信息也是應該考慮的安全問題。
(三)大數據傳輸過程中的安全隱患
數據生命周期安全問題。伴隨著大數據傳輸技術和應用的快速發展，在大數據傳輸生命周期的各個階段、各個環節，越來越多的安全隱患逐漸暴露出來。比如，大數據傳輸環節，除了存在泄漏、篡改等風險外，還可能被數據流攻擊者利用，數據在傳播中可能出現逐步失真等。又如，大數據傳輸處理環節，除數據非授權使用和被破壞的風險外，由於大數據傳輸的異構、多源、關聯等特點，即使多個數據集各自脫敏處理，數據集仍然存在因關聯分析而造成個人信息泄漏的風險。
基礎設施安全問題。作為大數據傳輸匯集的主要載體和基礎設施，雲計算為大數據傳輸提供了存儲場所、訪問通道、虛擬化的數據處理空間。因此，雲平台中存儲數據的安全問題也成為阻礙大數據傳輸發展的主要因素。
個人隱私安全問題。在現有隱私保護法規不健全、隱私保護技術不完善的條件下，互聯網上的個人隱私泄露失去管控，微信、微博、QQ等社交軟體掌握著用戶的社會關系，監控系統記錄著人們的聊天、上網、出行記錄，網上支付、購物網站記錄著人們的消費行為。但在大數據傳輸時代，人們面臨的威脅不僅限於個人隱私泄露，還在於基於大數據傳輸對人的狀態和行為的預測。近年來，國內多省社保系統個人信息泄露、12306賬號信息泄露等大數據傳輸安全事件表明，大數據傳輸未被妥善處理會對用戶隱私造成極大的侵害。因此，在大數據傳輸環境下，如何管理好數據，在保證數據使用效益的同時保護個人隱私，是大數據傳輸時代面臨的巨大挑戰之一。
(四)大數據的存儲管理風險
大數據的數據類型和數據結構是傳統數據不能比擬的，在大數據的存儲平台上，數據量是非線性甚至是指數級的速度增長的，各種類型和各種結構的數據進行數據存儲，勢必會引發多種應用進程的並發且頻繁無序的運行，極易造成數據存儲錯位和數據管理混亂，為大數據存儲和後期的處理帶來安全隱患。當前的數據存儲管理系統，能否滿足大數據背景下的海量數據的數據存儲需求，還有待考驗。不過，如果數據管理系統沒有相應的安全機制升級，出現問題後則為時已晚。

Ⅷ 盤點2021年大數據分析常見的5大難點！

2021年已經到來，現在是深入研究大數據分析面臨的挑戰的時候了，需要調查其根本原因，本文重點介紹了解決這些問題的潛在解決方案。

1、解決方案無法提供新見解或及時的見解

（1）數據不足

有些組織可能由於分析數據不足，無法生成新的見解。在這種情況下，可以進行數據審核，並確保現有數據集成提供所需的見解。新數據源的集成也可以消除數據的缺乏。還需要檢查原始數據是如何進入系統的，並確保所有可能的維度和指標均已經公開並進行分析。最後，數據存儲的多樣性也可能是一個問題。可以通過引入數據湖來解決這一問題。

（2）數據響應慢

當組織需要實時接收見解時，通常會發生這種情況，但是其系統是為批處理而設計的。因此有些數據現在仍無法使用，因為它們仍在收集或預處理中。

檢查組織的ETL(提取、轉換、載入)是否能夠根據更頻繁的計劃來處理數據。在某些情況下，批處理驅動的解決方案可以將計劃調整提高兩倍。

（3）新系統採用舊方法

雖然組織採用了新系統。但是通過原有的辦法很難獲得更好的答案。這主要是一個業務問題，並且針對這一問題的解決方案因情況而異。最好的方法是咨詢行業專家，行業專家在分析方法方面擁有豐富經驗，並且了解其業務領域。

2、不準確的分析

（1）源數據質量差

如果組織的系統依賴於有缺陷、錯誤或不完整的數據，那麼獲得的結果將會很糟糕。數據質量管理和涵蓋ETL過程每個階段的強制性數據驗證過程，可以幫助確保不同級別(語法、語義、業務等)的傳入數據的質量。它使組織能夠識別並清除錯誤，並確保對某個區域的修改立即顯示出來，從而使數據純凈而准確。

（2）與數據流有關的系統缺陷

過對開發生命周期進行高質量的測試和驗證，可以減少此類問題的發生，從而最大程度地減少數據處理問題。即使使用高質量數據，組織的分析也可能會提供不準確的結果。在這種情況下，有必要對系統進行詳細檢查，並檢查數據處理演算法的實施是否無故障

3、在復雜的環境中使用數據分析

（1）數據可視化顯示凌亂

如果組織的報告復雜程度太高。這很耗時或很難找到必要的信息。可以通過聘請用戶界面(UI)/用戶體驗(UX)專家來解決此問題，這將幫助組織創建引人注目的用戶界面，該界面易於瀏覽和使用。

（2）系統設計過度

數據分析系統處理的場景很多，並且為組織提供了比其需要還要多的功能，從而模糊了重點。這也會消耗更多的硬體資源，並增加成本。因此，用戶只能使用部分功能，其他的一些功能有些浪費，並且其解決方案過於復雜。

確定多餘的功能對於組織很重要。使組織的團隊定義關鍵指標：希望可以准確地測量和分析什麼，經常使用哪些功能以及關注點是什麼。然後摒棄所有不必要的功能。讓業務領域的專家來幫助組織進行數據分析也是一個很好的選擇。

4、系統響應時間長

（1）數據組織效率低下

也許組織的數據組織起來非常困難。最好檢查其數據倉庫是否根據所需的用例和方案進行設計。如果不是這樣，重新設計肯定會有所幫助。

（2）大數據分析基礎設施和資源利用問題

問題可能出在系統本身，這意味著它已達到其可擴展性極限，也可能是組織的硬體基礎設施不再足夠。

這里最簡單的解決方案是升級，即為系統添加更多計算資源。只要它能在可承受的預算范圍內幫助改善系統響應，並且只要資源得到合理利用就很好。從戰略角度來看，更明智的方法是將系統拆分為單獨的組件，並對其進行獨立擴展。但是需要記住的是，這可能需要對系統重新設計並進行額外的投資。

5、維護成本昂貴

（1）過時的技術

組織最好的解決辦法是採用新技術。從長遠來看，它們不僅可以降低系統的維護成本，還可以提高可靠性、可用性和可擴展性。逐步進行系統重新設計，並逐步採用新元素替換舊元素也很重要。

（2）並非最佳的基礎設施

基礎設施總有一些優化成本的空間。如果組織仍然採用的是內部部署設施，將業務遷移到雲平台可能是一個不錯的選擇。使用雲計算解決方案，組織可以按需付費，從而顯著降低成本。

（3）選擇了設計過度的系統

如果組織沒有使用大多數系統功能，則需要繼續為其使用的基礎設施支付費用。組織根據自己的需求修改業務指標並優化系統。可以採用更加符合業務需求的簡單版本替換某些組件。

Ⅸ 大數據存在哪些問題

數據存儲問題：隨著技術不斷發展，數據量從TB上升至PB，EB量級，如果還用傳統內的數據存儲方式容，必將給大數據分析造成諸多不便，這就需要藉助數據的動態處理技術，即隨著數據的規律性變更和顯示需求，對數據進行非定期的處理。同時，數量極大的數據不能直接使用傳統的結構化資料庫進行存儲，人們需要探索一種適合大數據的數據儲存模式，也是當下應該著力解決的一大難題。

分析資源調度問題：大數據產生的時間點，數據量都是很難計算的，這就是大數據的一大特點，不確定性。所以我們需要確立一種動態響應機制，對有限的計算、存儲資源進行合理的配置及調度。另外，如何以最小的成本獲得最理想的分析結果也是一個需要考慮的問題。

專業的分析工具：在發展數據分析技術的同時，傳統的軟體工具不再適用。目前人類科技尚不成熟，距離開發出能夠滿足大數據分析需求的通用軟體還有一定距離。如若不能對這些問題做出處理，在不久的將來大數據的發展就會進入瓶頸，甚至有可能出現一段時間的滯留期，難以持續起到促進經濟發展的作用。