電信大數據背景

『壹』 運營商迎來大數據時代 管理和分析是大挑戰

運營商迎來大數據時代：管理和分析是大挑戰
大數據不是新的概念，在移動互聯網發展起來後，數據增長速度加快，整個產業壓力突出，傳統資料庫技術已無法滿足運營商對大數據充分利用的需求的背景下，大數據成為近年來的熱點。對運營商來說，數據爆發性增長後，帶來的收入並未改觀，因此，運營商面臨著數據流的附加值被互聯網公司賺走的挑戰，同時面臨淪為管道化的尷尬，如何利用好運營商手中的大數據，成為需要面對的問題。

運營商面臨數據管理和分析挑戰
易觀國際分析師黃萌表示，大數據發展時間不長，隨著雲概念和3G的深入發展，運營商數據壓力增大，同時IDC擴容，偏向以存儲為主的雲服務業務。
運營商新業務的涌現，導致數據暴增。信令數據、互聯網數據其規模已經達到數百TB,甚至PB規模。此外，據EMC數據計算事業部大中國區總經理劉偉光介紹，數據的價值除了與數據規模相關，還與數據處理周期成正比關系。也就是，數據處理的速度越快、越及時，其價值越大，發揮的效能越大。而除了分析傳統結構化數據外，隨著新增值業務拓展，運營商對實現跨結構化、半結構化、非結構化數據進行高效分析有著愈發強烈的訴求。
而運營商面對海量數據和數據結構的變化，不僅是成本，還有管理和分析的挑戰。黃萌認為，運營商相對互聯網企業有優勢，具有雄厚的資源和龐大的IDC集群，擁有電信級的運營網路，具有保證大數據實時、暢通傳送的能力，同時具有網路資源和運營能力。而相對互聯網企業劣勢的地方在於上層應用，尤其是在Saas層面。
大數據有待深挖掘
南京郵電大學盧扞華教授認為，大數據時代主要是對技術的綜合運用和對數據的深度挖掘。對運營商來說，大數據帶來的機會大於挑戰。運營商有自己的網路，積累了大量非常有價值的數據，可以進行客戶分析。利用網路收集數據，對運營商運營方式的改變是個機會。
真正實現精準化營銷和精細化運營的秘訣就在於如何利用好運營商手中的大數據。海量話單、信令、互聯網數據本身就是一筆寶貴的財富。利用好這些數據，充分、及時地對這些數據進行深度分析挖掘，不僅可以進一步提升服務質量、提高客戶忠誠度、挖掘新商機、增加收入，還可以通過優化資源配置、減少浪費來提升運營效率，有效降低運營成本。
此外，電信運營商信息化實施比較早，本身大數據積累的也多，例如以前的日誌信息，包含用戶信息和設備信息，可以進行挖掘使用。運營商越來越重視對數據的挖掘，可以獲得未來開發業務和開拓市場的機會。另一方面，分析結果不會涉及隱私，管理好了可以更少產生法律糾紛。此外，電信運營商通過數據分析還可以提供面向社會的信息應用。[page]
盧扞華教授認為，大數據是對技術的綜合應用，要有開放、融合、服務和創新的心態，大數據可以為運營商創造另一片天地。例如一個大數據的應用通過收集數據，對大量圖片進行分析，最終形成一個場景圖。這就是對數據分析、統計技術、圖片處理技術和人工智慧合成技術的綜合運用。據悉，南郵正在開發這方面的應用。
據了解，目前中國三個電信運營商在業務支撐領域、網管IT支撐領域包括增值業務領域，已經隨著市場的需求誕生了很多新的大數據實時分析的項目。目前，大數據主要應用在運營商的"信令"系統分析上，此外，運營商還可以通過"用戶行為分析"系統，進行精準營銷。運營商還提供IDC服務，通過"雲"中心的方式為互聯網企業提供服務。
對公市場前景巨大
黃萌表示，單批、單次數據爆發性增長，對其進行的可知的時間處理能力是關鍵點。對運營商來說，IDC服務在對政府和高校、企業等非個人業務市場上前景巨大；對於個人業務，運營商剛開始做，由於回收投資較慢、離散性強，現在主要是針對個人精準運營的業務。智能管道方面，運營商正在基於大數據平台進行流量分析，但是落地的項目少。
據介紹，運營商大數據戰略還不太明晰，但是有了一些建樹。去年十月份中國移動開始做的"大雲"、數據管理系統和平台，覆蓋很多園區、學校，2.0技術比1.0技術大幅提升；中國聯通2010年開始對企業提供IDC服務，截至目前，營收超20億元（人民幣）；中國電信2011年成立雲公司，尚無實體業務，IDC託管規模相對聯通小很多。
據電信專家韓少敏介紹，數據類型分為非結構化數據和媒體流，運營商開展大數據分析面對的問題主要是硬體能力。數據一方面是縱向關系，比如"信令",採用水平分隔數據的方式就可以，按照時間段分別存儲分析。此外還有橫向關系，需要垂直分隔，由於查詢復雜，需要引入真正的演算法去做。韓少敏認為，目前掌握這方面能力的人才奇缺。並且，運營商在分布式資料庫方面少有進展。而從應用角度，大數據一方面用作於統計分析，建數據倉庫，其次還有非文本查詢，現在大多數資料庫公司可以做以上兩個方面，而對於關系型數據共享層面，目前還做不了。
中國聯通在IDC服務方面走在三家運營商前面，其面向企業提供服務，目前通過按關系水平分隔的方式，將數據集中起來，但是一旦到關系型數據的共享層面，因為沒有數據模型，找不到底層的資料庫血緣，目前的方案無法解決問題。但是運營商目前做這些數據積累，可以為將來發展提供機會。
劉偉光認為，對於運營商來說，大數據等於大價值。對於IT企業，大數據等於大機遇。通信行業需求從來都是IT技術發展的重要推動力，誰能得到通信行業客戶的認可，必然會在大數據領域大有作為，進而成為大數據解決方案的領先者、領導者。

『貳』 電信運營商轉型發展如何應用大數據

因此，運營商擁有的是更加名副其實的大數據，如果將這些數據加以應用，必將為運營商帶來巨大的商業價值。 大數據為電信行業帶來巨大變化 Gartner預測到2020年大約75%的企業都將大數據分析融入其日常經營決策中，未來大數據分析將成為企業經營的一項基本能力。 根據Sysbase的統計分析，電信行業通過在運營中應用大數據，人均產值提升了17%，而在行業價值貢獻方面更是排在了所有行業的首位。在電信行業收入增幅日趨放緩的今天，這樣的產值增幅無疑是鼓舞人心的。 通過構建行業大數據分析系統讓運營商具備了大數據分析處理的技能，但這只是在大數據時代獲得成功的基礎；運營商還需要從企業戰略和經營思維層面改變，發現新的機遇和模式並付諸實施，才能真正將自己所掌握的大數據資產和大數據技能轉變為企業價值。 大數據運用的四個類型 運營商運用大數據主要有四個類型。首先，在市場層面，運營商可以利用大數據對自身的產品進行服務，通過大數據分析用戶行為，改進產品設計，並通過用戶偏好分析，及時、准確進行業務推薦，強化客戶關懷，這樣就可以不斷改善用戶體驗，增加用戶的信息消費以及對運營商的粘稠度；其次，在網路層面，可以通過大數據分析網路的流量、流向變化趨勢，及時調整資源配置，同時還可以分析網路日誌，進行全網路優化，不斷提升網路質量和網路利用率；第三，在企業經營層面，可以通過業務、資源、財務等各類數據的綜合分析，快速准確地確定公司經營管理和市場競爭策略；第四，在業務創新層面，可以在確保用戶隱私不被侵犯的前提下，對數據進行深度加工，對外提供信息服務，為企業創造新的價值。這樣，大數據將助力運營商實現從網路服務提供商，向信息服務提供商的轉變。 由於大數據產業具有強烈互聯網特徵，現有的運營模式很難幫助運營商實現大數據產業的迅速發展，這是因為，對於大數據產業，運營商傳統的金字塔式的組織結構已經過時，傳統架構的信息系統及組織架構已無法應對海量數據和創新型應用，那種由上而下的運營模式無法更接近用戶的需求，顯然已經阻礙運營商自身大數據產業的縱深發展。根據市場需求，運營商必須全面轉向以客戶和消費者為中心的運營體系，重新梳理企業的經營模式和組織架構，這就是模式的創新，大數據產業發展要求運營商實現管理經營和市場信息系統完美對接，新型大數據應用必將助力運營商向信息服務模式轉型。 面向大數據時代，運營商的及時轉型成為必然，否則將有被互聯網企業超越的可能性。理論上講，運營商擁有頗具優勢的大數據資源並不是完全不可替代，例如，用戶的位置信息就可以通過多種APP應用獲得，用戶的網路使用信息也可以通過多家互聯網企業合作獲取，互聯網企業通過泛互聯網化收集更多的大數據信息。另一方面，多行業的垂直整合將成為趨勢，在數據應用層面，行業企業通過多種手段搜集大量的用戶數據，將更貼近用戶，更理解用戶，為其提供更適當的服務，大數據將成為資產更具有戰略意義，各個行業及單位都在關注大數據。 根據大數據數量大、時效性要求高、數據種類及來源多樣化等特徵，運營商首先獲取更多有用的大數據資源，例如，很多的網路運行信息，包含大量有價值的用戶行為和位置信息，這樣的信息可以加以利用。有了資源應該加以利用，避免大數據資源的浪費。事實上，一些運營商擁有大數據這樣的金山，卻似乎無奈坐看並逐漸淪為管道，在不斷強化傳統市場的效益考核，卻好像在忽視大數據價值的流失。 直面數據分析挑戰 當然，海量數據的出現、數據結構的改變，也給運營商的大數據管理及分析帶來了挑戰，一是由於多種業務的發展、市場需求的變化和網路規模的擴大使得運營商大數據迅速的增加，這增加了運營商大數據存儲和處理的難度，使得現有數據倉庫無法線性擴容，這表明傳統的數據倉庫無法有效存儲日益增長的業務數據；二是由於新型大數據服務不同於傳統通信業務分析特點，需要對內容等非結構化、大容量信息進行多用戶、多應用、實時有效的分析，傳統的架構和數據倉庫處理已不能滿足新的信息服務需求。因此，運營商需要建立新型大數據中心，來存儲、分析和處理海量數據，必要的投入是必不可少的。 大數據產業出現和發展是現代信息技術與互聯網時代海量信息的發展到一定階段的必然結果，大數據應用將是海量數據、現代信息技術與各種社會應用的一次化學反應，必將對當今社會的信息技術、商業模式和相關的法律法規產生深刻的變革。

『叄』 大數據背景下的信息安全問題探討

大數據背景下的信息安全問題探討
大數據具有體量巨大、類型繁雜、處理速度快、價值密度低四大特點，因此，對於個人來說，難以處理極其龐大的數據，只有國家和大型企業等組織或集團才有可能獲取到各種敏感信息；大數據所搜集提取的個人信息可能連本人都不完全知曉，比如個人的行為特徵、語言風格、愛好興趣等。在大數據時代如何保護個人敏感信息或隱私，必將成為高難度的世界課題。
2013年6月，美國前中情局雇員斯諾登曝光了始於2007年小布希時期美國國家安全局和聯邦調查局啟動的代號為「棱鏡」的秘密項目。美國國家安全局通過接入雅虎、谷歌、微軟、蘋果等9家美國互聯網公司中心伺服器，對郵件、圖片、視頻、電話等10類數據進行監控，以搜集情報，監視民眾的網路活動。「棱鏡」項目緣於2004年美國政府的「星風」監視計劃。但是，當時小布希政府由於法律程序等敏感問題而做出讓步，美國本土的監聽項目有所縮減。為了「星風」計劃的繼續進行，小布希政府通過司法程序將「星風」監視計劃分拆成由國家安全局執行的4個監視計劃，包括「棱鏡」、「主幹道」、「碼頭」和「核子」，均交由美國家安全局執掌。「棱鏡」項目用於監視互聯網個人信息。「主幹道」和「碼頭」項目負責存儲和分析通信和互聯網上數以億兆計的「元數據」。元數據主要指通話或通信的時間、地點、使用設備、參與者等，不包括電話或郵件等的內容。「核子」項目負責內容信息的獲取，截獲電話通話者對話內容及關鍵詞，通過攔截通話以及通話者所提及的地點，來實現日常的監控。由此可見，斯諾登不僅揭露了美國的大規模竊聽計劃，更揭示了大數據時代國家信息安全保護問題。大數據的分析與使用，無論對個人（如跟蹤健康狀況防範疾病）、對企業（如了解市場偏好以有效安排產品設計生產營銷）乃至對國家（如防範疫情或恐怖主義）顯然都有巨大的好處，從商業用途來說，谷歌、微軟、雅虎等互聯網公司，完全可以通過它們掌握到的數以百萬計、千萬計甚至億萬計的數據，經由「超級計算」，准確推斷消費者的愛好及習慣、商品的銷售額、疾病疫情的發展趨勢。商業如此，在政治、經濟、軍事等方面亦存在諸多的用途和潛在利益。像「棱鏡」計劃里涉及的谷歌、雅虎、蘋果、微軟等大網站，人們每天由於各種業務需要，會把大量個人信息輸入其中，但常常並不被事先告知數據的用途。而這些數據會被企業或政府用來進行一些特殊的計算或分析，如通過對大數據的分析預測來對人們尚未實施的行為進行懲罰。比如「大數據之父」舍恩伯格曾披露過一個例子：在美國有一個計劃名為「預測式配警」，通過對大數據分析來預測美國某個城市的某條街道的某個時段是犯罪高峰時段，然後在那個位置部署更多的警力。從此該地區居民將長時間被監控，這是一種變相的侵犯或懲罰。他們不是因為做錯事，而是因為某個計算機的演算法預測他們可能做錯事而被懲罰了，顯然這是不公平的。美國國安局擁有的正是類似的一套基於「大數據」的新型情報收集系統，這套名為「無界爆料」的系統，以30天為周期，從全球網路系統中接收到970億條訊息，再通過比對信用卡或者通訊記錄等方式，能幾近真實地還原個人的實時狀況。當然，像谷歌這樣的商業組織也有可能掌握同樣量級的信息而進行商業預測分析。因此，必須建立一套規則予以規范和約束對大數據的收集和使用。第一，雖然這些信息儲存在不同的伺服器上，但這些數據是用戶的資產，擁有權屬於用戶自己而不是這些公司，這是必須明確的，就像財產所有權一樣，個人隱私數據也應該有所有權。第二，利用大數據、雲計算技術給用戶提供信息服務的公司或企業，需要把收集到的用戶數據進行安全存儲和傳輸，這是企業的責任和義務。第三，如果企業或政府要使用用戶的信息，一定要讓用戶有知情權和選擇權，泄露用戶數據甚至牟利，不僅要被視作不道德的行為，而且是非法行為。大數據時代的數據存儲和應用方式是跨地域甚至是跨國界的。作為國家層面要將大數據上升為國家戰略，奧巴馬政府在2012年3月將「大數據戰略」上升為最高國策，像陸權、海權、空權一樣，將對數據的佔有和控製作為重要的國家核心能力。我國也應從國家高度重視大數據，在對其進行安全保護、政策制定需要重視三個方面：一是要正視數據霸權，要清醒認識到我國在網路控制權、關鍵技術和高端設備等方面，還受制於西方。二是要明確主權，數據作為一種重要的戰略資源，無論是個人擁有還是國家擁有，都要納入到主權范圍裡面來考慮。三是要有治權，因為有主權不一定能夠管治。比如：數據存到國外，雲計算跨越國境，可能不在你的主權范圍之內。要區別對待不同的數據，對確需保護的數據，必須有切實可靠的手段進行有效管理。如果做不到對數據的有效管理，大數據就必然面臨失控的危險。政策界定安全責任問題。大數據的安全問題涉及政府、相關企業、網路運營商、服務提供者，以及數據產生者、使用者等方方面面，必須對各自的安全責任有明晰的政策界定。信息安全風險存在於數據的全生命周期之中，從技術思路、產品開發、用戶使用、服務管理，各個環節均要分擔相應的安全責任。監管保障基礎設施安全問題。大數據的發展離不開電信網路甚至工控系統等關鍵基礎設施，其安全可靠同樣依賴於這些基礎設施，受供應鏈全球化、產業私有化的影響，網路與關鍵基礎設施間的安全日趨復雜，一國的大數據可能存放在別國的網路中，一國的基礎設施可能同時服務於多個國家，高度的全球相互依賴性，挑戰著原有的國家主權觀念。所以，關鍵基礎設施的安全監管體系十分重要，我國需要盡快確立對供應鏈的實質性國家安全審查和對基礎網路的常態化安全監管。
網路空間沖突管理問題。大數據的資源價值越來越高，圍繞大數據的爭奪和沖突就越來越激烈。大數據的生成、處理和利用方式，將極大改變各種沖突的表現方式和破壞烈度。通過立法與國際合作應對包括知識產權的保護、網路犯罪的處置、網路破壞活動特別是網路恐怖主義的打擊以及網路戰爭的威脅。

『肆』 大數據發展背景及研究現狀

2015年左右，大數據相關政策規劃密集出台，同期為大數據企業新增數量頂峰時期。近年來，我國大數據產業迎來新的發展機遇期，產業規模日趨成熟。大數據產業主體從「硬」設施向「軟」服務轉變的態勢將更加明顯，面向金融、政務、電信、醫療等領域的大數據服務將實現倍增創新。

大數據企業數量持續增長，增速與政策出台密切相關

根據IT桔子統計，大數據企業的快速增長階段出現在2013-2015年，增長速度在2015年達到最高峰。2015年後，市場日趨成熟，企業新增開始趨於放緩，大數據產業逐漸走向成熟。

—— 以上數據及分析均來自於前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。

『伍』 大數據時代，電信運營商如何「點石成金」

大數據風起雲涌。對於大數據中蘊含的商業價值，有人形象地將其稱為「數據鑽出石油」。充分利用大數據技術，從海量堆積的交互數據中發現帶有趨勢性、前瞻性的信息，能夠孕育出驚人的社會價值和商業價值。 然而，即便放眼全球，我們看到的大數據應用案例還鮮有電信運營商的身影，與互聯網領域的諸多探索相比，他們略顯平淡，大規模鑽出「石油」就更談不上了。面對這種情況，相信很多業內人士都在思考這些問題：大數據究竟會給電信運營商帶來哪些新機遇？大數據時代下的電信運營商面臨什麼樣的挑戰？電信運營商今後將如何運籌帷幄、構建面向智慧運營的大數據體系？ 從4W到4V： 運營商擁有先天優勢 根據信息爆炸時代的特徵，業界將大數據總結為「4V」體量（Volume）、多樣（Variety）、速度（Velocity）和價值（Value）。體量意味著海量的數據，多樣是指數據類型繁多，速度主要指數據被創建和移動的速度快，而價值是處理數據的目標、從各種形式呈現的復雜數據中挖掘有用的東西。 電信運營商作為信息服務的基礎服務商，其提供的服務用一個簡單的詞來概括就是「4W」Who、When、Where、What，在使用服務時，哪些用戶、需要聯系誰、什麼時間、處於什麼位置、做些什麼，這些信息無疑都需要經過運營商的管道。 對比「4V」和「4W」，我們可以發現兩者之間的契合之處，通信用戶數以億計的基數保證了數據的海量和多樣性，通信網路的實時承載保證了數據的速度，更重要的是，運營商還可以搜集到用戶位置、大體收入等有價值的數據，進而為精準營銷提供參考。因此，運營商在掌握用戶行為數據方面具有先天優勢，這是一般互聯網廠商所望塵莫及的。隨著智能手機和高速網路的普及，運營商能夠獲得的用戶行為數據還將更為豐富。 數據科學家、《大數據時代》的作者維克托·邁爾·舍恩伯格表示，在大數據時代，擁有數據的公司無疑將取得巨大的成功。因為他們具有洞察力，大數據會提供他們全新的洞察力。從這個角度看，運營商無疑坐擁一座天然的寶藏，但是能否挖掘、提煉出這些礦藏中的價值將決定運營商能否把握住大數據帶來的機遇。 由大入微： 構建智慧的大數據體系 由微入大易，由大入微難。對電信運營商來說，將無數具體而微的信息匯集起來其實並不難，真正的難點在於如何點石成金，如何「駕馭」這紛繁復雜的數據，如何存儲、整合、分析、汲取出真正有價值的內容，並創造性地使用它。 大流量並不一定帶來大數據，電信運營商獲得的數據中大部分都是「桀驁不馴」的它們被稱為非結構數據，這種數據本身並沒有太多價值。目前，電信運營商在大數據方面的探索還僅僅處於起步階段：一方面，用戶的行為、軌跡、狀態等數據散在網路各個環節中，形成信息資產的成本非常高；另一方面，運營商大數據挖掘手段還很不充足，如何從龐大的數據中分析出有價值的信息並找到合理的商業模式，提高「駕馭」數據的能力，成為電信運營商面臨的挑戰。 那麼電信運營商該如何去構建面向智慧運營的大數據體系？ 對電信運營商來說，可以利用大數據實現自身的精確化營銷和精細化運營，在這方面，國內已經有運營商作出了嘗試。使用Hadoop等大數據處理工具，通過分析用戶的興趣圖譜、關系圖譜、行為定向，再結合自身的業務推出量身定製的服務，如針對出差較多的商務人士，向他們推薦漫遊套餐；對愛好移動上網的用戶，向他們提供流量包……這本身就屬於大數據應用的范疇，而且，運營商通過對業務資源和財務等數據的綜合分析，可以讓決策層進行快速的市場決策，從而搶占市場制高點。 未來，運營商還可以拓展第三方模式，加大開放合作力度，與產業鏈各個環節開展合作，加快對大數據經營商業模式的探索，不斷釋放其管道中龐大數據的潛在力量，將數據轉化成「真金白銀」。在這方面，國外電信運營商的探索給我們提供了思路。西班牙電信去年成立了名為「動態洞察」的大數據業務部門，它可以為客戶提供數據分析打包服務，幫助客戶把握重大變化趨勢。法國電信的移動業務部門也開始嘗試挖掘大數據的潛在價值，比如，它承建了一個法國高速公路數據監測項目，對每天產生的幾百萬條記錄進行分析，從而提高了道路通暢率。更具顛覆性的是Verizon，其數據業務的盈利收入在其整個業務中佔比非常高，其中就有聯合第三方機構對其用戶群進行大數據分析，再將有價值的信息提供給政府或企業獲取的額外價值。 分析人士指出，數據化程度越高的行業，其大數據的應用場景越多，能夠帶來的價值也就越高。數據重構商業，雖然國內在這方面的探索還未形成規模，但對運營商來說卻代表著前進的方向憑借自身優勢，將數據分析包裝為服務，提供給政府、商場、銀行等第三方機構進行決策，從而實現商業模式的創新，並在與互聯網企業的競爭中佔得先機。不過，需要明確的是，這里的數據包裝並不是非法採集用戶個人信息，更不是販賣用戶個性化隱私，真正的大數據應該是用加工實現增值，用分析來指導決策，而非原始數據信息本身的低層次濫用。

『陸』 什麼是大數據，看完這篇就明白了

什麼是大數據

如果從字面上解釋的話，大家很容易想到的可能就是大量的數據，海量的數據。這樣的解釋確實通俗易懂，但如果用專業知識來描述的話，就是指數據集的大小遠遠超過了現有普通資料庫軟體和工具的處理能力的數據。

大數據的特點

海量化

這里指的數據量是從TB到PB級別。在這里順帶給大家科普一下這是什麼概念。

MB，全稱MByte，計算機中的一種儲存單位，含義是「兆位元組」。

1MB可儲存1024×1024=1048576位元組（Byte）。

位元組（Byte）是存儲容量基本單位，1位元組（1Byte）由8個二進制位組成。

位（bit）是計算機存儲信息的最小單位，二進制的一個「0」或一個「1」叫一位。

通俗來講，1MB約等於一張網路通用圖片（非高清）的大小。

1GB=1024MB，約等於下載一部電影（非高清）的大小。

1TB=1024GB，約等於一個固態硬碟的容量大小，能存放一個不間斷的監控攝像頭錄像（200MB/個）長達半年左右。

1PB=1024TB，容量相當大，應用於大數據存儲設備，如伺服器等。

1EB=1024PB，目前還沒有單個存儲器達到這個容量。

多樣化

大數據含有的數據類型復雜，超過80%的數據是非結構化的。而數據類型又分成結構化數據，非結構化數據，半結構化數據。這里再對三種數據類型做一個分類科普。

①結構化數據

結構化的數據是指可以使用關系型資料庫(例如:MySQL,Oracle,DB2)表示和存儲，表現為二維形式的數據。一般特點是：數據以行為單位，一行數據表示一個實體的信息，每一行數據的屬性是相同的。所以，結構化的數據的存儲和排列是很有規律的，這對查詢和修改等操作很有幫助。

但是，它的擴展性不好。比如，如果欄位不固定，利用關系型資料庫也是比較困難的，有人會說，需要的時候加個欄位就可以了，這樣的方法也不是不可以，但在實際運用中每次都進行反復的表結構變更是非常痛苦的，這也容易導致後台介面從資料庫取數據出錯。你也可以預先設定大量的預備欄位，但這樣的話，時間一長很容易弄不清除欄位和數據的對應狀態，即哪個欄位保存有哪些數據。

②半結構化數據

半結構化數據是結構化數據的一種形式，它並不符合關系型資料庫或其他數據表的形式關聯起來的數據模型結構，但包含相關標記，用來分隔語義元素以及對記錄和欄位進行分層。因此，它也被稱為自描述的結構。半結構化數據，屬於同一類實體可以有不同的屬性，即使他們被組合在一起，這些屬性的順序並不重要。常見的半結構數據有XML和JSON。

③非結構化數據

非結構化數據是數據結構不規則或不完整，沒有預定義的數據模型，不方便用資料庫二維邏輯表來表現的數據。包括所有格式的辦公文檔、文本、圖片、各類報表、圖像和音頻/視頻信息等等。非結構化數據其格式非常多樣，標准也是多樣性的，而且在技術上非結構化信息比結構化信息更難標准化和理解。所以存儲、檢索、發布以及利用需要更加智能化的IT技術，比如海量存儲、智能檢索、知識挖掘、內容保護、信息的增值開發利用等。

快速化

隨著物聯網、電子商務、社會化網路的快速發展，全球大數據儲量迅猛增長，成為大數據產業發展的基礎。根據國際數據公司(IDC)的監測數據顯示，2013年全球大數據儲量為4.3ZB(相當於47.24億個1TB容量的移動硬碟)，2014年和2015年全球大數據儲量分別為6.6ZB和8.6ZB。近幾年全球大數據儲量的增速每年都保持在40%，2016年甚至達到了87.21%的增長率。2016年和2017年全球大數據儲量分別為16.1ZB和21.6ZB，2018年全球大數據儲量達到33.0ZB。預測未來幾年，全球大數據儲量規模也都會保持40%左右的增長率。在數據儲量不斷增長和應用驅動創新的推動下，大數據產業將會不斷豐富商業模式，構建出多層多樣的市場格局，具有廣闊的發展空間。

核心價值

大數據的核心價值，從業務角度出發，主要有如下的3點：

a.數據輔助決策：為企業提供基礎的數據統計報表分析服務。分析師能夠輕易獲取數據產出分析報告指導產品和運營，產品經理能夠通過統計數據完善產品功能和改善用戶體驗，運營人員可以通過數據發現運營問題並確定運營的策略和方向，管理層可以通過數據掌握公司業務運營狀況，從而進行一些戰略決策；

b.數據驅動業務：通過數據產品、數據挖掘模型實現企業產品和運營的智能化，從而極大的提高企業的整體效能產出。最常見的應用領域有基於個性化推薦技術的精準營銷服務、廣告服務、基於模型演算法的風控反欺詐服務徵信服務，等等。

c.數據對外變現：通過對數據進行精心的包裝，對外提供數據服務，從而獲得現金收入。市面上比較常見有各大數據公司利用自己掌握的大數據，提供風控查詢、驗證、反欺詐服務，提供導客、導流、精準營銷服務，提供數據開放平台服務，等等。

大數據能做什麼？

1、海量數據快速查詢(離線)

能夠在海量數據的基礎上進行快速計算，這里的「快速」是與傳統計算方案對比。海量數據背景下，使用傳統方案計算可能需要一星期時間。使用大數據 技術計算只需要30分鍾。

2.海量數據實時計算（實時）

在海量數據的背景下，對於實時生成的最新數據，需要立刻、馬上傳遞到大數據環境，並立刻、馬上進行相關業務指標的分析，並把分析完的結果立刻、馬上展示給用戶或者領導。

3.海量數據的存儲（數據量大，單個大文件）

大數據能夠存儲海量數據,大數據時代數據量巨大,1TB=1024*1G 約26萬首歌(一首歌4M),1PB=1024 * 1024 * 1G約2.68億首歌(一首歌4M)

大數據能夠存儲單個大文件。目前市面上最大的單個硬碟大小約為10T左右。若有一個文件20T,將 無法存儲。大數據可以存儲單個20T文件，甚至更大。

4.數據挖掘（挖掘以前沒有發現的有價值的數據）

挖掘前所未有的新的價值點。原始企業內數據無法計算出的結果，使用大數據能夠計算出。

挖掘（演算法）有價值的數據。在海量數據背景下，使用數據挖掘演算法，挖掘有價值的指標（不使用這些演算法無法算出）

大數據行業的應用？

1.常見領域

2.智慧城市

3.電信大數據

4.電商大數據

大數據行業前景(國家政策)？

2014年7月23日，國務院常務會議審議通過《企業信息公示暫行條例（草案）》

2015年6月19日，國家主席、總理同時就「大數據」發表意見：《國務院辦公廳關於運用大數據加強對市場主體服務和監管的若干意見》

2015年8月31日，國務院印發《促進大數據發展行動綱要》。國發〔2015〕50號

2016年12月18日，工業和信息化部關於印發《大數據產業發展規劃》

2018年1月23日。中央全面深化改革領導小組會議審議通過了《科學數據管理辦法》

2018年7月1日，國務院辦公廳印發《關於運用大數據加強對市場主體服務和監管的若干意見》

2019年政府工作報告中總理指出「深化大數據、人工智慧等研發應用，培育新一代信息技術、高端裝備、生物醫葯、新能源汽車、新材料等新興產業集群，壯大數字經濟。」

總結

我國著名的電商之父，阿里巴巴創始人馬雲先生曾說過，未來10年，乃至20年，將是人工智慧的時代，大數據的時代。對於現在正在學習大數據的我們來說，未來對於我們更是充滿了各種機遇與挑戰。

python學習網，大量的免費python視頻教程，歡迎在線學習！

『柒』 大數據行業現狀及前景

當前，我國正在加速從數據大國向著數據強國邁進。國際數據公司IDC和數據存儲公司希捷的一份報告顯示，到2025年，隨著中國物聯網等新技術的持續推進，其產生的數據將超過美國。我國產生的數據量將從2019年的約9.4ZB增至2025年的48.6ZB，數據交易迎來戰略機遇期。1zettabyte大約是1萬億gigabyte，這是當今常用的測量方法。與此同時，美國2019年的數據量約為8.6ZB。到2025年，這個數字預計將達到30.6ZB。

——以上數據來源於前瞻產業研究院發布的《中國大數據產業發展前景與投資戰略規劃分析報告》。

『捌』 商院案例:大數據安全隱患與體系建設

商院案例:大數據安全隱患與體系建設

著互聯網、雲計算、物聯網等網路技術快速發展和智能終端、智慧城市廣泛應用及大范圍建設，全球數據量呈現爆炸式增長，驅動著整個互聯網世界邁入大數據時代。

為應對大數據時代的挑戰，推廣大數據基礎分析、技術研發與應用、安全技術，以及推進大數據技術創新管理能力和業務能力、加強大數據安全與隱私管理，廣東省信息協會、廣東省計算機信息網路安全協會、廣東省大數據技術聯盟聯合主辦的「2014廣東省大數據應用與安全高峰論壇」定於10月21日(星期二)上午在廣東亞洲國際大酒店召開且圓滿結束。

藍盾股份作為中國信息安全行業領先的專業網路安全企業和服務提供商，也應邀參加該次峰會，並圍繞「大數據應用安全隱患與安全體系建設」作出了重要演講。

下文就演講的幾個重要方面整理成文，重點歸納總結了大數據的應用價值、大數據背景下面臨的安全問題以及對大數據時代安全建設的幾點考慮。

一、大數據背景介紹

1、大數據特性

大數據(Big Data)是指「無法用現有的軟體工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合。」業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的基本特徵。

一是數據體量巨大(Volume)。據國際知名數據公司IDC 提供的更為復雜的新數據已經出現，而且生成的速度達到了前所未有的程度，IBM預計，到2020年將增至40萬億GB的水平。

二是數據類型繁多(Variety)。大數據來源種類豐富，更為復雜的新數據已經出現，社交網路數據、網路日誌、存檔數據和感測器數據、地理位置信息都屬於人們在分析中關注的新數據源。

三是價值密度低(Value)。雖然每天產生25億GB數據，但其中只有接近0.5%的經檢測數據才具有分析價值。

四是處理速度快(Velocity)。面對如此海量的數據，非結構化數據也越來越多，如何快速地處理這些數據並挖掘出有價值的信息，這也是大數據區分於傳統數據挖掘的最顯著特徵。

2、大數據技術趨勢

1)Hadoop技術的應用

Apache

hadoop是一個開源的分布式計算框架，通過集成MapRece技術，Hadoop將大數據分布到多個數據節點上進行處理。Hadoop遵循Apache 2.0許可證，可以輕松處理結構化、半結構化和非結構化數據，一舉成為現在非常流行的大數據解決方案，可以用來應對PB甚至ZB級的海量數據存儲。

2)與雲計算的融合

大數據和雲是兩個不同的概念，但兩者之間有很多交集。支撐大數據以及雲計算的底層原則是一樣的，即規模化、自動化、資源配置、自愈性，因此實際上大數據和雲之間存在很多合力的地方。可以說大數據和雲計算是相伴而生的，大數據的處理離不開雲，大數據應用是在雲上跑的、非常典型的應用。

二、大數據的應用價值

《華爾街日報》將大數據時代、智能化生產和無線網路革命稱為引領未來繁榮的三大技術變革。麥肯錫公司的報告指出數據是一種生產資料，大數據是下一個創新、競爭、生產力提高的前沿。更有世界經濟論壇報告認定：大數據為新財富，價值堪比石油。

就國內外對大數據的研究與投入來看，2014年，Intel、IBM、微軟、阿里巴巴[微博]等行業巨頭紛紛布局大數據。IDC預測2014年產生2萬TB數據，2014年大數據產值超6億，2016年將可望突破100億。

那麼，這些看似平凡的數據能為我們帶來什麼？事實上當你把微博等社交平台當作發泄工具時，專業的斂財高手們卻正在挖掘這些互聯網的「數據財富」，先人一步用這些數據來預判市場走勢，做出正確的決定，並取得不俗的收益。

大數據的核心價值是能夠為政府、企業提供決策服務，幫助企業把握市場機遇、迅速實現大數據商業模式創新，協助政府建設智慧城市和應對公共安全，幫助公安進行犯罪預測與預防。

例如，華爾街根據民眾情緒拋售股票；美國疾控中心依據國民搜索，分析全球范圍內流感等病疫的傳播狀況；投資機構搜集並分析上市企業聲明，從中尋找破產的蛛絲馬跡；電信行業利用大數據幫助電信業對業務的分析和優化；電子商務收集、分析海量的消費者數據，從中挖掘消費者多變、復雜的需求。

總之，在大數據時代，以利用數據價值為核心，合理挖掘和利用大數據，已經為各行各業帶來了巨額財富。

三、大數據的安全隱患

隨著大數據應用的爆發性增長，大數據衍生出獨特架構，並推動存儲、網路及計算機技術的發展，同時也引發了新的安全問題。

1、網路化社會使大數據成攻擊目標

開放的網路化社會，大數據的數據量大且相互關聯，對於攻擊者而言，相對低的成本可以獲得「滾雪球」的收益。用戶數據泄露，個人賬號信息失竊的事件時有發生，一旦遭受攻擊，失竊的數據量也是巨大的。

最近幾年來數以百萬計的信息大泄密和大量的網路犯罪案件說明，大數據和雲環境下的信息安全的風險度已非昔時可比。

2、大數據加大隱私泄露風險

大數據是把「雙刃劍」，快捷的網路、精準的營銷，雖能帶給人們一個更加便捷的生活方式，同時，卻也讓個人隱私的保護幾成空談。數據分析技術的發展，勢必對用戶隱私產生極大威脅。如今的大數據營銷，對於消費者而言，就好似被一雙眼睛盯著，每時每刻窺探著你的一舉一動，作為個體消費者，我們早就無法避免自己的個人隱私被網路系統記取被商家掌握並挖掘利用，甚至被惡意使用。

3、技術短板帶來的安全隱患

NOSQL(非關系型資料庫)作為大數據處理的基礎技術，與當前廣泛應用的SQL(關系型資料庫)技術不同，沒有經過長期改進和完善，在維護數據安全方面也未設置嚴格的訪問控制和隱私管理，缺乏保密性和完整性特質。

4、大數據環境打破傳統安全壁壘

大數據的處理和存儲離不開雲，其運營環境的特殊性打破了傳統的網路邊界壁壘，使得傳統的安全技術手段無法做到有效的安全防護。

大數據本身的安全防護存在漏洞，雖然雲計算對大數據提供了便利，但對大數據的安全控制力度仍然不夠。

5、大數據可能成為高級可持續攻擊的載體

APT攻擊是一個持續的過程，不具有被實時檢測到的明顯特徵。同時，隱藏在大量數據中的APT攻擊代碼也很難被發現。此外，攻擊者還可以利用社交網路和系統漏洞進行攻擊，在威脅特徵庫無法檢測出來的時間段發起攻擊行為。

四、大數據時代下的安全體系建設

1、大數據存儲安全

大量的數據產生、存儲和分析，數據安全存儲問題將在未來幾年內成為一個更大的問題。行業必須盡快盡早規劃和布局大數據安全存儲防護措施，協同技術的發展，加大安全防護投入。安全存儲是大數據安全的最基本需求，我們可以從集中存儲、加密存儲、加密傳輸、認證授權和日誌審計等方面來對大數據的安全存儲環境加大保護力度。

2、個人隱私信息的保護

大數據和個人隱私之間的「戰爭」早已打響，必須從技術和法規層面上保障大數據時代的隱私安全，完善用戶個人信息的保障體系。

法規層面應從標准和法律兩個方面界定數據屬性和銷售許可，出台相應資質認證和法律法規，建立健全大數據隱私安全保障體系。

技術層面應使用大數據清洗、去隱私化等技術完成對客戶隱私數據的隱藏化處理。

3、大數據雲安全

大數據一般都需要在雲中實現上傳、下載及交互，在吸引越來越多黑客和病毒攻擊的雲端及客戶端做好安全保護必不可少。

我們可基於虛擬化的雲數據中心提供系統性的安全解決方案，以安全虛擬器件代替原有硬體設備的產品交付方式，確保物理、虛擬和雲環境中伺服器的應用程序和數據的安全，可以為雲和虛擬化環境提供主動防禦、自動安全保護，將傳統數據中心的安全策略擴展到雲計算平台上。

4、建立防禦機制

在規劃大數據發展的同時，建立並完善大數據信息安全體系很有必要。結合傳統信息安全技術和考量大數據收集、處理和應用時的實際環境安全需求，建立面向大數據信息安全的事件監測機制，及時發現信息系統安全問題，當大數據運營環境遭到攻擊前或已經遭到攻擊時，快速、准確地發現攻擊行為，並迅速啟動處置和應急機制。

5、重新規范管理員的許可權

大數據的跨平台傳輸應用在一定程度上會帶來內在風險，可以根據大數據的密級程度和用戶需求的不同，將大數據和用戶設定不同的許可權等級，並嚴格控制訪問許可權。而且，通過單點登錄的統一身份認證與許可權控制技術，對用戶訪問進行嚴格的控制，有效地保證大數據應用安全。

總之，大數據時代機遇與挑戰並存，在推進大數據技術創新管理能力和業務能力的同時，要加強大數據安全與隱私管理相關研究的力度，通過政策法規與技術手段相互作用，使大數據在我國各個行業得以沿著正確的方向更快、更深入的發展。

特別說明：由於各方面情況的不斷調整與變化，新浪網所提供的所有考試信息僅供參考，敬請考生以權威部門公布的正式信息為准。

以上是小編為大家分享的關於商院案例:大數據安全隱患與體系建設的相關內容，更多信息可以關注環球青藤分享更多干貨