網管大數據

❶ 有關大數據應用的論文(2)

有關大數據應用的論文篇二

《大數據技術對財務管理的影響》

摘 要：大數據可以快速幫助財務部門建立財務分析工具，而不是單純做賬。大數據應該不僅僅局限於本單位的微觀數據，更為重要的關注其他單位的宏觀數據。大數據技術不僅帶來了企事業單位財務數據搜集的便利和挑戰，而且也衍生出了諸多關於單位人員個人信息保密等問題的積極探索。本文主要研究大數據技術(meta-data或big data)對企業或事業單位財務管理的影響，以期為財務數據管理的安全性提供一種分析的依據和保障。

關鍵詞：大數據;財務管理;科學技術;知識進步

數據是一個中性概念。人類自古以來幾千年的輝煌變遷，無外乎就是數據的搜集和使用過程而已。縱觀古今中外的人際交流與合作，充滿著爾虞我詐和勾心鬥角，那麼他們在爭什麼呢?實際上是在爭奪信息資源;歷史上品相繁多的戰爭，實際上不是在維持什麼所謂的正義和和平，抑或為了人間的正道，而是在爭奪數據的使用權;“熙熙攘攘皆為利往、攘攘熙熙皆為利來”的世俗變遷邏輯已經讓位於數據游戲的哲學法則。人類自英國產業革命以來所陸續發明的技術，盡管被人們美其名曰“第四次科技革命的前沿技術”，實際上不過就是“0”和“1”兩個數字的嬉戲而已。正如有學者指出的，汽車技術、生命科學技術、基因技術、原子能技術、宇宙航天技術、納米技術、電子計算機技術，看起來美輪美奐，實則隱含著殺機，那就是由於人們把技術當成了目的後，導致了“技術專制”後的“技術腐敗”和“技術災難”。人類一方面在懶惰基因的誘惑下，發明了諸多所謂的機械裝置，中國叫“機巧”;另一方面又在勤奮的文化下，發明了諸多抑制懶惰的制度和機制。本來想尋求節儉，結果卻越來越奢侈;本來想節約，結果卻越來越浪費;本來想善良，結果卻越來越邪惡;本來想美好，結果卻越來越醜陋。正如拉美特里所說：“人是什麼?一半是天使，一半是野獸。當人拚命想成為天使的時候，其實他會逐漸變成野獸;當人想極力崇拜野獸的時候，結果會逐漸接近天使。”我們不是在宣講宿命的技術，我們只是在預測技術的宿命。本文主要研究大數據技術(meta-data或big data)對企業或事業單位財務管理的影響，以期為財務數據管理的安全性提供一種分析的依據和保障。

一、大數據技術加大了財務數據收集的難度

財務數據的收集是一個復雜的系統工程，國際上一般採用相對性原則，即首先利用不完全統計學的知識對數據進行初步的計算，接著對粗糙的數據進行系統的羅列，最後對類型化的數據進行明分梳理。使用者如果想進入該資料庫，就必須擁有注冊的用戶名和密碼。由於國際上對於網路數據的監督均採取了實名注冊的模式，所以一旦該用戶進入到核心資料庫之後想竊取數據，一般都會暴露自己的bug地址源，網管可以循著這一唯一性存留，通過雲計算迅速找到該網路終端的IP地址，於是根據人機互動原理，再加上各種網吧所安裝的監控平台，可以迅速找到資料庫的剽竊者。如果按照上述數據變遷邏輯，那麼財務數據的收集似乎變得易如反掌，而事實並非如此。因為：①數據的量化指標受制於雲計算伺服器的安全性。當雲伺服器受到不可抗力的打擊，如地震、水患、瘟疫、鼠疫、火災、原子能泄露或各種人為破壞的作用，數據會呈現離散型散落。這時的數據丟失會演變成數字災難;②各種數據版權的擁有者之間很難實現無縫隙對接。比如在經過不同伺服器的不同數據流之間，很難實現現實意義上的自由流通。正如專家所指出的，教育伺服器的事業單位的人員數據、行政部門人事管理部門的保密性數據、軍事單位的軍事數據、醫療衛生事業的數據、工商注冊數據、外事數據等在無法克服實際權力的分割陷阱之前，很難實現資源的共享，這時對數據的所謂搜集都會演化為“不完全抽樣”的數字假象。由此而衍生的資料庫充其量只是一部分無用的質料而已。

二、大數據技術影響了財務數據分析的准確性

對於搞財務管理的人來說，財務數據的收集只是有效實現資源配置的先決條件，真正有價值的或者說最為關鍵的環節是對財務數據的分析。所謂“財務數據分析”是指專業的會計人員或審計人員對紛繁復雜的單位人力資源信息進行“去魅”的過程。所謂“去魅”就是指去粗取精、去偽存真、由此及彼、由表及裡、內外互聯，彼此溝通、跨級交流、跨界合作。在較為嚴格的學術意義上，分析的難度廣泛存在與財務工作人員的日常生活中。大數據技術盡管為數據的搜集提供了方便法門，但同時加大了財務人員的工作量和工作難度。原先只是在算盤或者草稿紙上就可以輕松解決的數據計算，現在只能藉助於計算機和雲圖建模。對於一些藉助於政治權力因素或者經濟利益因素，抑或是藉助於自身的人際關系因素上升到財務管理部門的職工來說，更大的挑戰開始了。他們不知道如何進行數據流的圖譜分析，不知道基於計算機軟體技術的集成線路技術的跌級分類，不知道基於非線性配置的液壓傳動技術的模板沖壓技術，不知道逆向網路模型來解決外部常態財務變數的可篡改問題。由於技術不過硬，導致了領導安排的任務不能在規定的時間內完成，即時倉促做完的案例，也會因為數據分析技術的落後而授人以柄，有的脾氣不好的領導可能會大發雷霆;脾氣好的領導只是強壓著內心的怒火，那種以靜制動的魄力和安靜更是攝魂奪魄。所以說數據分析難度的增加不是由於財務人員的良心或善根缺失，在很大程度上是由於技術的進步和大數據理念給我們帶來的尖銳挑戰。對於普通的沒有家庭和社會背景的財務管理人員來說，能做的或者說唯一可做的就是尊重歷史發展的周期律，敬畏生生不息的科學革命，認真領會行政首長的戰略意圖，提升自己的數據分析技術，升華在自身的“硬實力”。否則覬覦於領導的良心發現和疏忽大意，期望技術的靜止或者倒退，抑或是在違法犯罪之後天真的認為可以相安無事，可能都只會落得“恢恢乎如喪家之犬”的境遇。

三、大數據技術給財務人事管理帶來了挑戰

一個單位的財務人事管理牽扯到方方面面的問題，其意義不可小視。一般來講，單位在遴選財務管理部門管理人員的時候，大多從德才績行四個方面全面權衡。然而這種“四有標准”卻隱含著潛在的危機和不可避免的長遠威脅，這其中的緣由就在於人性的復雜性和不可猜度性。歷史和現實一再告訴人們，單純看眼前的表現和話語的華麗，不僅不能對人才的素質進行准確的評價，而且還會導致官員的遠期腐敗和隱性腐敗。對於中國的腐敗，國人大多重視了制度和道德的緣起，卻往往忽視了財務管理的因素。試想如果財務管理人員牢牢踐行“焦裕祿精神”，不對任何政治權力開綠燈，國有資產又如何流出國庫而了無人知曉呢?事實上，中國的所有腐敗，不論是國有資產的國外流失抑或是國內流失，都在很大程度上與財務人員有關，可能有些管理人員會強調那不是自己的責任，出納簽字是領導的授意，會計支出費用那是長官的意思清晰表示。實際上，處於權力非法授予的簽字、蓋章、取現、流轉和變相洗錢都是違法的，甚至是犯罪的。間接故意也是應當追究責任的。值得高興的是，伴隨著數字模擬技術的演進，財務管理中的腐敗現象和人事管理科學化問題得到了極大的改善，相關領導伸手向財務要錢的行為，不僅會受到數據進入許可權的限制，而且還會受到跟數據存留的監控，只要給予單位科技人員以足夠的許可權，想查找任何一筆資金的走向就變得非常簡單，而且對於每一筆資金的經手者的信息也會了如指掌。這在一定程度上減少了只會指揮、不懂電腦的首長的孵化幾率。

四、大數據技術加大了單位信息保密的難度

IMA(美國注冊會計師協會)研發副總裁Raef・Lawson博士曾經指出：“客觀上講，大數據技術的正面效用是非常明顯的，但一個不容迴避的事實是大數據技術為財務信息的安全性提出了越來越嚴峻的挑戰。我們已經注意到，在歐洲大陸、美洲大陸已經存在基於數據泄露而產生的各種抗議活動，這些活動牽扯到美國的數據竊聽丑聞、俄羅斯對軍事數據的強制性戰友舉動、以色列數據專家出賣阿拉伯世界經濟數據的案件、在東方的中國香港一部分利用數據的竊取而發家致富的頂尖級黑客專家。”在數據集成的拓撲領域，大數據技術的保密性挑戰肇始於蟻群演算法的先天性缺陷。本來數據流的控制是依靠各種所謂的交易密碼，實際上這些安全密碼只是數據的另一種分類和組合而已。在數據的非線性組合和線路的真空組裝模式下，任何密碼都只是阻擋了技術侏儒的暫時性舉動，而沒有超出技術本身的惰性存在。當一個hacker掌握了源代碼的介質性接洽技術之後，所剩下的就是信息和數據的搜集了，只要有足夠的數據源，信息的戶的幾乎是輕而易舉的。

2003年，北京的一家名為飛塔公司的防火牆安全軟體在中關村科技城閃亮上市。該安全控制軟體的開發者隨機開發了一款名曰MAZE天網的軟體，並且採用了“以其之矛攻其之盾”的攻防策略。測試的結果是盡管maze的源代碼採用了24進制蝶形加密技術，但 FortiGate防火牆技術仍然能夠阻擋住善意木馬對電腦終端用戶信息的剽竊和非法利用。FortiWeb已經通過全球權威的ICSA認證，可以阻斷如跨站腳本、SQL注入、緩沖區溢出、遠程文件包含、拒絕服務，同時防止敏感資料庫外泄，為企事業單位Web應用提供了專業級的應用安全防護。飛塔公司之所以耗費人力和物力去開發這一新型的換代產品，就在於大數據時代對單位信息保密性的沖擊。試想，如果一個單位連職工最起碼的個人信息都不能安全存儲的話，那麼財務管理的科學性和人本性將從何談起?只能說，即使在人權保護意識相對薄弱的法治環境里，我們也應該盡量提升自己的保密意識，加強對個人信息的保護和合理運用。

作者簡介：田惠東(1967- )，女，漢族，河北定興人，副高級會計師，本科學歷，研究方向：財務管理，單位：保定市第一醫院

❷ 大數據 、雲計算、互聯網等是怎麼樣實現價值

其實我個人覺得大數據雲計算確實能給互聯網公司帶來很多的好處，但是這個大數專據雲計算剛剛推出來的時屬候，其實很多大公司CEO都不是特別的看好，只是被他們的手下忽悠了一下，就去搞了這樣的東西，但是搞完之後他們才發現原來大數據和雲計算真的是非常不錯的。

就像淘寶這個公司我們都是知道的，這個大數據跟雲計算是有什麼用呢？就是通過大家長時間或者是大量的點擊某個商品之後，他會知道，你到底喜歡什麼樣的商品，這就是大數據跟雲計算來幫你計算出來的東西，然後這樣的話你就可以看到你喜歡的東西的概率會多一點，然後也會增加他們的銷量，這就是大數據雲計算給他們帶來的一個好處。

❸ 大數據時代網路輿情管理變革探討

大數據時代網路輿情管理變革探討

大數據時代的到來對人類的生活、工作與思維產生變革性影響，深刻改變著商業王國及公共管理等各個領域的面貌，「大數據」日漸成為各行業創新的助推器。當前中國網路輿情環境復雜，網路輿情危機時有發生，社會熱點輿情事件和涉官涉政輿情事件不斷涌現，造成社會民主生活和政治穩定間的不平衡等諸多影響。大數據背景下的網路輿情正在發生巨大的變化，網路輿情管理變得日益復雜和重要，如何抓住大數據時代為網路輿情管理變革帶來的機遇，以「大數據觀」變革傳統網路輿情管理思維，准確把握網路輿情的內在特徵及其在演變過程中的潛在規律，實現網路輿情管理在思維、模式以及技術上的創新，對於新形勢下做好網路輿情引導工作，加強和改進網路內容建設，具有重要的理論意義和實踐價值。

一、大數據時代必然要求網路輿情管理變革

「大數據」概念最早在20世紀80年代提出，2011年麥肯錫咨詢公司發布其研究成果《大數據：下一個創新、競爭和生產率的前沿》，使這個概念得以大范圍推廣。2012年3月29日，奧巴馬宣布將投入2億多美元啟動「大數據發展和研究計劃（Big Data Research and Development Initiative）」，將「大數據戰略」上升為國家戰略。近兩年，大數據備受學術界、產業界和政府部門的關注，成為國內外強有力的前沿詞彙。大數據又稱巨量數據、海量數據、大資料，指的是所涉及的數據量規模巨大到無法通過目前主流軟體工具在合理時間內進行抓取、管理和處理的數據集合，是必須通過深度挖掘、計算、分析才能創造價值的海量信息。大數據在體量、復雜性、產生速度及價值密度四個方面都極大地超越了傳統的數據形態，具有4V特徵：大量（Volume）、多樣（Variety）、高速（Velocity）、價值（Value）。數量龐大的網民通過論壇、微博、微信等多種途徑方便快捷地發表言論觀點，網路輿情的規模和復雜性急速上升，體量巨大而價值密度低，其內在特徵的變化必然要求實現網路輿情管理的變革以適應大數據時代的發展，這些要求主要體現在四個「轉向」上。

（一）從監測轉向預測。大數據的核心和目標就是預測。復雜網路的研究專家巴拉巴西認為，「93%的人類行為是可以預測的，當我們將生活數字化、公式化以及模型化的時候，我們會發現其實大家都非常相似。生活如此抵觸隨機運動，渴望朝更安全、更規則的方向發展，人類行為看上去很隨意、很偶然，卻極其容易被預測」[1]。例如，亞馬遜可以推薦我們想要的圖書，淘寶知道我們的喜好，而人人網可以猜出我們認識誰。傳統網路輿情管理把監測已經產生的輿情信息作為起點，這種明顯的滯後性使其在網路輿情危機的應對中處於消極被動的位置。而目前留給突發事件的處理時間越來越少，從傳統的「黃金24小時」變為「黃金4小時」，如此短的時間使輿情分析和決策尚未來得及參與進來，整個事件就已經造成了爆炸性的效果。在大數據時代，通過挖掘數據相關性，把數學演算法運用到海量的數據上進行分析，在敏感消息進行網路傳播的初期就提前開始監測，然後建立模型，模擬模擬網路輿情的演變過程，使網路輿情突發事件發生的可能性和傾向性變得可以預測。

（二）從節點轉向網路。由監測輿情轉向預測輿情的目標實現，最關鍵的大數據技術就是挖掘數據的相關性。在小數據時代，由於受到資料庫和計算分析能力的限制，無論是對於因果關系還是相關關系的追尋，都耗資耗時，並且易受傳統的思維模式和特定領域隱含的固有偏見的影響，無法保證輿情分析結果的准確性。因此傳統的網路輿情管理只注重輿情內容的監測，通過分析單個數據節點，如網民「說什麼」來抓住比較淺層的社會語義表達。大數據則在保留了原始數據的同時，記錄了網民「為什麼這么說」背後的社會心理和社會關系網。按照大數據思維，每一個數據都是一個節點，可無限次地與其他關聯數據形成輿情鏈上的乘法效應——類似微博裂變傳播路徑，數據裂變式的關聯狀態蘊含著無限可能性[2]。通過對海量信息的解構與重構，充分整合政府和企業的數據資產，利用一系列飛速發展的新技術和新工具，描繪、測量、計算各節點之間的關系，深度挖掘數據的相關性，以此排除偏見和視覺盲點，掌握易被忽略的社會動態，預測輿情的發展趨勢。因此大數據時代必然要求網路輿情管理變革其監測系統，由節點轉向網路，把握相關性，進而分析輿情背後的社會互動，乃至網路族群之間的界限和相互勾連。

（三）從定性轉向定量。輿情分析師或解讀者從自身經驗和視角出發，在傳統網路輿情管理的過程中進行定性分析時，必然使其分析結果帶有個人價值與理念的主觀印記，甚至不同的輿情機構對同一輿情事件會得出相悖的結論。在大數據時代，所有元數據都可通過量化關聯轉化為有價值的信息，並實現多次利用，每一次利用都是一種創新，大數據成為網路輿情定量管理的力量源泉。盡管數據的相關性決定了某些數據價值的潛藏性，但新技術、新軟體的出現使得通過數學分析實現數據的價值轉化變為可能。而多維解讀輿情和新的深刻洞見的揭示，使輿情分析結果的全面性和客觀性大大超越傳統的網路輿情管理。但數據的量化並不等同於簡單的「數字化」，而是數據的可計算化，舍恩伯格將其稱之為「數據化」，是指一種把現象轉變為可製表分析的量化形式的過程[3]。「數據化」使態度和情緒轉變為一種可以分析的形式，網路輿情的相關信息得以進行深入分析，一些社交媒體如Facebook、Twitter、QQ、微博、微信等坐擁大型數據的寶藏，一旦實現對其自身資料庫的深度利用，就能輕易獲得社會各個領域和所有用戶的幾乎全部動態信息。

（四）從樣本轉向全體。在傳統的網路輿情工作模式中，所採集的輿情關聯數據僅為樣本信息，構建的資料庫結構單一、數據量有限。其數據源一般是基於抽樣或者針對重點網路站點進行的數據抓取，僅能對小規模、有結構或類結構的數據進行分析，標准不一，難以在不同領域中通用。同時，樣本分析並不能保證結果的准確，即使分析方法和操作沒有問題，但采樣過程的任何偏誤都將使輿情分析結果與事實相去甚遠。大數據體量巨大，從TB級別躍升至PB乃至ZB級別，完整記錄了社情民意，成為人類生存痕跡和心理變化的記錄儀。采樣的目的是以盡可能少的數據獲得盡可能多的信息，但大數據是建立在掌握所有數據，至少是海量數據的基礎上的，在數據處理技術日新月異的今天，變革傳統輿情管理思維與方法，改變采樣的慣性行動成為必要。通過運用大數據技術，建立網路輿情自動分析系統，全天候自動搜索並採集與目標輿情看似毫不相關實則具有內在關聯的信息，在抓取和收集頁面之後，對信息自動分類、自動獲取關鍵詞、自動內容分析和自動報警等。樣本擴大至幾乎全體，輿情分析的結果更加客觀可靠。

二、大數據時代網路輿情管理變革的效應前瞻

抓住大數據時代變革網路輿情管理的新機遇，迎接大數據時代網路輿情管理的新挑戰，順應大數據時代網路輿情管理的新要求，變革與創新網路輿情管理將會產生良好的管理效應，實現新時期網路輿情管理的升級轉型。

（一）實現「防火」式管理。傳統的網路輿情管理因為無法把握數據相關性，不能准確預測輿情未來的發展趨勢，因此採用的是「滅火」式管理模式。政府通常在輿情產生或者已形成輿情危機的情況下才開始採取措施，如發布信息、引導輿情、滿足訴求等，以此達到「滅火」效果。在此種模式下，政府經常被動陷入網路輿情漩渦，由此形成視網路輿情為「敵情」的偏見。為了擺脫這一困境，政府總是試圖「控制」、「引導」和「應對」網路輿情，以一種上位者的姿態去支配、主宰網民及其輿情表達的方式。然而，若網民在網路輿情中的主體地位得不到保證，網路輿情就會失去其「減壓閥」的功能，網路輿情問題將會是治標不治本。大數據時代，政府轉變網路輿情管理思路，變革網路輿情管理模式，應用大數據技術對網路輿情進行關聯分析、級別劃分、聚類分析和傾向性分析，將實現「滅火」式管理到「防火」式管理的轉變。通過尋找「導火索」與「減壓閥」之間的平衡點，在發揮網路「民間輿論場」作用的同時，將網路輿情危機扼殺在搖籃里。例如美國中央情報局通過抓取海量數據來追蹤恐怖分子和監控社會情緒，在「阿拉伯之春」中，通過大數據分析多少人和哪些人的立場從溫和變為激進，並「算出」誰有可能會採取有害行為。

（二）打撈「沉沒的聲音」。大數據源於互聯網的分享、開放，但「數字鴻溝」的存在卻使「信息窮人」與網路隔絕。盡管互聯網的發展使這一部分人的比例越來越低，但發展不均衡性的擴大意味著現在和將來仍然有一個不容忽視的群體將無法提供任何數據。即使是那些能夠充分利用網路的人群，也有可能因為在某種情境下成為輿論中的弱勢群體，或者因其在輿情主流中的異質思維而選擇不在網路上發聲。當然，這種選擇既可能是主動也可能是被動的。正如美國哲學家埃里克·霍弗所言，「一個國家最不活躍的人群，為佔大多數的中間層次。他們是在城市工作和在鄉間務農的正派老百姓，然而，他們的命運卻受分據社會光譜兩頭的少數人——最優秀的人和最低劣的人所左右」[4]。顯而易見的是，單憑技術體系構築的大數據平台無法真正獲取「全部數據」，通過改革網路輿情管理去打撈那些可能代表某一個群體或一定數量級的「沉沒的聲音」十分必要。因此，全面思考和理清大數據時代網路輿情管理面臨的機遇和挑戰，通過「大輿情」觀念的構建，變革網路輿情管理的工作理念和模式，將有利於打撈「沉沒的聲音」。例如，將輿情服務與社會調查相結合，重視實地調研與第一手材料的採集，而不是把網路輿情管理捆綁在技術上，將避免得到不全面的輿情或做出誤導性決策。

（三）識破「偽輿情」。當前備受關注的網路輿情，越來越成為依存於影星式的學者、影星式的記者、影星式的商人和影星式的政客為中心的「偽輿情」[5]。重大敏感事件發生後，部分網管和有影響力的輿情機構快速封堵其主觀上認為的「有害信息」，選擇性地編撰輿情報告，以片面、虛假的「偽輿情」影響決策層對形勢的研判，使其做出符合自身利益訴求的決策。有些利益集團則精心扶植和培育自己的網路發言人，引導網民思考的內容和方向。結果，這些輿論領袖對關鍵事件和問題的看法在網路上大行其道，並淹沒其他異質言論，使群眾對真相的認知產生巨大偏差。當輿情被各方利益集團的政治力量和經濟力量操縱時，它便喪失了獨立性，一旦「偽輿情」被識破，輿情機構就可能失去其公信力。基於全網的完整、准確和極速的信息抓取有利於為輿情分析報告提供一手的材料、純粹的事實，從而獲得真實全面的輿情，使網民在不知道「為什麼」的情況下，依然能獲得對「是什麼」的比較公正客觀的認知，並以此助力網路輿情的引導。同時，通過變革網路輿情管理的體制機制，保持輿情管理的獨立性將有力識破「偽輿情」，剔除「雜音」與「噪音」，使大數據時代的網路輿情真正成為現實世界的「鏡像」。

（四）克服「盲人摸象」和「信息孤島」。海量信息無限增長與網民關注、分析能力有限之間的矛盾，造成了「數據爆炸」與「知識貧乏」的怪象，加劇了社會輿論的「盲人摸象」效應。大數據時代下，網路媒體促進了信息的開放和溝通的便捷，人們對公共事件的參與達到了一個前所未有的高度，但是分眾傳播、個性化傳播的凸顯以及信息的碎片化，使得全面、深刻地關注和分析事件變得越來越困難。網民非理性、易激動的特點導致網路輿情的偏激和情緒化，網路的「群體極化」被放大。大數據時代的輿情監測是建立在傳統人工和軟體無法進行的全網輿情信息採集的基礎上，樣本擴大到全體。通過運用大數據技術，建立網路輿情自動分析系統，避免因數據源不全面而造成的重要信息監測缺失，將有利於消弭「盲人摸象」現象。與此同時，由於信息化應用水平參差不齊，政府和企業不同的部門之間都存在「信息孤島」問題：有多少個部門就有多少個信息系統，每個系統都有自己的資料庫、應用軟體和用戶界面，完全是獨立的體系，阻礙了數據的互通互聯[6]。變革大數據時代網路輿情管理的工作模式，統一輿情行業的技術標准，共享數據，建立網路輿情服務聯盟，統籌政府、企業、媒體及社會力量，實現網路輿情的多元共治將有利於解決「信息孤島」問題。

三、大數據時代網路輿情管理的變革路徑

當大數據給各行各業帶來變革性影響時，全世界都沒做好迎接這場產業革命的准備。但與英美等發達國家相比，中國更像是處在大數據時代的前夜。而中國的人口和經濟規模決定了中國大數據的規模為全球最大，為中國抓住時代的脈搏進行改革提供了難得的機遇。在這種大背景下，大數據對傳統輿情管理也產生了深刻的影響，要使網路輿情管理變革產生應有的預期效應，適應時代的發展要求，須從思維觀念、方法手段、體制機制、技術保障、人才建設等路徑著手。

（一）樹立大輿情觀念。大數據時代網路輿情管理的變革，首要在於樹立大輿情觀念。這里的大輿情，包括兩層含義。第一，強調「大數據觀」，即充分實現網路數據平台的開放共享。按照「一切皆可量化」的大數據邏輯，一個新增的相關性數據的產生，通常會帶來一個新的分析結果。因此只有形成「大數據觀」，實現數據的動態分享，才能有效防止信息「碎片化」，最大限度地消除「盲人摸象」和「信息孤島」現象。第二，強調網上和網下數據的整合。網路輿情與社會調查結合不足，可能降低輿情的真實性，誤導決策。例如，對於假期調整方案的選擇，各輿情機構組織的網路投票的結果各不相同，其做出的輿情分析報告也和真實民意相左。因此只有真正掌握「大輿情」，打撈「沉沒的聲音」，才能正確決策，打造一個更安全、更高效的社會。樹立大輿情觀念，首先，必須實現數據分析的動態化，打破數據壟斷，統一標准，共享數據，預防孤立的輿情機構閉門造車，制定片面或錯誤的輿情分析報告。其次，應把網上網下各方面數據整合起來，挖掘網路輿情與社會動態背後的深層次關系，實現網路輿情管理和社會治理的緊密聯動、同步推進[7]。最後，完善和創新包括輿情抓取、預警、研判到決策、評估等在內的網路輿情管理的各個環節，使輿情管理功能不僅僅限於危機處理，更能發揮輔助決策的作用。

（二）變革網路輿情的引導戰略。做好輿論引導工作，應把握好時、度、效。但是目前許多地方和部門對如何進行網路輿情的引導仍然缺乏正確認識，於「時」不能把握好「黃金4小時」，於「度」不能掌握火候，拿捏分寸，於「效」不能保證網路輿情引導的實效質量。大數據由於自身具有的特點，使其利於變革網路輿情的引導戰略，變「封改刪」、「鴕鳥戰術」為「網上引導，網下落地」，使「偽輿情」失去生存的土壤。因此，我們要充分發揮大數據的優勢來提高輿情引導工作的能力。其一，利用大數據提升網路輿情引導的預見性和目的性。通過數據抓取和相關性分析，構建網民意見傾向分析模型，了解網民的偏好和特點，建設和完善政府網站、官方微博，扶植和藉助意見領袖，做到「善說話、說對話、接地氣、辦實事」。其二，通過數據的價值轉化，實現網路輿情的價值引導。在充分收集相關數據的基礎上，運用圖表等數據可視化技術揭示事件的前因後果，讓數據「發聲」，使網民既「知其然」也「知其所以然」，從而全方位360度無死角了解事件的來龍去脈，消除「盲人摸象」現象。其三，提升輿情引導的公信力。一方面加強新老媒體間的互動，發揮各自的優勢與公眾溝通，破解謠言和流言，達到時效性和權威性的雙重保障；另一方面要避免輿情分析師在處理數據的過程中受經驗偏好的影響，並防止大數據淪為某些機構和個人更便捷地操縱輿論的手段。

（三）健全大數據輿情管理體制機制。當前，網路輿情管理的體制機制尚不完善，很多地區尚不具備系統規范的輿情應對與處理的管理體系。輿情分析和預測手段落後，危機應對系統缺失，輿情管理組織機構不健全、不穩定，以及多頭管理等問題非常普遍。健全大數據輿情管理的體制機制，對於從源頭上解決網路輿情管理過程中出現的問題和困難，實現標本兼治，具有決定性作用。因此，為使網路輿情管理取得實效，提升網路輿情工作的規范化和科學化水平，我國應加快建立健全大數據輿情管理的體制機制。首先，建立網路輿情多元管理的互動機制，由國家出台大數據發展戰略規劃，產學研相結合，統籌政府、企業、社會和公民的力量，形成合力，實現共治。其次，變革網路輿情管理的機構設置，改變以往通過臨時組建領導小組或臨時辦公室等機構，或者以宣傳部門為「消防隊」等方式被動應對輿情危機的模式，通過常態化機構的設置和專業人員的配備，使網路輿情管理專門化、精細化。再次，建立權責明確的責任機制，通過加快數據立法進程明確各級各部門包括政府部門、企業媒體、人民團體等的權利義務；通過建立由網信部門牽頭的大數據輿情管理體制，改變多頭管理的局面，並設立政府首席信息官責任制度等。最後，健全大數據網路輿情管理的資源保障機制，大數據時代變革網路輿情管理面臨初期成本高、短期效益不明顯等問題，需要加大資金、技術、物資、人力等資源的投入。

（四）創新大數據網路輿情管理的方法與技術。大數據時代的到來，要求網路輿情管理必須採用更為先進的技術，這主要表現在對各種相關軟體的大量應用以及對大數據技術支撐平台的依託。目前中國網路輿情監測採集軟體中較具代表性的有TRS互聯網輿情信息監控系統、北大方正智思輿情監控系統、軍犬網路輿情監控系統、樂思網路輿情監測系統等。此外，還應完善和創新大數據技術支撐平台的五大基石——數據監測技術、數據挖掘技術、數據存儲技術、數據分析技術、數據安全技術，使大數據為網路輿情管理服務的同時又不超出我們的控制。同時，我們也不能陷入「技術是萬能的」誤區而盲目迷信和依賴技術，更不能因相信大數據強大的預測功能而導致「數據獨裁」，變成數據的奴隸。因此，網路輿情管理還需要依靠其他方法和手段相輔相成，共同作用。法律因其具備最大的強制性和權威性，成為最有效的管理控制的手段。法律與道德相互聯系，在極具復雜性和特殊性的虛擬空間里，教育和自律被擺在重要的位置上。例如，歐美發達國家如美國、英國、加拿大等都通過倡導用戶自律和自我管理來提高網民的媒介素養，加強自我把關能力。此外，還可以效仿韓國、新加坡等運用行政手段，要求網路用戶在獲得國家有關部門頒發的許可證的情況下，才能訪問政府嚴格控制的信息等。

（五）培育大數據時代的網路輿情管理人才。大數據時代的網路輿情將會形成多向度的研究，例如對社會話語表達、社會心理描繪、社會關系呈現、社會訴求預測等的分析研究。網路輿情將真正成為一門與多學科交叉的社會顯學，對人才的全面性要求很高。中國教育的學科劃分和培養體系，客觀導致培養出來的人才很難跨界。換句話說，真正進入這個行業的門檻是很高的。正因如此，各國越來越重視對數據科學家的培養，如美國在大學專門開設研究大數據技術的課程，通過嚴格的業務培訓和職業資格認證，培養下一代的數據科學家。2013年9月，我國人社部聯合人民網啟動「網路輿情分析師職業培訓計劃」，「網路輿情分析師」成為一項被正式認可的職業。但是我國現有輿情工作人員的水平仍然嚴重滯後，很多輿情機構尤其是地方政府並沒有專業的數據處理、分析團隊和專門的網路輿情管理部門。為突破大數據時代變革網路輿情管理的人才瓶頸，從短期看，可以通過招考、錄用等方式引進數據挖掘、分析人才，通過委託培養、網路培訓等方式強化已有專業人才力量，通過購買服務的方式短期租賃大數據輿情管理的高素質人才。從長遠看，則要系統梳理網路輿情管理所需人才目錄，培養和壯大既精通數據挖掘、數學建模，又擁有較高學習能力、分析能力和知識水平，橫跨統計學、社會學、計算機學、傳播學、管理學等學科的復合型人才，打造一支大數據網路輿情管理的專業人才隊伍。

以上是小編為大家分享的關於大數據時代網路輿情管理變革探討的相關內容，更多信息可以關注環球青藤分享更多干貨

❹ 大數據智能分析的未來發展趨勢

大數據智能分析的未來發展趨勢
大數據無疑會在數字化社會中發揮極大的作用，尤其是，數據挖掘和分析的能力更為關鍵。因此，行業中的玩家們誰能透過大數據智能分析，預先把控行業發展的脈搏，誰就將掌握市場和競爭的主動權。讓我們先來看看基於大數據的智能分析到底顛覆了什麼。
社會生活會發生變化和轉型
IT產業不像石油等產業能給人類社會帶來新的增值產品。相似地，大數據的智能分析也不會直接帶來全新的具體產品。這是由於信息要被使用以後，才能真正產生社會價值，所以大數據分析作為信息技術，是中間產業。
人類社會生活的根本是衣食住行，技術最終還是要服務於這些傳統需求的，只是形式不同而已。新技術有的時候會改變傳統產業的服務模式，就如互聯網廣告之於傳統傳媒廣告，當互聯網服務興起時，廣告逐步從傳統行業變成了新的互聯網廣告行業，並由此造就了幾乎99%的互聯網玩家。
新技術有時候也會改變服務的效率和效果，例如微博現在多被用來作為監督的工具。對比傳統媒體，這種服務模式改變了信息傳播的效率和信息受眾的范圍，而且由於媒體的集中控制力較弱，這個看似弱點的特性反而變成了當前社會環境下的優勢。
回歸到基於大數據的智能分析，其本質是數字化社會的服務效率和效果問題，其實現的重要前提是數字化。隨著信息技術的發展，人們衣食住行的服務系統會紛紛數字化，包括零售、物流、政府部門、餐飲系統等等，虛擬世界和物理世界擬合在一起，虛擬世界承載了大量的服務交付過程，人不再需要到現場就可以享受服務。而這個大的產業背景一旦形成，效率和效果問題會變成整個產業服務的最關鍵競爭力。
換句話說，服務最後的成本競爭就是在單位成本下誰的效率最高和效果最好，誰就會成為王者。特別是在物理時空的約束日益減弱的情況下，產業鏈中的每個玩家都可能面臨全球性的競爭。而在更廣泛的競爭環境下，大數據會改變企業的運作模式，增強企業的適應力、判斷力和效率。因此，大數據的大價值更多的是體現在促進產業變化和轉型上，而非創造新產品。
有望解決人工智慧的難題
熱炒大數據並不是純粹跟風，其重點是要解決人工智慧的擴展性和成長問題。傳統人工智慧走過了漫漫幾十年路程，近三十年的變化尤其緩慢。這是因為雖然對任何給定的確定問題和場景，傳統人工智慧都可以解決，但尷尬的是，人們不可能預先窮舉出所有例子和參數，因此人工智慧已有的模型和演算法很難跨系統復制。
眾多學者、產業精英賦予了基於大數據的智能分析以美好的願景，即數字化社會一旦形成，生活中的一切都可以基於數據來描述。這些描述出來的信息將成為智慧成長和決策判斷的依據。如果計算機能夠找出其背後的學習規律和方法，人類智慧的跨領域擴展性就能在計算機的虛擬世界中得到體現，並能做出模糊判斷。更重要的是，這樣的分析系統將具備人工智慧前所未有的基礎能力——學習能力，還可以根據環境（數據）變化而不斷地增長其智能性，甚至具備推而廣之的擴展性。
從理論上說，一旦機器具有學習能力，計算機系統就將具備人的典型特質——創造力。如果沿著這個思路擴展，基於大數據的智能分析，將進一步替代傳統服務體系中必須由人來完成的工作，特別是最高成本的部分。例如有一個西班牙語學習軟體「domingo」，可以針對學員的情況和能力，因材施教。而在過去，這通常必須由人腦才能實現。
不過，大數據的智能分析是否真的能夠達到夢想的高度，還存在很大的不確定性，而且全數字化社會的形成也還需要時間。
用戶刻畫能力塑造競爭優勢
在我們身處的IT產業中，隨著時間的推移，技術會趨同、產品形態會趨同、基礎的服務方式也會趨同，因此成本也必然隨之趨同。如此一來，行業玩家們的價格戰是很難長期維系的，必然會逼著產業鏈頂端的服務商將差異化主要體現在「服務」上。
服務的本質是「能否真正及時、准確地判斷用戶的需求」，這個判斷的依據就是「用戶刻畫能力」。當IT後台系統可以准確地判斷出何時、何地、何人、在做什麼、會做什麼的時候，所有的服務將有的放矢，不僅僅實現成本最低，而且能實現效果最佳。對此，大數據的智能分析最有可能顛覆的是面向用戶的產品和服務市場，無論服務的是衣食住行的哪個方面，無論是賣東西還是做廣告，只要服務的對象是「人」，大數據的智能分析就能提供最佳的推薦，從而提升服務的品質。
然而從目前的研究來看，產品和服務的技術競爭卻回到了原點，數據本身變成了競爭力的本源。這個狀況終將發生改變。實際上，分析、建模和交互密不可分，只有帶反饋並能不斷學習的系統才有可能實現對用戶的刻畫。如果我們將產品或服務比喻成一輛車，大數據分析可以看成是發動機，而數據就像發動機引擎中必不可少的汽油。因此，對數據的掌控和對用戶的刻畫，將必然成為產業鏈中為最終用戶提供服務的玩家的必然戰略和技術布局策略，數據資產的運營也可能成為新的潮流和趨勢。
機器替代人力密集型服務
由於經濟條件的約束，人力成本在各個區域、各個行業中相差很大，這也直接導致了各個地區服務的差異性。但從長期來看，能夠被機器完成的事情，其成本一定低於「人」的成本。我們可以預見，自動化會是未來時代的必然特性。例如，作為人力密集型企業之一的富士康，出於節省成本的考慮，廣泛部署機器人，進行生產線人工的替代。
而在電信行業中，網路服務和運維部分是可見的人力密集型服務。電信運營商的網路在全球服務了幾十億最終用戶，由於各種各樣的原因，每天都需要解決大量的網上問題和事故，現在的解決方式是大量依據人工和經驗改良解決方案，以及更好/更及時地定位和解決FCAPS（Fault, Configuration, Accounting, Performance, Security）問題，這就是一個在大數據智能分析時代可被顛覆的典型場景。
當然，大數據智能分析不一定能夠實現完全的自動化，但至少可以大幅降低用戶服務或支撐體系的人力投入。在這個領域，人力替代的最終實現效果還需要看體系本身數字化的程度，以及分析系統所能達到的水平。
跨代產品顛覆傳統產業格局
信息服務的本質就是信息採集、傳遞、存儲、計算、呈現的全流程效果最優和效率最佳。在雲、管、端的各個領域，大數據智能分析都有可能形成有跨代意義的產品形態或者解決方案。
在傳統運營商市場，基於大數據的智能分析很有可能重新定義下一代網管，根據智能性的規范和要求可以大幅降低產業鏈中的OPEX。基於大數據的智能分析也可以定義下一代網路智能化解決方案的能力和要求，並通過接近自動化的系統來提供具有斷代性的新的產品形態。
在終端業務領域，智能化的體驗能夠幫助生產廠家脫離在CPU、屏幕等物理參數上的競爭。可以說下一代終端設備的競爭特性之一就是「智能性」，而終端智能也將成為主流機型或高端機型的基本標准。
在企業計算業務領域，大數據可以提供智能組織支持，提升決策、管理的效率。業界有的企業已經定義了下一代產品形態，即企業大數據分析引擎，關注流化數據處理和非結構化的數據處理。這個引擎能幫助企業在垂直行業市場中，進一步加強與用戶的緊密聯系，從而在部署服務戰略上走得更遠。

❺ 運營商迎來大數據時代 管理和分析是大挑戰

運營商迎來大數據時代：管理和分析是大挑戰
大數據不是新的概念，在移動互聯網發展起來後，數據增長速度加快，整個產業壓力突出，傳統資料庫技術已無法滿足運營商對大數據充分利用的需求的背景下，大數據成為近年來的熱點。對運營商來說，數據爆發性增長後，帶來的收入並未改觀，因此，運營商面臨著數據流的附加值被互聯網公司賺走的挑戰，同時面臨淪為管道化的尷尬，如何利用好運營商手中的大數據，成為需要面對的問題。

運營商面臨數據管理和分析挑戰
易觀國際分析師黃萌表示，大數據發展時間不長，隨著雲概念和3G的深入發展，運營商數據壓力增大，同時IDC擴容，偏向以存儲為主的雲服務業務。
運營商新業務的涌現，導致數據暴增。信令數據、互聯網數據其規模已經達到數百TB,甚至PB規模。此外，據EMC數據計算事業部大中國區總經理劉偉光介紹，數據的價值除了與數據規模相關，還與數據處理周期成正比關系。也就是，數據處理的速度越快、越及時，其價值越大，發揮的效能越大。而除了分析傳統結構化數據外，隨著新增值業務拓展，運營商對實現跨結構化、半結構化、非結構化數據進行高效分析有著愈發強烈的訴求。
而運營商面對海量數據和數據結構的變化，不僅是成本，還有管理和分析的挑戰。黃萌認為，運營商相對互聯網企業有優勢，具有雄厚的資源和龐大的IDC集群，擁有電信級的運營網路，具有保證大數據實時、暢通傳送的能力，同時具有網路資源和運營能力。而相對互聯網企業劣勢的地方在於上層應用，尤其是在Saas層面。
大數據有待深挖掘
南京郵電大學盧扞華教授認為，大數據時代主要是對技術的綜合運用和對數據的深度挖掘。對運營商來說，大數據帶來的機會大於挑戰。運營商有自己的網路，積累了大量非常有價值的數據，可以進行客戶分析。利用網路收集數據，對運營商運營方式的改變是個機會。
真正實現精準化營銷和精細化運營的秘訣就在於如何利用好運營商手中的大數據。海量話單、信令、互聯網數據本身就是一筆寶貴的財富。利用好這些數據，充分、及時地對這些數據進行深度分析挖掘，不僅可以進一步提升服務質量、提高客戶忠誠度、挖掘新商機、增加收入，還可以通過優化資源配置、減少浪費來提升運營效率，有效降低運營成本。
此外，電信運營商信息化實施比較早，本身大數據積累的也多，例如以前的日誌信息，包含用戶信息和設備信息，可以進行挖掘使用。運營商越來越重視對數據的挖掘，可以獲得未來開發業務和開拓市場的機會。另一方面，分析結果不會涉及隱私，管理好了可以更少產生法律糾紛。此外，電信運營商通過數據分析還可以提供面向社會的信息應用。[page]
盧扞華教授認為，大數據是對技術的綜合應用，要有開放、融合、服務和創新的心態，大數據可以為運營商創造另一片天地。例如一個大數據的應用通過收集數據，對大量圖片進行分析，最終形成一個場景圖。這就是對數據分析、統計技術、圖片處理技術和人工智慧合成技術的綜合運用。據悉，南郵正在開發這方面的應用。
據了解，目前中國三個電信運營商在業務支撐領域、網管IT支撐領域包括增值業務領域，已經隨著市場的需求誕生了很多新的大數據實時分析的項目。目前，大數據主要應用在運營商的"信令"系統分析上，此外，運營商還可以通過"用戶行為分析"系統，進行精準營銷。運營商還提供IDC服務，通過"雲"中心的方式為互聯網企業提供服務。
對公市場前景巨大
黃萌表示，單批、單次數據爆發性增長，對其進行的可知的時間處理能力是關鍵點。對運營商來說，IDC服務在對政府和高校、企業等非個人業務市場上前景巨大；對於個人業務，運營商剛開始做，由於回收投資較慢、離散性強，現在主要是針對個人精準運營的業務。智能管道方面，運營商正在基於大數據平台進行流量分析，但是落地的項目少。
據介紹，運營商大數據戰略還不太明晰，但是有了一些建樹。去年十月份中國移動開始做的"大雲"、數據管理系統和平台，覆蓋很多園區、學校，2.0技術比1.0技術大幅提升；中國聯通2010年開始對企業提供IDC服務，截至目前，營收超20億元（人民幣）；中國電信2011年成立雲公司，尚無實體業務，IDC託管規模相對聯通小很多。
據電信專家韓少敏介紹，數據類型分為非結構化數據和媒體流，運營商開展大數據分析面對的問題主要是硬體能力。數據一方面是縱向關系，比如"信令",採用水平分隔數據的方式就可以，按照時間段分別存儲分析。此外還有橫向關系，需要垂直分隔，由於查詢復雜，需要引入真正的演算法去做。韓少敏認為，目前掌握這方面能力的人才奇缺。並且，運營商在分布式資料庫方面少有進展。而從應用角度，大數據一方面用作於統計分析，建數據倉庫，其次還有非文本查詢，現在大多數資料庫公司可以做以上兩個方面，而對於關系型數據共享層面，目前還做不了。
中國聯通在IDC服務方面走在三家運營商前面，其面向企業提供服務，目前通過按關系水平分隔的方式，將數據集中起來，但是一旦到關系型數據的共享層面，因為沒有數據模型，找不到底層的資料庫血緣，目前的方案無法解決問題。但是運營商目前做這些數據積累，可以為將來發展提供機會。
劉偉光認為，對於運營商來說，大數據等於大價值。對於IT企業，大數據等於大機遇。通信行業需求從來都是IT技術發展的重要推動力，誰能得到通信行業客戶的認可，必然會在大數據領域大有作為，進而成為大數據解決方案的領先者、領導者。

❻ 大數據的價值如何體現

大數據的價值如何體現_數據分析師考試

進入大數據時代，運營商應用大數據發展的驅動因素是什麼，是否需要建立新型資料庫？ 劉偉光： 隨著通信行業的競爭日益激烈，傳統的語音和簡訊等主營收入的利潤不斷下滑，導致運營商必須找到新的利潤增長點，同時有效控制運營成本，從而使自身可以在激烈競爭中立於不敗之地。這也是為什麼運營商把實現精準化營銷和精細化運營提升到戰略層次的重要原因。

此外，傳統資料庫技術已無法滿足運營商對大數據充分利用的需求。新型資料庫應該具備如下特點：首先應該採用支持大規模並行處理的分布式架構；其次，應該使用基於符合工業標準的開放硬體和系統平台，保證成本可控；第三，隨著開源技術不斷成熟，創新速度快，新型資料庫平台應該易於與新的開源技術進行融合；第四，新的資料庫平台應該可以實現與Hadoop平台的無縫集成，實現跨結構化、半結構化、非結構化海量數據的混合分析能力。 盧東明： 運營商目前試圖做新型資料庫，但是不太現實，首先資料庫公司一直以來都是很穩定的幾家，需要長期積淀。

其次，大數據不是取代以前的技術，而是混合補充使用，不是新型資料庫出來後，就完全替代傳統資料庫從而大規模使用。資料庫是核心、穩定的技術，大數據是開源的軟體技術，運營商還是會選擇使用相對成熟的軟體。 《通信世界周刊》： 大數據今年以來得到格外關注，目前發展狀況如何？ 盧東明： 大數據在運營商的業務中早就有應用，目前在各個省都得到普遍應用了。大數據這個詞目前有些炒作成分，它和以前的資料庫不是完全脫節的，是對資料庫的延伸。大數據是個現象，是資料庫的另一個形態，不是否定、顛覆之前的資料庫形態。

目前做大數據的廠商依然是以前那幾家數據廠商，不同的產品解決不同的問題。在中國電信行業，從數據量和應用角度來看處於世界領先地位，這是由於電信用戶多、規模大，電信業遇到的問題和挑戰比較大，解決方案難度高。 劉偉光： 目前中國三個電信運營商在業務支撐領域、網管IT支撐領域包括增值業務領域，已經隨著市場的需求推出了很多新的大數據實時分析的項目，相信未來的兩到三年這個市場將會成倍增長，甚至會到達我們今天不能預期的數量。 需要分析共享大數據的管理工具 《通信世界周刊》： IT企業如何依託大數據為運營商提供管理工具，提升運營效率？ 劉偉光： 實現各部門的緊密協作永遠都是提升運營效率的不二法門。而IT企業應該為運營商提供實現緊密協作、分析、共享大數據的管理工具，來達成提升運營效率的目標。

此外，大數據時代，IT企業僅僅為運營商提供分析平台、分析工具是不夠的。這是因為運營商雖然很了解業務和需求，但普遍缺乏數學建模能力，因此很難利用好這些平台，使其發揮最大效益。所以，如何利用這些平台、系統和數據實現科學建模，同樣是提升運營效率的關鍵所在。 武新： 運營商要解決數據處理效率問題，現在的數據用以前的系統處理需要一天一夜，而應用大數據技術處理可以一個小時完成。在大數據平台，應用雲技術，通過集群的方式，幾十台伺服器同時工作，並進行壓縮數據來節省空間。

目前大數據主要是針對結構化數據的應用，用戶上哪個網，停留多長時間，通過分析都可做相應的分析結果推送給相關部門。除了對用戶上網行為分析，還有網路使用情況、網路設備情況和用戶使用手機類型分析。而對非結構化的數據，如視頻和圖片，目前分析得還較少。 《通信世界周刊》： 大數據具體應用於運營商的哪些業務中，有哪些成功的應用和案例？ 盧東明： 大數據主要應用在運營商的「信令」系統分析上，由於其數據量非常大，比「話單」分析的挑戰大很多。移動互聯網發展起來之後，運營商開始關注大數據，進行「用戶行為分析」，根據人群分析做精準營銷，推薦流量套餐。

此外，運營商提供IDC服務，通過「雲」中心的方式為互聯網企業提供服務。 武新： 運營商從最近兩三年開始，感受到這方面的壓力，開始尋求解決方案。中國移動「信令」分析系統項目對海量數據進行分析和挖掘；中國聯通對「話單」數據進行用戶行為分析。中國電信「新一代資料庫」產品正在測試中，通過精分系統，進行精準營銷。此外，在運營商專網也已應用大數據。運營商目前仍處於測試探索中，通過幾種方法針對不同的應用進行測試、篩選。

目前運營商的相關項目有「流量分析」、「智能管道」和「新一代資料庫」產品等，傳統的資料庫面對海量數據已經無法支撐，將來會慢慢被大數據代替掉。 要有開放的心態 《通信世界周刊》： 發展大數據需要解決哪些問題，關鍵點是什麼？ 盧東明： 由於數據分析要看存儲效果，涉及到效率和速度。目前運營商應用大數據存在的問題是避免無限制的花錢。另一方面，運營商要和廠商合作，針對不同的業務類型和應用場景，採取不同的分析方法。此外，運營商要有開放的心態，因為大數據作為開源的軟體也不是可以解決所有的問題的。 武新： 在數據處理上，運營商轉型中不僅有技術上的問題，還需要經歷一個時間階段和過程。

此外，運營商要轉變思維方式，其在數據分析上的經驗不如互聯網企業，這是方法論問題，關繫到如何用數據做生意。運營商以前都是依託傳統業務，海量數據的出現，使得行業即將洗牌，運營商不得不轉型重視數據挖掘。 但運營商可以發揮自己的優勢，首先，要分析用戶行為的變化，由分析以前的語音用戶轉變為分析上網行為。其次，運營商有能力提供類似互聯網公司的服務，如QQ聊天。

最後，運營商有專網資源，有自己的數據中心可以運維，但是目前這些優勢還沒有完全發揮出來，是因為還沒把握透用戶的需求。

以上是小編為大家分享的關於大數據的價值如何體現的相關內容，更多信息可以關注環球青藤分享更多干貨

❼ 大數據時代數據管理方式研究

大數據時代數據管理方式研究
1數據管理技術的回顧
數據管理技術主要經歷了人工管理階段、文件系統階段和資料庫系統階段。隨著數據應用領域的不斷擴展，數據管理所處的環境也越來越復雜，目前廣泛流行的資料庫技術開始暴露出許多弱點，面臨著許多新的挑戰。
1.1 人工管理階段
20 世紀 50 年代中期，計算機主要用於科學計算。當時沒有磁碟等直接存取設備，只有紙帶、卡片、磁帶等外存，也沒有操作系統和管理數據的專門軟體。該階段管理的數據不保存、由應用程序管理數據、數據不共享和數據不具有獨立性等特點。
1.2 文件系統階段
20 世紀 50 年代後期到 60 年代中期，隨著計算機硬體和軟體的發展，磁碟、磁鼓等直接存取設備開始普及，這一時期的數據處理系統是把計算機中的數據組織成相互獨立的被命名的數據文件，並可按文件的名字來進行訪問，對文件中的記錄進行存取的數據管理技術。數據可以長期保存在計算機外存上，可以對數據進行反復處理，並支持文件的查詢、修改、插入和刪除等操作。其數據面向特定的應用程序，因此，數據共享性、獨立性差，且冗餘度大，管理和維護的代價也很大。
1.3資料庫階段
20 世紀 60 年代後期以來，計算機性能得到進一步提高，更重要的是出現了大容量磁碟，存儲容量大大增加且價格下降。在此基礎上，才有可能克服文件系統管理數據時的不足，而滿足和解決實際應用中多個用戶、多個應用程序共享數據的要求，從而使數據能為盡可能多的應用程序服務，這就出現了資料庫這樣的數據管理技術。資料庫的特點是數據不再只針對某一個特定的應用，而是面向全組織，具有整體的結構性，共享性高，冗餘度減小，具有一定的程序與數據之間的獨立性，並且對數據進行統一的控制。
2大數據時代的數據管理技術
大數據（big data），或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據有 3 個 V,一是大量化（Volume），數據量是持續快速增加的，從 TB級別，躍升到 PB 級別；二是多樣化（Variety），數據類型多樣化，結構化數據已被視為小菜一碟，圖片、音頻、視頻等非結構化數據正以傳統結構化數據增長的兩倍速快速創建；三是快速化 （Velocity），數據生成速度快，也就需要快速的處理能力，因此，產生了「1 秒定律」,就是說一般要在秒級時間范圍內給出分析結果，時間太長就失去價值了，這個速度要求是大數據處理技術和傳統的數據挖掘技術最大的區別。
2.1 關系型資料庫（RDBMS）
20 世紀 70 年代初，IBM 工程師 Codd 發表了著名的論文「A Relational Model of Data for Large Shared DataBanks」,標志著關系資料庫時代來臨。關系資料庫的理論基礎是關系模型，是藉助於集合代數等數學概念和方法來處理資料庫中的數據，現實世界中的實體以及實體之間的聯系非常容易用關系模型來表示。容易理解的模型、容易掌握的查詢語言、高效的優化器、成熟的技術和產品，使得關系資料庫占據了資料庫市場的絕對的統治地位。隨著互聯網 web2.0 網站的興起，半結構化和非結構化數據的大量涌現，傳統的關系資料庫在應付 web2.0 網站特別是超大規模和高並發的 SNS（全稱 Social Networking Services,即社會性網路服務） 類型的 web2.0 純動態網站已經顯得力不從心，暴露了很多難以克服的問題。
2.2 noSQL資料庫
順應時代發展的需要產生了 noSQL資料庫技術，其主要特點是採用與關系模型不同的數據模型，當前熱門的 noSQL資料庫系統可以說是蓬勃發展、異軍突起，很多公司都熱情追捧之，如：由 Google 公司提出的 Big Table 和 MapRece 以及 IBM 公司提出的 Lotus Notes 等。不管是那個公司的 noSQL資料庫都圍繞著大數據的 3 個 V,目的就是解決大數據的 3個 V 問題。因此，在設計 noSQL 時往往考慮以下幾個原則，首先，採用橫向擴展的方式，通過並行處理技術對數據進行劃分並進行並行處理，以獲得高速的讀寫速度；其次，解決數據類型從以結構化數據為主轉向結構化、半結構化、非結構化三者的融合的問題；再次，放鬆對數據的 ACID 一致性約束，允許數據暫時出現不一致的情況，接受最終一致性；最後，對各個分區數據進行備份（一般是 3 份），應對節點失敗的狀況等。
對數據的應用可以分為分析型應用和操作型應用，分析型應用主要是指對大量數據進行分類、聚集、匯總，最後獲得數據量相對小的分析結果；操作型應用主要是指對數據進行增加、刪除、修改和查詢以及簡單的匯總操作，涉及的數據量一般比較少，事務執行時間一般比較短。目前資料庫可分為關系資料庫和 noSQL資料庫，根據數據應用的要求，再結合目前資料庫的種類，所以目前資料庫管理方式主要有以下 4 類。
（1）面向操作型的關系資料庫技術。
首先，傳統資料庫廠商提供的基於行存儲的關系資料庫系統，如 DB2、Oracle、SQL Server 等，以其高度的一致性、精確性、系統可恢復性，在事務處理方面仍然是核心引擎。其次，面向實時計算的內存資料庫系統，如 Hana、Timesten、Altibase 等通過把對數據並發控制、查詢和恢復等操作控制在內存內部進行，所以獲得了非常高的性能，在很多特定領域如電信、證券、網管等得到普遍應用。另外，以 VoltDB、Clustrix 和NuoDB 為代表的 new SQL 宣稱能夠在保持 ACDI 特性的同時提高了事務處理性能 50 倍 ~60 倍。
（2）面向分析型的關系資料庫技術。
首先，TeraData 是數據倉庫領域的領頭羊，Teradata 在整體上是按 Shared Nothing 架構體系進行組織的，定位就是大型數據倉庫系統，支持較高的擴展性。其次，面向分析型應用，列存儲資料庫的研究形成了另一個重要的潮流。列存儲資料庫以其高效的壓縮、更高的 I/O 效率等特點，在分析型應用領域獲得了比行存儲資料庫高得多的性能。如：MonetDB 和 Vertica是一個典型的基於列存儲技術的資料庫系統。
（3）面向操作型的 noSQL 技術。
有些操作型應用不受 ACID 高度一致性約束，但對大數據處理需要處理的數據量非常大，對速度性能要求也非常高，這樣就必須依靠大規模集群的並行處理能力來實現數據處理，弱一致性或最終一致性就可以了。這時，操作型 noSQL資料庫的優點就可以發揮的淋漓盡致了。如，Hbase 一天就可以有超過 200 億個到達硬碟的讀寫操作，實現對大數據的處理。另外，noSQL資料庫是一個數據模型靈活、支持多樣數據類型，如對圖數據建模、存儲和分析，其性能、擴展性是關系資料庫無法比擬的。
（4）面向分析型的 noSQL 技術。
面向分析型應用的 noSQL 技術主要依賴於Hadoop 分布式計算平台，Hadoop 是一個分布式計算平台，以 HDFS 和 Map Rece 為用戶提供系統底層細節透明的分布式基礎架構。《Hadoop 經典實踐染技巧》傳統的資料庫廠商 Microsoft,Oracle,SAS,IBM 等紛紛轉向 Hadoop 的研究，如微軟公司關閉 Dryad 系統，全力投入 Map Rece 的研發，Oracle 在 2011 年下半年發布 Big Plan 戰略計劃，全面進軍大數據處理領域，IBM 則早已捷足先登「,沃森（Watson）」計算機就是基於 Hadoop 技術開發的產物，同時 IBM 發布了 BigInsights 計劃，基於 Hadoop,Netezza 和 SPSS（統計分析、數據挖掘軟體）等技術和產品構建大數據分析處理的技術框架。同時也涌現出一批新公司來研究Hadoop 技術，如 Cloudera、MapRKarmashpere 等。
3數據管理方式的展望
通過以上分析，可以看出關系資料庫的 ACID 強調數據一致性通常指關聯數據之間的邏輯關系是否正確和完整，而對於很多互聯網應用來說，對這一致性和隔離性的要求可以降低，而可用性的要求則更為明顯，此時就可以採用 noSQL 的兩種弱一致性的理論 BASE 和 CAP.關系資料庫和 noSQL資料庫並不是想到對立的矛盾體，而是可以相互補充的，根據不同需求使用不同的技術，甚至二者可以共同存在，互不影響。最近幾年，以 Spanner 為代表新型資料庫的出現，給資料庫領域注入新鮮血液，這就是融合了一致性和可用性的 newSQL,這種新型思維方式或許會是未來大數據處理方式的發展方向。
4 結束語
隨著雲計算、物聯網等的發展，數據呈現爆炸式的增長，人們正被數據洪流所包圍，大數據的時代已經到來。正確利用大數據給人們的生活帶來了極大的便利，但與此同時也給傳統的數據管理方式帶來了極大的挑戰。