大數據時代情報學面臨的挑戰和機遇

❶ 大數據時代的數據分析技術面臨的挑戰

數據分析是整個大數據處理流程的核心，大數據的價值產生於分析過程。從異構數據源抽取和集成的數據構成了數據分析的原始數據。根據不同應用的需求可以從這些數據中選擇全部或部分進行分析。小數據時代的分析技術，如統計分析、數據挖掘和機器學習等，並不能適應大數據時代數據分析的需求，必須做出調整。

大數據時代的數據分析技術面臨著一些新的挑戰，主要有以下幾點。

（1）數據量大並不一定意味著數據價值的增加，相反這往往意味著數據噪音的增多。因此，在數據分析之前必須進行數據清洗等預處理工作，但是預處理如此大量的數據，對於計算資源和處理演算法來講都是非常嚴峻的考驗。

（2）大數據時代的演算法需要進行調整。首先，大數據的應用常常具有實時性的特點，演算法的准確率不再是大數據應用的最主要指標。在很多場景中，演算法需要在處理的實時性和准確率之間取得一個平衡。其次，分布式並發計算系統是進行大數據處理的有力工具，這就要求很多演算法必須做出調整以適應分布式並發的計算框架，演算法需要變得具有可擴展性。許多傳統的數據挖掘演算法都是線性執行的，面對海量的數據很難在合理的時間內獲取所需的結果。因此需要重新把這些演算法實現成可以並發執行的演算法，以便完成對大數據的處理。最後，在選擇演算法處理大數據時必須謹慎，當數據量增長到一定規模以後，可以從小量數據中挖掘出有效信息的演算法並一定適用於大數據。

（3）數據結果的衡量標准。對大數據進行分析比較困難，但是對大數據分析結果好壞的衡量卻是大數據時代數據分析面臨的更大挑戰。大數據時代的數據量大，類型混雜，產生速度快，進行分析的時候往往對整個數據的分布特點掌握得不太清楚，從而會導致在設計衡量的方法和指標的時候遇到許多困難。

❷ 淺談基於大數據時代的機遇與挑戰論文

淺談基於大數據時代的機遇與挑戰論文推薦

在學習和工作中，大家總少不了接觸論文吧，論文的類型很多，包括學年論文、畢業論文、學位論文、科技論文、成果論文等。為了讓您在寫論文時更加簡單方便，以下是我精心整理的淺談基於大數據時代的機遇與挑戰論文，僅供參考，希望能夠幫助到大家。

淺談基於大數據時代的機遇與挑戰論文

1、大數據的基本概況

大數據(Big Data)是指那些超過傳統資料庫系統處理能力的數據，其具有以下四個基本特性，即海量性、多樣性、易變性、高速性。同時數據類型繁多、數據價值密度相對較低、處理速度快、時效性要求高等也是其主要特徵。

2、大數據的時代影響

大數據，對經濟、政治、文化等方面都具有較為深遠的影響，其可幫助人們進行量化管理，更具科學性和針對性，得數據者得天下。大數據對於時代的影響主要包括以下幾個方面：

(1)「大數據決策」更加科學有效。如果人們以大數據分析作為基礎進行決策，可全面獲取相關決策信息，讓數據主導決策，這種方法必將促進決策方式的創新和改變，徹底改變傳統的決策方式，提高決策的科學性，並推動信息管理准則的重新定位。2009 年爆發的甲型H1N1 流感就是利用大數據的一個成功範例，谷歌公司通過分析網上搜索的大量記錄，判斷流感的傳播源地，公共衛生機構官員通過這些有價值的數據信息採取了有針對性的行動決策。

(2)「大數據應用」促進行業融合。雖然大數據源於通信產業，但其影響絕不局限於通信產業，勢必也將對其他產生較為深遠的影響。目前，大數據正逐漸廣泛應用於各個行業和領域，越來越多的企業開始以數據分析為輔助手段加強公司的日常管理和運營管理，如麥當勞、肯德基、蘋果公司等旗艦專賣店的位置都是基於大數據分析完成選址的，另外數據分析技術在零售業也應用越來越廣泛。

(3)「大數據開發」推動技術變革。大數據的應用需求，是大數據新技術開發的源泉。相信隨著時代的不斷發展，計算機系統的數據分析和數據挖掘功能將逐漸取代以往單純依靠人們自身判斷力的領域應用。藉助這些創新型的大數據應用，數據的能量將會層層被放大。

另外，需要注意的是，大數據在個人隱私的方面，容易造成一些隱私泄漏。我們需要認真嚴肅的對待這個問題，綜合運用法律、宣傳、道德等手段，為保護個人隱私，做出更積極的努力。

3、大數據的應對策略

3.1 布局關鍵技術研發創新。

目前而言，大數據的技術門檻較高，在這一領域有競爭力的多為一些在數據存儲和分析等方面有優勢的信息技術企業。為促進產業升級，我們必須加強研究，重視研發和應用數據分析關鍵技術和新興技術，具體可從以下幾個方面入手：第一，夯實發展基礎，以大數據核心技術為著手點，加強人工智慧、機器學習、商業智能等領域的理論研究和技術研發，為大數據的應用奠定理論基礎。二是加快基礎技術(非結構化數據處理技術、可視化技術、非關系型資料庫管理技術等)的研發，並使其與物聯網、移動互聯網、雲計算等技術有機融合，為解決方案的制定打下堅實基礎。三是基於大數據應用，著重對知識計算( 搜索) 技術、知識庫技術、網頁搜索技術等核心技術進行研發，加強單項技術產品研發，並保證質量的提升，同時促使其與數據處理技術的有機結合，建立科學技術體系。

3.2 提高軟體產品發展水平。

一是促進以企業為主導的產學研合作，提高軟體發展水平。二是運用雲計算技術促進信息技術服務業的轉型和發展，促進中文知識庫、資料庫與規則庫的建設。三是採取鼓勵政策引導軟硬體企業和服務企業應用新型技術開展數據信息服務，提供具有行業特色的系統集成解決方案。四是以大型互聯網公司牽頭，並聚集中小互聯網信息服務提供商，對優勢資源進行系統整合，開拓與整合本土化信息服務。五是以數據處理軟體商牽頭，這些軟體商必須具備一定的基礎優勢，其可充分發揮各自的數據優勢和技術優勢，優勢互補，提高數據軟體開發水平，提高服務內容的精確性和科學性。同時提高大數據解決方案提供商的市場能力和集成水平，以保障其大數據為各行業領域提供較為成熟的解決方案。

3.3 加速推進大數據示範應用。

大數據時代，我們應積極推進大數據的示範應用，可從以下幾個方面進行實踐：第一，對於一些數據量大的領域(如金融、能源、流通、電信、醫療等領域)，應引導行業廠商積極參與，大力發展數據監測和分析、橫向擴展存儲、商業決策等軟硬體一體化的行業應用解決方案。第二，將大數據逐漸應用於智慧城市建設及個人生活和服務領域，促進數字內容加工處理軟體等服務發展水平的提高。第三，促進行業資料庫(特別是高科技領域)的深度開發，建議針對不同的行業領域建立不同的專題資料庫，以提供相應的內容增值服務，形成有特色化的服務。第四，以重點領域或重點企業為突破口，對企業數據進行相應分析、整理和清洗，逐漸減少和去除重復數據和噪音數據。

3.4 優化完善大數據發展環境。

信息安全問題是大數據應用面臨的主要問題，因此，我們應加強對基於大數據的情報收集分析工作信息保密問題的研究，制定有效的防範對策，加強信息安全管理。同時，為優化完善大數據發展環境，應採取各種鼓勵政策(如將具備一定能力企業的數據加工處理業務列入營業稅優惠政策享受范圍)支持數據加工處理企業的發展，促使其提高數據分析處理服務的水平和質量。三是夯實大數據的應用基礎，完善相關體制機制，以政府為切入點，推動信息資源的集中共享。

做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進國家和企業的快速發展。

大數據為經營的橫向跨界、產業的越界混融、生產與消費的合一提供了有利條件，大數據必將在社會經濟、政治、文化等方面對人們生活產生巨大的影響，同時大數據時代對人類的數據駕馭能力也提出了新的挑戰與機遇。面對新的挑戰與發展機遇，我們應積極應對，以掌握未來大數據發展主動權。

結構

論文一般由名稱、作者、摘要、關鍵詞、正文、參考文獻和附錄等部分組成，其中部分組成（例如附錄）可有可無。

1、論文題目

要求准確、簡練、醒目、新穎。

2、目錄

目錄是論文中主要段落的'簡表。（短篇論文不必列目錄）

3、內容提要

是文章主要內容的摘錄，要求短、精、完整。

4、關鍵詞定義

關鍵詞是從論文的題名、提要和正文中選取出來的，是對表述論文的中心內容有實質意義的詞彙。關鍵詞是用作計算機系統標引論文內容特徵的詞語，便於信息系統匯集，以供讀者檢索。每篇論文一般選取3-8個詞彙作為關鍵詞，另起一行，排在「提要」的左下方。

主題詞是經過規范化的詞，在確定主題詞時，要對論文進行主題分析，依照標引和組配規則轉換成主題詞表中的規范詞語。（參見《漢語主題詞表》和《世界漢語主題詞表》）。

5、論文正文

（1）引言：引言又稱前言、序言和導言，用在論文的開頭。引言一般要概括地寫出作者意圖，說明選題的目的和意義, 並指出論文寫作的范圍。引言要短小精悍、緊扣主題。

（2）論文正文：正文是論文的主體，正文應包括論點、論據、論證過程和結論。主體部分包括以下內容：

a.提出問題-論點；

b.分析問題-論據和論證；

c.解決問題-論證方法與步驟；

d.結論。

6、參考文獻

一篇論文的參考文獻是將論文在研究和寫作中可參考或引證的主要文獻資料，列於論文的末尾。參考文獻應另起一頁，標注方式按進行。

7、論文裝訂

論文的有關部分全部抄清完了，經過檢查，再沒有什麼問題，把它裝成冊，再加上封面。論文的封面要樸素大方，要寫出論文的題目、學校、科系、指導教師姓名、作者姓名、完成年月日。論文的題目的作者姓名一定要寫在表皮上，不要寫裡面的補頁上。

❸ 為什麼要考慮大數據環境下企業競爭情報研究的機遇和挑戰

市場競爭大要考慮大數據環境下企業競爭情報研究的機遇和挑戰。在解析失數據的基本內涵和多元價值基礎上，從數據的屬性角度剖析大數據給企業競爭情報工作帶來的機遇。

❹ 大數據時代,面臨的七個挑戰和八大趨勢

大數據時代,面臨的七個挑戰和八大趨勢

大數據挑戰和機遇並存，大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰，但前景依然非常樂觀。

大數據發展的挑戰

目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失;企業內部數據孤島嚴重，導致數據價值不能充分挖掘;數據可用性低，數據質量差，導致數據無法利用;數據相關管理技術和架構落後，導致不具備大數據處理能力;數據安全能力和防範意識差，導致數據泄露;大數據人才缺乏導致大數據工作難以開展;大數據越開放越有價值，但缺乏大數據相關的政策法規，導致數據開放和隱私之間難以平衡，也難以更好的開放。

挑戰一：業務部門沒有清晰的大數據需求

很多企業業務部門不了解大數據，也不了解大數據的應用場景和價值，因此難以提出大數據的准確需求。由於業務部門需求不清晰，大數據部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大數據部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大數據方向的發展，也阻礙了企業積累和挖掘自身的數據資產，甚至由於數據沒有應用場景，刪除很多有價值歷史數據，導致企業數據資產流失。因此，這方面需要大數據從業者和專家一起，推動和分享大數據應用場景，讓更多的業務人員了解大數據的價值。

挑戰二：企業內部數據孤島嚴重

企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業，數據常常散落在不同部門，而且這些數據存在不同的數據倉庫中，不同部門的數據技術也有可能不一樣，這導致企業內部自己的數據都沒法打通。如果不打通這些數據，大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通，並且實現技術和工具共享，才能更好的發揮企業大數據的價值。

挑戰三：數據可用性低，數據質量差

很多中型以及大型企業，每時每刻也都在產生大量的數據，但很多企業在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業的數據的可用性差，數據質量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明，高質量的數據的數據應用可以顯著提升企業的商業表現，數據可用性提高10%，企業的業績至少提升在10%以上。

挑戰四：數據相關管理技術和架構

技術架構的挑戰包含以下幾方面：(1)傳統的資料庫部署不能處理TB級別的數據，快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫，並可以方便擴展大量的伺服器成為很多傳統企業的挑戰;(2)很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮數據類別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業的資料庫，對數據處理時間要求不高，這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據，進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力;(4)海量的數據需要很好的網路架構，需要強大的數據中心來支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時，減少伺服器的低負載情況，成為海量數據中心運維的一個重點工作。

挑戰五：數據安全

網路化生活使得犯罪分子更容易獲得關於人的信息，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數據網路安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。

挑戰六：大數據人才缺乏

大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，在各個行業大數據中高端人才都會成為最炙手可熱的人才，涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據，所以擁有大數據的企業應該與學校聯合培養人才。

挑戰七：數據開放與隱私的權衡

在大數據應用日益重要的今天，數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用，不僅能促進相關產業的發展，也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標准，形成了眾多「信息孤島」，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。

大數據發展趨勢

雖然大數據仍在起步階段，存在諸多挑戰，但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢：數據資源化，將成為最有價值的資產;大數據在更多的傳統行業的企業管理落地;大數據和傳統商業智能融合，行業定製化解決方案將涌現;數據將越來越開放，數據共享聯盟將出現;大數據安全越來越受重視，大數據安全市場將愈發重要;大數據促進智慧城市發展，為智慧城市的引擎;大數據將催生一批新的工作崗位和相應的專業;大數據在多方位改善我們的生活。

趨勢一：數據資源化，將成為最有價值的資產

隨著大數據應用的發展，大數據價值得以充分的體現，大數據在企業和社會層面成為重要的戰略資源，數據成為新的戰略制高點，是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據，大影響》的報告宣傳，數據已經成為一種新的資產類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功，並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產，成為提升機構和企業競爭力的有力武器。

趨勢二：大數據在更多的傳統行業的企業管理落地

一種新的技術往往在少數行業應用取得了好的效果，對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用，其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大數據作為一種從數據中創造新價值的工具，將會在許多行業的企業得到應用，帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求，更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學，相信大數據在科學管理企業方面有更顯著的促進，讓更多擁抱大數據的企業實現智慧企業管理。

趨勢三：大數據和傳統商業智能融合，行業定製化解決方案將涌現

來自傳統商業智能領域者將大數據當成一個新增的數據源，而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業內部的業務數據，還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外，還希望能結合移動設備的位置信息，這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟，無論是大數據還是商業智能，目的都是為分析服務的，數據全面整合起來，更有利於發現新的商業機會，這就是大數據商業智能。同時，由於行業的差異性，很難研發出一套適用於各行業的大數據商業智能分析系統，因此，在一些規模較大的行業市場，大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。

趨勢四：數據將越來越開放，數據共享聯盟將出現

大數據越關聯越有價值，越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網，在2013年年底正式開放;上海在2012年啟動了政府數據資源開放試點工作，數據涉及地理位置、交通、經濟統計和資格資質等數據;2014年，貴州省也加入數據開放之列，10月份雲上貴州正式上線。對於不同的行業，數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息，那麼就需要全國，甚至全世界的醫療信息共享，從而可以通過平台進行分析，獲取更大的價值。我們相信數據會呈現一種共享的趨勢，不同領域的數據聯盟將出現。

趨勢五：大數據安全越來越受重視，大數據安全市場將愈發重要

隨著數據的價值的越來越重要，大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息，也有更多的騙術和犯罪手段出現，所以，在大數據時代，無論對於數據本身的保護，還是對於由數據而演變的一些信息的安全，對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的，與傳統安全相比，大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析，並且找出針對大數據的業務的威脅，然後提出有針對性的解決方案。比如，對於數據存儲這個場景，目前很多企業採用開源軟體如Hadoop技術來解決大數據問題，由於其開源性，但是其安全問題也是突出的。因此，市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。

趨勢六：大數據促進智慧城市發展，為智慧城市的引擎

隨著大數據的發展，大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力，通過物聯網、移動互聯網、雲計算等新一代信息技術，實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念，最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化，關鍵是要實現對數字信息的智慧處理，其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等，都是以大數據為基礎的的智慧城市應用領域。

趨勢七：大數據將催生一批新的工作崗位和相應的專業

一個新行業的出現，必將在工作職位方面有新的需求，大數據的出現也將推出一批新的就業崗位，例如，大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源，數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求，高校也將逐步開設大數據相關的專業，以培養相應的專業人才。企業也將和高校緊密合作，協助高校聯合培養大數據人才。如2014年，IBM 全面推進與高校在大數據領域的合作，引入強大的研發團隊和業務夥伴，推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養，建設符合中國教學特色及人才需求的大數據相關學分課程，為未來建設特色專業方向做准備。

趨勢八：大數據在多方位改善我們的生活

大數據不僅用於企業和政府，也應用於我們的生活。在健康方面：我們可以利用智能手環監測，對我們的睡眠模式來進行追蹤，了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況，讓遠在他方的外出工作者更加放心;在出行方面：我們可以利用智能導航出行GPS數據了解交通狀況，並根據擁堵情況進行路線實時調優。在居家生活方面：大數據將成為智能家居的核心，智能家電實現了擬人智能，產品通過感測器和控制晶元來捕捉和處理信息，可以根據住宅空間環境和用戶需求自動設置控制，甚至提出優化生活質量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。

以上是小編為大家分享的關於大數據時代,面臨的七個挑戰和八大趨勢的相關內容，更多信息可以關注環球青藤分享更多干貨

❺ 大數據時代信息檢索的機遇與挑戰

首先先幫您了解下什來么是大數源據，大數據」意指一個超大的、無法在可承受的時間范圍內用傳統軟體工具進行捕捉、管理、處理的數據集合。
「大數據」的特點，業界將其歸納為4個」V」,即：Volume(容量),Variety(多樣性),Velocity(時效性),Value(價值)。
然後，您問的關於大數據時代信息檢索的機遇與挑戰，先說機遇：
現在好多企業都還使用的是傳統關系型資料庫，無法橫向擴展，對於數據存儲規模有非常大的限制，而且傳統關系性資料庫數據記錄達到百萬或者千萬級時，信息檢索速度特別慢，設置會超時，這就是大數據技術的機遇。
挑戰會很多，首先是一般的大數據技術是針對海量歷史記錄的，對頻繁更新的應用支撐的不是很好，有很多業務應用需要實現檢索亞毫秒級等。
我現在正在做這個行業，有機會多交流。

❻ 大數據時代的挑戰、價值與應對策略

大數據時代的挑戰、價值與應對策略
隨著移動互聯網、物聯網、雲計算等的快速發展，及視頻監控、智能終端、應用商店等的快速普及，全球數據量出現爆炸式增長。在此背景下，電信運營商在其網路無休止擴容的同時，卻面臨「增量不增收」的困境；而一些採用「數據驅動型決策」模式經營的公司，則可將其生產力提高5%～6%。因此，有必要深入研究大數據時代（Big Data Era）的挑戰、價值與務實應對策略。
1大數據時代的基本特徵
據統計，2010年以互聯網為基礎所產生的數據比之前所有年份的總和還要多；而且不僅是數據量的激增，數據結構亦在演變。Gartner預計，2012年半結構和非結構化的數據，諸如文檔、表格、網頁、音頻、圖像和視頻等將佔全球網路數據量的85%左右；而且，整個網路體系架構將面臨革命性改變。由此，所謂大數據時代已經來臨！
對於大數據時代，目前通常認為有下述四大特徵，稱為「四V」特徵：
（1）量大（Volume Big）。數據量級已從TB（1012位元組）發展至PB乃至ZB，可稱海量、巨量乃至超量。
（2）多樣化（Variable Type）。數據類型繁多，愈來愈多為網頁、圖片、視頻、圖像與位置信息等半結構化和非結構化數據信息。
（3）快速化（VelocityFast）。數據流往往為高速實時數據流，而且往往需要快速、持續的實時處理；處理工具亦在快速演進，軟體工程及人工智慧等均可能介入。
（4）價值高和密度低（Value HighandLowDensity）。以視頻安全監控為例，連續不斷的監控流中，有重大價值者可能僅為一兩秒的數據流；360°全方位視頻監控的「死角」處，可能會挖掘出最有價值的圖像信息。
2大數據時代面臨的挑戰
（1）運營商帶寬能力與對數據洪流的適應能力面臨前所未有的挑戰，管道化壓力化解及「雲－管－端」的有效裝備也均面臨新挑戰。
（2）大數據的「四V」特徵在數據存儲、傳輸、分析、處理等方面均帶來本質變化。數據量的快速增長，對存儲技術提出了挑戰；同時，需要高速信息傳輸能力支持，與低密度有價值數據的快速分析、處理能力。
（3）海量數據洪流中，在線對話與在線交易活動日益增加，其安全威脅更為嚴峻；而且現今黑客的組織能力、作案工具、作案手法及隱蔽程度更上一層樓，典型的有APT（Advanced Persistent Threat，高級持續性安全威脅）。
（4）大數據環境下通過對用戶數據的深度分析，很容易了解用戶行為和喜好，乃至企業用戶的商業機密，對個人隱私問題必須引起充分重視。
（5）大數據時代的基本特徵，決定其在技術與商業模式上有巨大的創新空間，這將對可持續發展起關鍵作用。
（6）大數據時代的基本特徵及安全挑戰，對政府制訂規則與監管部門發揮作用提出了新的挑戰。
3大數據帶來的價值
（1）利用大數據特徵，藉助雲計算等有效工具，深度挖掘流量與數據價值，可幫助運營商實施好流量經營，減輕管道化風險，發揚「雲－管－端」的智能管道的威力。
（2）多業務環境下掌握用戶體驗效果尤為重要，可從海量用戶數據中深度分析、挖掘出用戶的行為習慣和消費愛好，以實施精準營銷及網路優化，掌控數據增值的「金鑰匙」。
（3）掌握好大數據的存儲、分類、挖掘、快速調用和決策支撐，並應用於企業的日常運營、維護及戰略轉型中，成為企業可持續發展、維持競爭優勢的當務之急與重要途徑。
（4）充分利用對大數據的分析、挖掘，可幫助找到隱蔽性極強的APT之類的安全威脅，助力信息安全部門找到應對新型安全威脅的有效途徑。
（5）通過對公共大數據的分析、挖掘與利用，可減少欺詐行為及錯誤數據的負面作用、追收逃稅漏稅及刺激公共機構生產力等，幫助政府節省開支。例如英國政府即通過此途徑節省大約330億英鎊/年。
4大數據時代的應對策略
（1）大數據時代應以智慧創新理念融合大數據與雲計算，在大數據洪流中提升知識價值洞察力，實施高效實時個性化運作，建立有效增值的商業模式，確保應對APT之類的新型安全威脅。
（2）電信運營商轉型中流量經營已成共識，即以智能管道與聚合平台為基礎，以擴大流量規模、提升流量層次及豐富流量內涵作為基本經營方向，並以釋放流量價值為基本目標，可見大數據和雲計算的深度融合與此流量經營目標十分吻合。實際上已經有一些運營商藉助大數據Hadoop雲工具管理與分析網路中的用戶數據，為日常運維及制定市場戰略等提供有效支撐。
（3）針對大數據時代的基本特徵，加強全方位創新。包括IBM、EMC、HP、Microsoft等在內的IT巨頭，紛紛加速收購相關大數據公司進行技術整合，尋找數據洪流大潮中新的立足點。而涉及人工智慧、機器學習等新技術的創新應用，已初顯效益。
（4）將大數據時代全方位創新工作和智慧城市發展緊密結合。藉助移動互聯網、大數據與雲計算的融合、智能運營管道等，建立智能平台，優化配置城市資源，向真正的智慧城市邁進。
（5）藉助大數據創新處理技術應對APT安全攻擊。APT安全攻擊的最主要特徵為單點隱蔽能力強、攻擊空間路徑不確定、攻擊渠道不確定；同時APT攻擊一旦入侵成功則長期潛伏，攻擊時間上具有持續性。目前，全流量審計方案具備強大的實時檢測能力與事後回溯能力，並可將安全工作人員的分析能力、計算機存儲與運算能力組合在一起，是一種較完整的解決方案。

❼ 當代大學生應該如何應對「大數據」帶來的機遇與挑戰

大數據，或稱巨量資料，是指所涉及的資料量規模巨大，以致無法通過目前主流軟體工具在合理時間內擷取、管理、處理並整理成為幫助企業達致經營決策目的的資訊。大數據技術不僅能夠提高人們利用數據的效率，而且能夠實現數據的再利用和重復利用，進而大大降低交易成本，提升人們開發自我潛能的空間。人們可以低成本或零成本進行事物信息全息式的縱向歷史比對和橫向現實比對。大數據技術自身不僅能夠迅速衍生為新興信息產業，還可以同雲計算、物聯網和智慧工程技術聯動，支撐一個信息技術的新時代。

雲計算、物聯網、大數據、智慧工程都是新一代信息技術。雲計算技術是一種按使用量付費的模式，這種模式可以提供可用的、便捷的、按需的網路訪問，進入可配置的計算資源共享池（資源包括網路、伺服器、存儲、應用軟體、服務），這些資源能夠被快速提供，只需投入很少的管理工作，或與服務供應商進行很少的交互。雲計算技術可以使人們及時利用各類大數據。物聯網技術的實質就是物物相連的互聯網，物聯網的核心和基礎仍然是互聯網，其用戶端延伸和擴展到了任何物品與物品之間，進行信息交換和通信。物聯網技術可以溯源大數據和保證信息的真實性。智慧工程就是把感應器嵌入和裝備到電網、鐵路、橋梁、隧道、公路、建築、供水系統、大壩、油氣管道等各種物體中，並且進行普遍連接，與現有的互聯網整合起來，實現人類社會與物理系統的整合。智慧工程可以激活沉寂的大數據。

❽ 如何認識大數據背景下，統計學面臨的挑戰與機遇

1.大數據對統計學帶來的挑戰
傳統的統計學一般還停留在用抽樣技術在總體中抽取樣本收集數據，然後建立模型對數據進行統計分析。但是在數據如此之多的今天傳統的統計學在完成這方面時面臨巨大的挑戰。統計學要想推陳出新，必須要自己作出改革。
2.大數據為統計學帶來的機遇
統計學從古至今一直以來就是一門研究數據的學科，統計學和大數據內在具有聯系性，大數據讓統計學登上了學科霸主的地位，很多教學單位現在都注重統計學人才的培養。統計學能夠讓人們更好的把握對數據的分析和應用。總結了以下幾點大數據時代為統計學帶來的發展機遇。
（1）大數據為統計學提供了新的研究方向，對大數據進行分析，為統計學提供了新的實用價值，因為不僅電商，傳統商家還有政府都需要對龐雜的數據進行分析，找出其中包含的關於經濟發展趨勢的宏觀信息，微觀信息，還有公眾的喜好和需求等等，為了獲取這些信息，更加嚴密和系統的科學方法會被引入統計學研究中。
（2）統計學能夠充分利用計算機技術的發展，統計理論方法需要在學科交叉中獲得新的生命力，統計學應該從數據發展的現在趨勢中尋找統計發展的靈感。考慮到現在的信息技術、雲計算、互聯網的發展，並且以政府統計作為現代化統計的基礎，從傳統的統計學向現代統計學發展。
（3）對統計人才的培養提出了新的要求，現在需要的不僅僅是對統計學理論知識有清晰認識的統計學人才，而是高層次的數據分析師，要有數學知識、統計建模知識、計算機技能、編程技能、大數據挖掘、還要有管理技能等的復合型人才。

（4）可以進一步深化統計理論模型，現在進行統計分析不像以往，統計指標的獲得要經過復雜的演算過程。現在一般都是依靠大型軟體程序，但是這些大型的軟
件程序的編制卻需要特定的統計模型來完成的，如果想要在大數據時代獲得發展的優先權，就要研發出相應的數理統計的模型。