A. 大數據技術的國內外現狀
大數據由於其異構性和異質性的特徵,提高大數據格式轉化的效率成為了增加回大數據答技術應用價值的必經途徑,而提升大數據計算能力的關鍵在於提高數據的轉移速率,這就要求技術人員要及時對大數據進行整合與處理。
在大數據的處理中,數據的重組與錯誤數據的再利用都是有效提高大數據應用價值的措施。在應用實踐研究方面,目前大數據在實際中的研究應用主要體現為數據管理、數據搜索分析和數據集成。其中,數據管理主要用於大型互聯網資料庫和新型數據儲存模型與集成系統中,而數據搜索分析則多用於模型社交網路中,數據集成則通過將不同來源不同作用的數據進行整合從而開發出整體資料庫新的功能,目前正處於研究發展的起始階段。
B. 國內外在利用大數據上的不同做法
近期外賣企業 大數據 殺熟受到知名媒體的批評,同時也證明了這一事實,由此可以看出中國互聯網行業的短視,相比之下外國企業卻是利用大數據進行創新,這或許就是中外互聯網行業最大的不同吧。
大數據殺熟的疑問其實早已存在,例如此前的網約車企業殺熟就曾引發巨大的爭論,不過當時並未有權威機構對此證實,而相關的網約車企業也迅速對此否認。
這次外賣企業以大數據殺熟則得到了知名媒體的證明,說明了中國互聯網企業確實有利用它們掌握的大數據謀求更豐厚的利潤,宰割國內消費者。
其實如果再放開來說,中國互聯網行業存在著許多弊病,除了大數據殺熟之外,它們還利用自己的大數據優勢廣泛向消費者推送相關的廣告,這是屬於侵犯隱私的行為,實在過於肆意妄為。
或許也正是它們在國內可以如此做,導致它們只能蝸居國內市場,至今在海外市場都難以取得突破,因為在海外市場它們需要遵守當地的法規,重視消費者的隱私,無法如國內這樣如此輕松的賺取豐厚的利潤。
相比起中國的互聯網行業,國外互聯網企業卻是利用大數據進行創新,不斷增強自己的競爭力,同時獲得消費者的支持。
以全球知名的互聯網企業谷歌為例,它擁有大數據的優勢,卻是利用大數據研發健康產品等幫助人類預防疾病,對比起中國的互聯網企業可以看出它們正利用大數據進行創新,實現更加高大上的目標,映襯出中國互聯網行業的短視。
或許也正是這種差異,導致中國互聯網企業出海往往難以與它們進行競爭,無奈之下中國的互聯網企業在國內市場發展壯大之後考慮的是如何在國內市場如何掘金,甚至瞄準消費者手裡那幾塊菜錢,卻沒有找到高大上的目標。
對比起在國內牛逼哄哄的互聯網企業,中國製造卻已在國際市場取得了可喜的成就,中國製造的產品如電視、手機等產品都已在國際市場站穩腳跟,證明了中國製造的實力,這更是映襯得中國互聯網行業目光短淺。
如今新華網批評外賣平台大數據殺熟,或許能讓這些互聯網企業反思自己,不再以竭力壓榨國內消費者為目的,將目標放在創新方面,增強自己的競爭力,以與國際企業競爭為目標。
C. 大數據的預測功能是增值服務的核心
大數據的預測功能是增值服務的核心
從走在大數據發展前沿的互聯網新興行業,到與人類生活息息相關的醫療保健、電力、通信等傳統行業,大數據浪潮無時無刻不在改變著人們的生產和生活方式。大數據時代的到來,給國內外各行各業帶來諸多的變革動力和巨大價值。
最新發布的報告稱,全球大數據市場規模將在未來五年內迎來高達26%的年復合增長率——從今年的148.7億美元增長到2018年的463.4億美元。全球各大公司、企業和研究機構對大數據商業模式進行了廣泛地探索和嘗試,雖然仍舊有許多模式尚不明朗,但是也逐漸形成了一些成熟的商業模式。
兩種存儲模式為主
互聯網上的每一個網頁、每一張圖片、每一封郵件,通信行業每一條短消息、每一通電話,電力行業每一戶用電數據等等,這些足跡都以「數據」的形式被記錄下來,並以幾何量級的速度增長。這就是大數據時代帶給我們最直觀的沖擊。
正因為數據量之大,數據多為非結構化,現有的諸多存儲介質和系統極大地限制著大數據的挖掘和發展。為更好地解決大數據存儲問題,國內外各大企業和研究機構做了許許多多的嘗試和努力,並不斷摸索其商業化前景,目前形成了如下兩種比較成熟的商業模式:
可擴展的存儲解決方案。該存儲解決方案可幫助政府、企業對存儲的內容進行分類和確定優先順序,高效安全地存儲到適當存儲介質中。而以存儲區域網路(SAN)、統一存儲、文件整合/網路連接存儲(NAS)的傳統存儲解決方案,無法提供和擴展處理大數據所需要的靈活性。而以Intel、Oracle、華為、中興等為代表的新一代存儲解決方案提供商提供的適用於大、中小企業級的全系存儲解決方案,通過標准化IT基礎架構、自動化流程和高擴展性,來滿足大數據多種應用需求。
雲存儲。雲存儲是一個以數據存儲和管理為核心的雲計算系統,其結構模型一般由存儲層、基礎管理、應用介面和訪問層四層組成。通過易於使用的API,方便用戶將各種數據放到雲存儲裡面,然後像使用水電一樣按用量進行收費。用戶不用關心數據的存儲介質、網路狀況以及安全性的管理,只需按需向提供方購買空間。
源數據價值水漲船高
在紅紅火火的大數據時代,隨著數據的累積,數據本身的價值也在不斷升值,這種情況很好地反應了事物由量變到質變的規律。例如有一種罕見的疾病,得病率為十萬分之一,如果從小樣本數據來看非常罕見,但是擴大到全世界70億人,那麼數量就非常龐大。以前技術落後,不能將該病情數字化集中研究,所以很難攻克。但是,我們現在把各種各樣的數據案例搜集起來統一分析,我們很快就能攻克很多以前想像不到的科學難題。類似的例子,不勝枚舉。
正是由於可以通過大數據挖掘到很多看不見的價值,源數據本身的價值也水漲船高。一些掌握海量有效數據的公司和企業找到了一條行之有效的商業路徑:對源數據直接或者經過簡單封裝銷售。在互聯網領域,以Facebook、twitter、微博為代表的社交網站擁有大量的用戶和用戶關系數據,這些網站正嘗試以各種方式對該源數據進行商業化銷售,Google、Yahoo!、網路[微博]等搜索公司擁有大量的搜索軌跡數據以及網頁數據,他們可以通過簡單API提供給第三方並從中盈利;在傳統行業中,中國聯通[微博](3.44, 0.03, 0.88%)、中國電信[微博]等運營商擁有大量的底層用戶資料,可以通過簡單地去隱私化,然後進行銷售盈利。
各大公司或者企業通過提供海量數據服務來支撐公司發展,同時以免費的服務補償用戶,這種成熟的商業模式經受住了時間的考驗。但是對於任何用戶數據的買賣,還需處理好用戶隱私信息,通過去隱私化方式,來保護好用戶隱私。
預測是增值服務的核心
在大數據基礎上進行深度挖掘,所衍生出來的增值服務,是大數據領域最具想像空間的商業模式。大數據增值服務的核心是什麼?預測!大數據引發了商業分析模式轉變,從過去的樣本模式到現在的全數據模式,從過去的小概率到現在的大概率,從而能夠得到比以前更准確的預測。目前形成了如下幾種比較成熟的商業模式。
個性化的精準營銷。一提起「垃圾簡訊」,大家都很厭煩,這是因為本來在營銷方看來是有價值的、「對」的信息,發到了「錯」的用戶手裡。通過對用戶的大量的行為數據進行詳細分析,深度挖掘之後,能夠實現給「對」的用戶發送「對」的信息。比如大型商場可以對會員的購買記錄進行深度分析,發掘用戶和品牌之間的關聯。然後,當某個品牌的忠實用戶收到該品牌打折促銷的簡訊之後,一定不是厭煩,而是欣喜。如優捷信達、中科嘉速等擁有強大數據處理技術的公司在數據挖掘、精準廣告分析等方面擁有豐富的經驗。
企業經營的決策指導。針對大量的用戶數據,運用成熟的數據挖掘技術,分析得到企業運營的各種趨勢,從而給企業的決策提供強有力的指導。例如,汽車銷售公司,可以通過對網路上用戶的大量評論進行分析,得到用戶最關心和最不滿意的功能,然後對自己的下一代產品進行有針對性的改進,以提升消費者的滿意度。
總體來說,從宏觀層面來看,大數據是我們未來社會的新能源;從企業微觀層面來看,大數據分析和運用能力正成為企業的核心競爭力。深入研究和積極探索大數據的商業模式,對企業的未來發展有至關重要的意義。
D. 全球大數據產業現狀及投資前景預測
全球大數據產業現狀及投資前景預測
縱觀國內外,大數據已經形成產業規模,並上升到國家戰略層面,大數據技術和應用呈現縱深發展。面向大數據的雲計算技術、大數據計算框架等不斷推出,新型大數據挖掘方法和演算法大量出現,大數據新模式、新業態層出不窮,傳統產業開始利用大數據實現轉型升級。人工智慧、深度學習、工業物聯網、虛擬現實、智慧城市等領域的發展推動大數據的應用普及。新興行業、傳統行業圍繞數據服務體系,已經形成了傳統行業數據平台、互聯網數據平台及行業資訊類數據平台。以數據應用為基礎的新一代數據服務企業,在促進主體行業發展的同時,同樣促進了行業內中小企業的發展。
1
大數據發展的產業環境分析
美國政策層面發力推動大數據應用發展。政府推出了一系列的公開數據計劃,在健康、能源、氣候、教育、金融、公共安全等領域開放數據和信息,促進創新的突破,從而推動經濟發展。美國致力於擴大聯邦數據公開范圍和受用對象的范圍,尤其擴大高價值數據資產,探討如何進一步擴展收集和分析工業競爭和創新相關的數據。
為了進一步挖掘聯邦政府數據的應用潛力,促進創新與社會進步,2016年1月美商務部發起了一項旨在使政府數據更加容易使用的數據易用性計劃(CDUP)。5月,白宮發布《聯邦大數據研發戰略計劃》,為未來的大數據研發列出7條戰略計劃,旨在建立大數據創新生態系統,加強數據分析能力,從大量、多樣、實時的資料庫中提取有效信息,服務於科學研究、經濟增長與國家安全。2016年,美國應用大數據預測選舉也引起世界關注,大數據應用開始為廣大公眾所關注,數據的真實性及數據安全成為關注焦點。
英國以數據共享為根本積極推動大數據平台建設。新建哈璀(Hartree)大數據中心,投資1.13億英鎊。新建艾倫圖靈研究所,投資4200萬英鎊,開展大數據科學與技術的研究。投資1.5億英鎊建立第一個國家級老年痴呆症研究所。建立應對重大疾病新的數學研究中心。英國成立大數據戰略委員會,發布《開放數據戰略白皮書》,統一政府數字平台,開通政府部門開放數據通道,設立數據開放共享獎勵基金,2018年還將出台「數據保護通則」的專門法規,旨在開發利用數據資源產生更大的商業價值和經濟增長。
瑞典啟動國家重點科研計劃(NFP)大數據專項(Big Data, NFP75)。2017年正式啟動,計劃投入資金2.5億瑞士法郎,從2017年至2020年為期4年。該專項主要分為三個板快:大數據信息技術:大數據分析基礎性研究、大數據基礎設施構架、資料庫和計算中心;大數據相關社會及法律問題:大數據涉及對社會經濟發展的影響預測(如對貿易、商務模式、人員交通及物流的影響)、個人隱私及空間的保護及相關的社會倫理和法律問題及對策等;大數據應用:對大數據在交通、健康、災害及社會風險控制、能源轉型領域的應用展開基礎性研究。瑞士國家重點科研計劃由瑞士聯邦政府推出,目的是對關系瑞士社會經濟發展全局的重要領域展開基礎性研究並提出對策建議。
我國各地政府積極為大數據發展營造環境。2014年、2015年「大數據」首次寫入國家《政府工作報告》。在2015年3月5日舉行的兩會中,李總理在政府工作報告中提到,制定「互聯網+」行動計劃,推動移動互聯網、雲計算、大數據、物聯網等與現代製造業結合,促進電子商務、工業互聯網和互聯網金融健康發展,引導互聯網企業拓展國際市場。
當前,《國家大數據戰略及行動綱要(2015-2025)》徵求意見稿完成。國家自然基金委、科技部支持了大量大數據研究項目;北京市、上海市、天津市、重慶市、廣東省、貴州省等制定了大數據發展規劃,多地開始建數據產業基地,天津擬打造國家數據聚集區,與北京、河北聯合建「京津冀大數據走廊」;重慶計劃將大數據培育成重要戰略性新興產業,加快建設兩江雲計算產業園,陝西西咸新區、湖北武漢光谷、貴州貴安新區等地提出要設國家級大數據基地。
上海成立數據交易中心。2016年4月1日,上海數據交易中心掛牌成立,上海數據交易中心是經上海市人民政府批准,上海市經濟和信息化委、上海市商務委聯合批復成立的國有控股混合所有制企業,承擔著促進商業數據流通、跨區域的機構合作和數據互聯、公共數據與商業數據融合應用等工作職能。交易中心以國內領先的「技術+規則」雙重架構,創新結合IKVLTP 六要素技術,採用自主知識產權的虛擬標識技術和二次加密數據配送技術,結合面向應用場景的交易規則,將在全面保障個人隱私、數據安全前提下推動數據聚合流動。
上海將圍繞「資源、技術、產業、應用、安全」融合聯動這一條主線,聚焦「政府治理和公共服務能力提升、經濟發展方式轉變」兩個方面,創新「交易機構+創新基地+產業基金+發展聯盟+研究中心」五位一體大數據產業鏈生態發展布局,力爭打造國家數據科學中心、亞太數據交換中心和全球「數據經濟」中心,形成集數據貿易、應用服務、先進產業為一體的大數據戰略高地。
2
大數據產業的行業需求預測
企業需求
傳統企業的大數據轉型。隨著互聯網化進程的不斷推進,在改變了用戶消費習慣的同時,眾多傳統企業面臨了一系列必須面對的問題,其中一條核心主線就是基於已有數據的使用以及對於用戶數據的採集。對於有效利用數據,很多傳統企業開展了試探性的使用和分析,並逐步結合互聯網平台,使數據形成閉環。地產、製造、金融企業已經在逐步建立互聯網銷售平台,其實平台的本身並不是去加大產品銷售量,而是通過平台對傳統營業網點、銷售渠道的信息進行有效管理,從而建立可供判斷或分析的數據之用。
更好的吸納客戶的潛在需求,更快的適應市場變化,從而帶動新一輪研發的生成或變革。而此類企業的成長點,市場化性質,及企業性質將區別於傳統企業,而走上新業態、新模式的道路。包括車聯網、互聯網金融、汽車電商、房產電商,都已經出現了苗頭。對於大數據產業的發展,傳統企業轉型是區別於其他領域的卻又獨樹一幟的重要組成部分。
平台企業的大數據戰略。對於相對IT投入較少,IT基礎較為薄弱的領域,比如零售、餐飲、服裝、農業、出版等行業,企業不會去自建雲計算及大數據平台,更多的則是會依靠專業化的數據服務企業或是數據服務平台來滿足數據分析的需求。行業數據服務平台架構的初衷,主要是用雲服務方式解決上述行業的信息化建設及運維需求。
目前上海類似的行業數據平台不少,建築業的築想網、醫葯業的安捷力等都是在行業垂直領域專業度很高的企業,而且較之通用、普適性的平台,此類平台的發展更具有和行業發展的共存性和相通性,是大數據產業發展過程中一個非常重要的組成部分。
互聯網企業大數據規模化發展。互聯網傳媒是推動企業接觸大數據服務中一個相對快速的行業,傳媒由傳統的單向被動模式轉變成為雙向互動模式,在吸引了用戶群體的同時也通過定義用戶肖像,來推動精準營銷。精準營銷使企業享受了新媒體帶來的最實惠的成果,也為企業帶來了一份較之傳統傳媒更加具體的數據分析報告。
同樣在互聯網領域,無論是社交平台、團購還是移動應用,在其互聯網平台構建的過程中,收集、匯總、分析數據是非常重要的一個環節。通過甄別不同年齡段、性別、愛好的用戶群,來精準定位推送不同的消息,而在這些精準定位的背後,則是每天幾十甚至幾百TB的數據增長量和分析量,可以說,有了互聯網才推進了大數據產業的發展。
熱點關聯領域需求
金融大數據。中國金融信息服務產業存在產業鏈分布廣、市場空間巨大的特點,但與此同時,又表現出產業集中度非常低的現狀。因此,未來必將經歷大量的並購整合,最終出現幾家龐大的IT服務機構。傳統金融服務領域的人才資源、市場能力、技術及研發方面在全國范圍內都具有不可比擬的優勢,產業環境、配套資源都非常成熟。
在金融信息服務產業鏈中,已經擁有了證券、期貨、金融期貨、科技技術等交易所以及鋼鐵、有色金屬等各類生產物資交易所,擁有像安碩信息、萬得資訊、金仕達、銀聯、普蘭金融、春雨供應鏈等一大批具有行業代表性的龍頭企業,還有一批以經爾緯為代表的掌握大數據技術及具有資源整合能力的公司。金融領域的資料庫建設比較完善且都為結構化的數據,隨著人工智慧、深度學習等新興技術的介入,大數據將顯示出大有可為的趨勢,對基於大數據分析的成果的需求也將越加旺盛。
交通大數據。一是智能交通,在交通和環境信息的基礎上,實現交付跟蹤,工作流程監督,和人力資源管理。在智能交通系統中,如果車輛使用了該應用,就可以監測到相關數據。智慧城市首席信息官可以使用從物聯網信息庫中獲取運輸和交通過程的信息。這將大大改善交通運輸,建立服務型的支付方式,而不是簡單的付款程序,如時間收費制度。
智慧城市的核心價值是根據交通數據來建立對公民有益的基礎政策。智能交通也產生了很多新的商業創新。二是自動駕駛,目前GOOGLE藉助大數據及車載技術和感測器,以及高級輔助駕駛系統、軟體、地圖數據、GPS和無線通信數據等,實現了無人駕駛,可以預見,不久的將來,大數據在自動駕駛領域的應用越來越被看好。
新媒體大數據。大數據引領的新媒體已經顛覆了國外數個傳統媒體,比如停刊的美國《新聞周刊》以及德國出現戰後最大的紙媒倒閉潮等。以眼球經濟為基礎的傳統媒體展示型廣告已快速向以數據為基礎的網路媒體精準型廣告進行轉變。百視通和東方明珠的整合已經打造了全國最大的千億級別的傳媒上市公司。在電信、廣電及互聯網領域海量數據處理具有豐富的研發及應用經驗,所用技術涵蓋了分布式計算、海量數據處理、流計算、機器學習及神經網路等,重點關注於互聯網廣告投放技術、效果監測、目標受眾行為分析及精準細分、廣告智能匹配等。未來幾年,新媒體大數據將越來越受到業界的追捧。
製造業大數據。利用大數據推動信息化和工業化深度融合,研究推動大數據在研發設計、生產製造、經營管理、市場營銷、售後服務等產業鏈各環節的應用,研發面向不同行業、不同環節的大數據分析應用平台,選擇典型企業、重點行業、重點地區開展工業企業大數據應用項目試點,積極推動製造業網路化和智能化。最近幾年,從國家到地方政府,日益重視大數據在製造業特別是高端智能製造領域的應用,例如《中國製造2025》。從這個意義上來說,大數據在製造業應該發揮的潛力巨大,釋放空間和餘地很大。
3
大數據投資前景預判
人工智慧等新興領域價值潛力巨大
智能化領域及智慧城市建設。大數據與深度學習、人工智慧交叉的領域成為資本追逐的焦點。例如日本提出建成超智能社會,實現ICT技術在全社會的深度融合應用。日本第五期科技計劃提出建設SOCIETY 5.0(超智能社會),基於以人工智慧、物聯網、大數據為代表的ICT技術,研究開發先進機器人、超級計算機、感測器、高速通信等技術,實現網路空間與現實空間高度融合的信息物理系統,運用大數據促使社會生活各領域實現高度智能化,推進經濟發展與社會進步。日本超智能社會的提出,受到諸多大數據公司和風投的關注。類似,我國各地正在大力推進的智慧城市建設中的與新興技術交叉應用的環節,大數據將有著重要的一席之地。大數據與智慧交通、綠色環保、民生安全等領域的融合,在人工智慧、深度學習的帶動下,大數據應用商機無限。
支撐分享經濟智能平台被看好
分享經濟在短時間內崛起並成為全球現象,規模和影響力都呈現出指數增長。2014年12月,普華永道發布了預測報告指出全球分享經濟的規模將從2015年的150億美元增長到2025年的3350億美元。在全球經濟努力復甦的背景下,分享經濟模式的新穎性和巨大發展潛力受到各國政府的高度支持,甚至提升到了國家戰略的高度。大數據、雲計算、人工智慧將構建支撐分享經濟的智能平台,而這些平台將日益彰顯其經濟價值,從而能夠靈活、便利、及時、安全、經濟地連接不同需求的陌生人,從而在分享經濟的新模式中,大數據起到了核心作用,佔領核心的地位,其價值不言而喻。
E. 國內外有哪些數據分析相關的競賽比賽網站
國外:
1、Kaggle
Kaggle: Your Home for Data Science
國內:
1、阿里的天池
天池大數據科研平台
2、SODA
SODA上海開放數據創新應用大賽
3、數據城堡
首頁-DataCastle大數據競賽平台
4、WID
WID,CCF唯一指定大數據競賽平台
5、數據嗨客
數據嗨客 全球首家大數據教育、競賽、服務平台
6、數據火車
數據火車—數據競賽平台
7、大數據研究中心
大數據研究中心
8、華為雲科技大賽
https://developer.huaweicloud.com/competition/competitions
9、億信社區大數據模板比賽
http://bbs.esensoft.com/thread-132647-1-1.html
F. 大數據的產生與發展現狀研究
摘 要:大數據的產生給未來信息技術帶來新的機遇與挑戰。大數據對數據處理的有效性、實時性提出了更高要求,需要根據大數據的特點對當前數據處理技術實施變革,從而形成更有益於大數據採集、存儲、處理、管理、分析、共享的新興技術。本文從大數據的產生與發展、特徵、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。
關鍵詞 :大數據 物聯網 信息處理 海量計算
一、大數據的產生與發展現狀
隨著物聯網、雲計算等信息技術的飛速發展,大數據技術(Big Data)也越發進入人們的視線。大數據是用傳統方法或工具很難處理或分析的數據信息。目前,人們對大數據的理解還不夠全面和深入,關於大數據的含義也沒有一個統一的定義。亞馬遜大數據科學家John Rauser認為:大數據是超過任何一台計算機處理能力的龐大數據量。Informatica 的中國區首席顧問但彬指出:大數據是海量數據與復雜類型的數據的結合。而維基網路則把大數據定義成諸多大而復雜的、難以用當前資料庫處理的數據集合。
大數據研究受到國內外學術界和工業界的廣泛關注,已成為當今信息時代全世界討論的熱點。2008年,Nature雜志就推出大數據專刊,計算社區聯盟也在同一年發表了報告《Big data computing; Creating revolutionary breakthroughs in commerce, science and society》,報告闡述了解決大數據問題所需的關鍵技術以及所面臨的挑戰。美國奧x政府於2012年3月在白宮網站發布了《大數據研究和發展倡議》,提出了通過收集、處理海量、復雜的數據信息,從而提升能力,加快科學和工程領域的創新步伐,轉變學習教育模式,強化美國本土的安全」。2011年1月,微軟公司同惠普公司合作開發了一系列能夠提升生產力,同時提高決策速度的設備。此外,歐盟委員會也提出駕駁大數據浪潮的戰略思路,日本發布的《面向 2020 的 ICT綜合戰略》也提出需要構造大量豐富的數據基礎。
近年來,我國也積極開展對大數據的研究。2011年10月,工信部確認京滬深杭等 5 城市為「雲計算中心」試點城市。2012年6月,中國計算機學會青年計算機科技論壇也舉辦了「大數據時代,智謀未來」學術報告研討會。大數據及其科學研究方法涉及應用領域很廣,並將與國計民生密切相關的科學決策、金融工程以及知識經濟領域緊緊接合。
二、大數據的特點
目前,企業界和學術界都一致認為,大數據具有4個「V」特徵,即:容量(Volume)、種類(Variety)、速度(Velocity)和至關重要的`價值(Value)。
(1) 容量(Volume)巨大。海量的數據集從TB 級別提升到PB 級別。
(2) 種類(Variety)繁多。大數據數據源有多種,數據格式和種類不同於以前所規定的結構化數據范疇。
(3)價值(Value)密度低。如視頻的例子,在不間斷連續監控的過程中,可能有意義的數據僅有一兩秒。
(4)速度(Velocity)快。包含大量實時、在線數據處理分析的需求1秒鍾定律。
三、大數據應用的領域
大數據產業的發展將推動全球經濟由粗放型向集約型轉變,這將對提升企業整體競爭力和政府監管能力具有意義深遠的影響。
商業作為大數據的重要應用領域。沃爾瑪公司通過對消費者購物行為等一系列非結構化數據的分析,了解不同顧客的購物習慣,公司從所銷售的數據進行分析,從而選出適合在一起搭配出售的商品;淘寶也針對買家開設了大數據平台,為客戶量身打造了一整套完善的網購體驗產品。
大數據在金融業也起到了至關重要的作用。美國Equifax公司利用大數據技術,通過對其的資料庫中與財務有關的記錄海量信息進行索引處理和交叉分享,從而得到客戶的個人信用等級,以推斷出客戶的支付需求與能力。
隨著大數據在醫療與生命科學研究過程中的廣泛應用和不斷擴展。2010年,中國公布的《十二五規劃》指出:要重點建設國家級、省級和地市級三級醫療衛生信息平台,建設電子病歷和電子檔案兩個最為基礎的資料庫。各級醫院也將在醫療信息倉庫、數據中心等領域加大投入,醫療數據信息的存儲將愈加被關注,醫療信息中心的關注焦點也將由傳統的計算領域轉為存儲領域。
除此之外,大數據在製造業領域也有著廣闊的應用。製造業企業積累了廣泛的數據信息,在開展對業務數據進行技術管理的同時,企業需要通過大數據處理技術來幫助決策者從資料庫儲存的海量信息中找到有價值的信息,並且對其進行分析處理,從而增強決策的正確性、規避風險。
四、大數據所面臨的挑戰
大數據技術使人們能夠更好地利用之前不能使用的各個數據類型,找出被忽略的信息,促進企業組織更加高效、智能。但隨著對大數據研究的不斷深入,人們也更加意識到當大數據技術向人們敞開「方便之門」的同時,也帶來了眾多的挑戰:
(1)大數據需要更為專業化的管理技術人才。
(2) 大數據的合理利用需要解決容量大、類別多和時效性高的數據處理問題。
(3)大數據的利用對信息安全提出了更高要求。
(4)大數據的集成與管理問題。
這些挑戰已成為關繫到未來大數據發展的重要因素,同時也成為未來引領大數據發展的推動力。
五、結束語
大數據已經逐步滲透到人們工作生活的諸多領域中,對於大數據的研究也在不斷的深化。本文針對大數據的產生與發展、特徵、主要應用以及大數據所帶來的挑戰等方面進行闡述與分析。大數據的發展還處於初級階段,還有更為廣闊的空間需要人們不斷開拓,如何合理地利用大數據、更加高效地處理大數據來為人們服務仍需要廣大研究者不斷地研究和探索。
參考文獻:
[1]劉智慧,張泉靈.大數據技術研究綜述[J].浙江大學學報,2014,46(6):957- 972.
[2]嚴霄鳳,張德馨.大數據研究[J].計算機技術與發展,2013,23(4):168-172.
[3]劉俊.基於大數據流的Multi-Agent系統模型研究[J].計算機技術與發展, 2007,17(5):166-169.
G. 中國目前在大數據行業的發展情況如何
我國大數據產業開始已進入深化階段
中國大數據產業從萌芽到如今漸成體系,已走過將近10個年頭。「十四五」開局之年,大數據產業也進入了集成創新、深度應用的新階段。大數據在醫療、工業、交通等領域的融合應用技術加快創新突破,大數據融合應用重點從虛擬經濟轉變為實體經濟;大數據底層技術方面,信息安全、模式識別、語言工程、計算機輔助設計、高性能計算等加快突破,大數據技術領域逐漸補齊短板,並進一步強化長板。
—— 更多本行業研究分析詳見前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》
H. 北京大數據研究院是什麼單位
北京大數據研究院是國內首個整合了政府、大學和市場三方面資源的大數據研究機構。
目標是吸引國際一流大數據研究人員來京發展,用五到十年的時間,建成國際一流的大數據教育、科研創新和創業化平台,成為中國乃至世界大數據產業發展的一面旗幟。
該研究院主要由北京大學深圳研究生院、北京大學軟體與微電子學院、北京大學信息科學技術學院、北京大學信息工程學院(深圳)、北京大學軟體工程國家工程研究中春伍心聯合發起。
成立北京大學大數據技術研究院(籌)是北京大學從國家戰略需要出發、主動應對大數據時代的重要部署。
對大數據這一跨領域的綜合性問題開展深入研究,將引發科學研究、學科建設、產學研等方面的深刻變革,不僅可以大力推動大數據產業快速發展、技術攻關液蠢、深化產學研協同創新,而且還將有力推動人才培養和教師隊伍建設。
I. 大數據發展背景及研究現狀
2015年左右,大數據相關政策規劃密集出台,同期為大數據企業新增數量頂峰時期。近年來,我國大數據產業迎來新的發展機遇期,產業規模日趨成熟。大數據產業主體從「硬」設施向「軟」服務轉變的態勢將更加明顯,面向金融、政務、電信、醫療等領域的大數據服務將實現倍增創新。
大數據企業數量持續增長,增速與政策出台密切相關
根據IT桔子統計,大數據企業的快速增長階段出現在2013-2015年,增長速度在2015年達到最高峰。2015年後,市場日趨成熟,企業新增開始趨於放緩,大數據產業逐漸走向成熟。
—— 以上數據及分析均來自於前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。