大數據研究常用軟體工具與應用場景
如今，大數據日益成為研究行業的重要研究目標。面對其高數據量、多維度與異構化的特點，以及分析方法思路的擴展，傳統統計工具已經難以應對。
工欲善其事，必先利其器。眾多新的軟體分析工具作為深入大數據洞察研究的重要助力， 也成為數據科學家所必須掌握的知識技能。
然而，現實情況的復雜性決定了並不存在解決一切問題的終極工具。實際研究過程中，需要根據實際情況靈活選擇最合適的工具（甚至多種工具組合使用），才能更好的完成研究探索。
為此，本文針對研究人員（非技術人員）的實際情況，介紹當前大數據研究涉及的一些主要工具軟體（因為相關軟體眾多，只介紹常用的），並進一步闡述其應用特點和適合的場景，以便於研究人員能有的放矢的學習和使用。
基礎篇傳統分析/商業統計
Excel、SPSS、SAS 這三者對於研究人員而言並不陌生。
Excel 作為電子表格軟體，適合簡單統計（分組/求和等）需求，由於其方便好用，功能也能滿足很多場景需要，所以實際成為研究人員最常用的軟體工具。其缺點在於功能單一，且可處理數據規模小（這一點讓很多研究人員尤為頭疼）。這兩年Excel在大數據方面（如地理可視化和網路關系分析）上也作出了一些增強，但應用能力有限。
SPSS（SPSS Statistics)和SAS作為商業統計軟體，提供研究常用的經典統計分析（如回歸、方差、因子、多變數分析等）處理。
SPSS 輕量、易於使用，但功能相對較少，適合常規基本統計分析
SAS 功能豐富而強大（包括繪圖能力），且支持編程擴展其分析能力，適合復雜與高要求的統計性分析。
上述三個軟體在面對大數據環境出現了各種不適，具體不再贅述。但這並不代表其沒有使用價值。如果使用傳統研究方法論分析大數據時，海量原始數據資源經過前期處理（如降維和統計匯總等）得到的中間研究結果，就很適合使用它們進行進一步研究。
數據挖掘
數據挖掘作為大數據應用的重要領域，在傳統統計分析基礎上，更強調提供機器學習的方法，關注高維空間下復雜數據關聯關系和推演能力。代表是SPSS Modeler（注意不是SPSS Statistics，其前身為Clementine）
SPSS Modeler 的統計功能相對有限, 主要是提供面向商業挖掘的機器學習演算法（決策樹、神經元網路、分類、聚類和預測等）的實現。同時，其數據預處理和結果輔助分析方面也相當方便，這一點尤其適合商業環境下的快速挖掘。不過就處理能力而言，實際感覺難以應對億級以上的數據規模。
另一個商業軟體 Matlab 也能提供大量數據挖掘的演算法，但其特性更關注科學與工程計算領域。而著名的開源數據挖掘軟體Weka，功能較少，且數據預處理和結果分析也比較麻煩，更適合學術界或有數據預處理能力的使用者。
中級篇1、通用大數據可視化分析
近兩年來出現了許多面向大數據、具備可視化能力的分析工具，在商業研究領域，TableAU無疑是卓越代表。
TableAU 的優勢主要在於支持多種大數據源/格式，眾多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過要注意，其並不能提供經典統計和機器學習演算法支持， 因此其可以替代Excel, 但不能代替統計和數據挖掘軟體。另外，就實際處理速度而言，感覺面對較大數據（實例超過3000萬記錄）時，並沒有官方介紹的那麼迅速。
2 、關系分析
關系分析是大數據環境下的一個新的分析熱點（比如信息傳播圖、社交關系網等），其本質計算的是點之間的關聯關系。相關工具中，適合數據研究人員的是一些可視化的輕量桌面型工具，最常用的是Gephi。
Gephi 是免費軟體，擅長解決圖網路分析的很多需求，其插件眾多，功能強且易用。我們經常看到的各種社交關系/傳播譜圖, 很多都是基於其力導向圖（Force directed graph）功能生成。但由於其由java編寫，限制了處理性能（感覺處理超過10萬節點/邊時常陷入假死），如分析百萬級節點（如微博熱點傳播路徑）關系時，需先做平滑和剪枝處理。 而要處理更大規模（如億級以上）的關系網路（如社交網路關系）數據，則需要專門的圖關系資料庫（如GraphLab/GraphX）來支撐了，其技術要求較高，此處不再介紹。
3、時空數據分析
當前很多軟體（包括TableAU）都提供了時空數據的可視化分析功能。但就使用感受來看，其大都只適合較小規模（萬級）的可視化展示分析，很少支持不同粒度的快速聚合探索。
如果要分析千萬級以上的時空數據，比如新浪微博上億用戶發文的時間與地理分布（從省到街道多級粒度的探索）時，推薦使用 NanoCubes（http://www.nanocubes.net/）。該開源軟體可在日常的辦公電腦上提供對億級時空數據的快速展示和多級實時鑽取探索分析。下圖是對芝加哥犯罪時間地點的分析，網站有更多的實時分析的演示例子
4、文本/非結構化分析
基於自然語言處理（NLP）的文本分析，在非結構化內容（如互聯網/社交媒體/電商評論）大數據的分析方面（甚至調研開放題結果分析）有重要用途。其應用處理涉及分詞、特徵抽取、情感分析、多主題模型等眾多內容。
由於實現難度與領域差異，當前市面上只有一些開源函數包或者雲API（如BosonNLP）提供一些基礎處理功能，尚未看到適合商業研究分析中文文本的集成化工具軟體（如果有誰知道煩請通知我）。在這種情況下，各商業公司（如HCR）主要依靠內部技術實力自主研發適合業務所需的分析功能。
高級篇前面介紹的各種大數據分析工具，可應對的數據都在億級以下，也以結構化數據為主。當實際面臨以下要求： 億級以上/半實時性處理/非標准化復雜需求 ，通常就需要藉助編程（甚至藉助於Hadoop/Spark等分布式計算框架）來完成相關的分析。 如果能掌握相關的編程語言能力，那研究員的分析能力將如虎添翼。
當前適合大數據處理的編程語言，包括：
R語言——最適合統計研究背景的人員學習，具有豐富的統計分析功能庫以及可視化繪圖函數可以直接調用。通過Hadoop-R更可支持處理百億級別的數據。 相比SAS，其計算能力更強，可解決更復雜更大數據規模的問題。
Python語言——最大的優勢是在文本處理以及大數據量處理場景，且易於開發。在相關分析領域，Python代替R的勢頭越來越明顯。
Java語言——通用性編程語言，能力最全面，擁有最多的開源大數據處理資源（統計、機器學習、NLP等等）直接使用。也得到所有分布式計算框架（Hadoop/Spark）的支持。
前面的內容介紹了面向大數據研究的不同工具軟體/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力，但更重要的是研究員要發揮自身對業務的深入理解，從數據結果中洞察發現有深度的結果，這才是最有價值的。
以上是小編為大家分享的關於大數據研究常用軟體工具與應用場景的相關內容，更多信息可以關注環球青藤分享更多干貨
Ⅱ 大眾點評的收藏量等一些數據有什麼用
大眾點評在O2O行業10多年了，已經積累了超過4200萬條評價信息，超過1000萬個商戶信內息，此外還用戶1.8億的移動數據容，已經完善會員體系。這是大眾點評成為大數據網站的基礎，也是一個重要的里程碑。此外，大眾點評還積累了海量交易、用戶瀏覽等數...
Ⅲ 什麼是大數據大數據具體有什麼用大數據到底能幹什麼
什麼是大數據？
一句話快答：一是大數據是一個很大的海量的數據集；二是指版的新型處理權海量數據的技術體系。
大數據是一個抽象的概念，可以簡單理解為"大數據"是一個體量特別大，數據類別特別大的數據集，並且這樣的數據集無法用傳統資料庫工具對其內容進行抓取、管理和處理。
大數據有什麼價值？
一句話快答：將海量數據價值化。
大數據的核心作用是數據價值化，簡單地說就是大數據讓數據產生各種「價值」，這個將數據價值化的過程就是大數據要做的主要事情。
大數據有哪些作用？
一句話快答：給人類提供輔助服務，為智能體提供決策服務。
大數據不僅包括企業內部應用系統的數據分析，還包括與行業、產業的深度融合。具體場景包括：互聯網行業、政府行業、金融行業、傳統企業中的地產、醫療、能源、製造、電信行業等等。通俗地講「大數據就像互聯網+，可以應用在各行各業"，如電信、金融、教育、醫療、軍事、電子商務甚至政府決策等。
對企業而言，大數據可提高工作效率，降低企業成本，精準營銷帶來更多客戶。
對政府而言，可以利用大數進行統籌分析、提高管理效率、管理抓獲犯罪分子等。
對個人而言，可以利用大數據更了解自己等。加米穀大數據培訓。
Ⅳ 大數據能用來做什麼
大數據為我們提供了巨大的機遇，幫助我們開發新的創意產品和服務，例如手機APP或企業商業智能產品。它可以促進經濟的增長和就業機會，可以大大提高人們的生活質量。
一、 醫療：提高診斷和治療的水平
大數據為提高醫療信息處理效率提供了解決方案，從而為企業、公共部門和公民創造價值。對大型臨床數據集的分析可以優化新葯和治療的臨床和成本效益，患者可以受益於更及時和適當的護理。數據互操作性至關重要，因為數據來自不同的和異構的來源，如生物信號流、健康記錄、基因組學和臨床實驗室測試等。
二、 商業：企業無形資產，助力企業決策
如今，大數據非常重要，它可以直接影響企業的估值。大數據已經成為企業一種關鍵的無形資產，可以通過數據收集加以衡量，並計入估值。企業如何使用數據以及基於數據做出的決策也將影響企業決策的成功率。
三、 數據：數據市場的價值
在過去十幾年裡，信息技術直接或間接地推動了中國的經濟增長，數據的作用已經從簡單支持商業決策轉變為自身的價值存在。在新的網路經濟中，開放的數據市場已變得至關重要。
四、 交通：減少事故和交通堵塞
交通部門可以從道路感測器收集大量的數據。智能利用這些大數據，可以支持政府優化交通流管理。市民和公司可以通過使用路線規劃大大節約出行時間。
五、 環境：降低能源消耗
大數據革命帶來了應對環境挑戰的新方式。更好地利用全球可用的數據集有助於科學家開展研究，並使決策者能夠就洪水等自然災害作出知情和決策，以應對氣候變化和降低成本。智能城市還設有數據中心，根據可再生能源和其他有用指標的可用性，調整公共建築的電力消耗。
六、 農業：更安全的食品和更高的生產力
在農業領域智能地使用大數據，可以同時提高生產率、糧食安全和農民收入。通過對感測器和地球觀測數據的智能和廣泛使用，可以有效改善我們今天的耕作方式。這包括可以在我們的農業實踐中更有效地利用自然資源(包括水或陽光)。有了先進的技術，農民也可以獲得他們的農業機械正在如何工作的實時數據，以及歷史上的天氣模式、地形和作物表現。