大數據建模工具

㈠ 常用的大數據分析軟體有哪些(列舉當前主流大數據分析工具有哪些)

大數據行業因為數據量巨大的特點，傳統的工具已經難以應付，因此就需要我們使用更為先進的現代化工具，以下是幾款常用軟體：

1、思邁特軟體Smartbi大數據分析平台：定位為一站式滿足所有用戶全面需求場景的大數據分析平台。它融合了BI定義的所有階段，對接各種業務資料庫、數據倉庫和大數據分析平台，進行加工處理、分析挖掘和可視化展現；滿足所有用戶的各種數據分析應用需求，如大數據分析、可視化分析、探友唯凳索式分析、企業報表平台、應用分享等等。

2、HPCC，（高性能計算與通信）的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。

2、Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布好旅處理。

數據分析工具靠不靠譜，來試試Smartbi,思邁特軟體Smartbi經過多年持續自主研發，凝聚大量商業智能最佳實踐經山粗驗，整合了各行業的數據分析和決策支持的功能需求。滿足最終用戶在企業級報表、數據可視化分析、自助探索分析、數據挖掘建模、AI智能分析等大數據分析需求

㈡ 大數據分析需要哪些工具

說到大數據，肯定少不了分析軟體，這應該是大數據工作的根基，但市面上很多各種分析軟體，如果不是過來人，真的很難找到適合自己或符合企業要求的。小編通過各大企業對大數據相關行業的崗位要求，總結了以下幾點：
（1）SQL資料庫的基本操作，會基本的數據管理
（2）會用Excel/SQL做基本的數據分析和展示
（3）會用腳本語言進行數據分析，Python or R
（4）有獲取外部數據的能力，如爬蟲
（5）會基本的數據可視化技能，能撰寫數據報告
（6）熟悉常用的數據挖掘演算法：回歸分析、決策樹、隨機森林、支持向量機等
對於學習大數據，總體來說，先學基礎，再學理論，最後是工具。基本上，每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識，包括概率論、數理統計。基礎這種東西還是要掌握好的啊，基礎都還沒扎實，知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的，要學習證券、銀行、財務等各種知識，不然到了公司就一臉懵逼啦。
3、學習數據分析工具，軟體結合案列的實際應用，關於數據分析主流軟體有(從上手度從易到難)：Excel，SPSS，stata，R，Python，SAS等。
4、學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。

㈢ 大數據分析工具都有哪些

大數據分析工具好用的有以下幾個，分別是Excel、BI工具、Python、Smartbi、Bokeh、Storm、Plotly等。

1、Excel

Excel可以稱得上是最全能的數據分析工具之一，包括表格製作、數據透視表、VBA等等功能，保證人們能夠按照需求進行分析。

2、BI工具

BI也就是商業智能，BI工具的產品設計，幾乎是按照數據分析的流程來設計的。先是數據處理、整理清洗，再到數據建模，最後數據可視化，全程圍繞數據指導運營決策的思想。由於功能聚焦，產品操作起來也非常簡潔，依靠拖拉拽就能完成大部分的需求，沒有編程基礎的業務人員也能很快上手。

3、Python

python在數據分析領域，確實稱得上是一個強大的語言工具。盡管入門的學習難度要高於Excel和BI，但是作為數據科學家的必備工具，從職業高度上講，它肯定是高於Excel、BI工具的。尤其是在統計分析和預測分析等方面，Python等編程語言更有著其他工具無可比擬的優勢。

4、思邁特軟體Smartbi

融合傳統BI、自助BI、智能BI，滿足BI定義所有階段的需求；提供數據連接、數據准備、數據分析、數據應用等全流程功能；提供復雜報表、數據可視化、自助探索分析、機器學習建模、預測分析、自然語言分析等全場景需求；滿足數據角色、分析角色、管理角色等所有用戶的需求。

5、Bokeh

這套可視化框架的主要目標在於提供精緻且簡潔的圖形處理結果，用以強化大規模數據流的交互能力。其專門供Python語言使用。

6、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

7、 Plotly

這是一款數據可視化工具，可兼容JavaScript、MATLAB、Python以及R等語言。Plotly甚至能夠幫助不具備代碼編寫技能或者時間的用戶完成動態可視化處理。這款工具常由新一代數據科學家使用，因為其屬於一款業務開發平台且能夠快速完成大規模數據的理解與分析。

㈣ 數據分析過程中有哪些實用工具

以前大數據分析會用到多種工具，比如數倉工具、數據建模工具、BI工具等等。現在的大版數據分析平台，都是全能型數據分析平台，一個平台搞定所有。比如億信一站式數據分析平台，ABI融合了數據源適配、ETL數據處理、數據建模、數據分析、數據填報、工權作流、門戶、移動應用等核心功能而打造的一站式數據處理分析平台。提供的數據分析工具豐富：除了中國式復雜報表、dashboard、大屏報表外，ABI還支持自助式分析，包括拖拽式多維分析、看板和看板集，業務用戶通過簡單拖拽即可隨心所欲的進行探索式自助分析。

㈤ 大數據分析一般用什麼工具分析

今天就我們用過的幾款大數據分析工具簡單總結一下，與大家分享。

1、Tableau

這個號稱敏捷BI的扛把子，魔力象限常年位於領導者象限，界面清爽、功能確實很強大，實至名歸。將數據拖入相關區域，自動出圖，圖形展示豐富，交互性較好。圖形自定義功能強大，各種圖形參數配置、自定義設置可以靈活設置，具備較強的數據處理和計算能力，可視化分析、互動式分析體驗良好。確實是一款功能強大、全面的數據可視化分析工具。新版本也集成了很多高級分析功能，分析更強大。但是基於圖表、儀錶板、故事報告的邏輯，完成一個復雜的業務匯報，大量的圖表、儀錶板組合很費事。給領導匯報的PPT需要先一個個截圖，然後再放到PPT裡面。作為一個數據分析工具是合格的，但是在企業級這種應用匯報中有點局限。

2、PowerBI

PowerBI是蓋茨大佬推出的工具，我們也興奮的開始試用，確實完全不同於Tableau的操作邏輯，更符合我們普通數據分析小白的需求，操作和Excel、PPT類似，功能模塊劃分清晰，上手真的超級快，圖形豐富度和靈活性也是很不錯。但是說實話，畢竟剛推出，系統BUG很多，可視化分析的功能也比較簡單。雖然有很多復雜的數據處理功能，但是那是需要有對Excel函數深入理解應用的基礎的，所以要支持復雜的業務分析還需要一定基礎。不過版本更新倒是很快，可以等等新版本。

3、Qlik

和Tableau齊名的數據可視化分析工具，QlikView在業界也享有很高的聲譽。不過Qlik Seanse產品系列才在大陸市場有比較大的推廣和應用。真的是一股清流，界面簡潔、流程清晰、操作簡單，交互性較好，真的是一款簡單易用的BI工具。但是不支持深度的數據分析，圖形計算和深度計算功能缺失，不能滿足復雜的業務分析需求。

最後將視線聚焦國內，目前搜索排名和市場宣傳比較好的也很多，永洪BI、帆軟BI、BDP等。不過經過個人感覺整體宣傳大於實際。

4、永洪BI

永洪BI功能方面應該是相對比較完善的，也是拖拽出圖，有點類似Tableau的邏輯，不過功能與Tableau相比還是差的不是一點半點，但是操作難度居然比Tableau還難。預定義的分析功能比較豐富，圖表功能和靈活性較大，但是操作的友好性不足。宣傳擁有高級分析的數據挖掘功能，後來發現就集成了開源的幾個演算法，功能非常簡單。而操作過程中大量的彈出框、難以理解含義的配置項，真的讓人很暈。一個簡單的堆積柱圖，就研究了好久，看幫助、看視頻才搞定。哎，只感嘆功能藏得太深，不想給人用啊。

5、帆軟BI

再說號稱FBI的帆軟BI，帆軟報表很多國人都很熟悉，功能確實很不錯，但是BI工具就真的一般般了。只能簡單出圖，配合報表工具使用，能讓頁面更好看，但是比起其他的可視化分析、BI工具，功能還是比較簡單，分析的能力不足，功能還是比較簡單。帆軟名氣確實很大，號稱行業第一，但是主要在報表層面，而數據可視化分析方面就比較欠缺了。

6、Tempo

另一款工具，全名叫「Tempo大數據分析平台」，宣傳比較少，2017年Gartner報告發布後無意中看到的。是一款BS的工具，申請試用也是費盡了波折啊，永洪是不想讓人用，他直接不想賣的節奏。

第一次試用也是一臉懵逼，不知道該點那！不過抱著破罐子破摔的心態稍微點了幾下之後，操作居然越來越流暢。也是拖拽式操作，數據可視化效果比較豐富，支持很多便捷計算，能滿足常用的業務分析。最最驚喜的是它還支持可視化報告導出PPT，徹底解決了分析結果輸出的問題。深入了解後，才發現他們的核心居然是「數據挖掘」，演算法十分豐富，也是拖拽式操作，我一個文科的分析小白，居然跟著指導和說明做出了一個數據預測的挖掘流，簡直不要太驚喜。掌握了Tempo的基本操作邏輯後，居然發現他的易用性真的很不錯，功能完整性和豐富性也很好。

㈥ 大數據分析工具

1、日誌管理工具Splunk（http://www.splunk.com/）
<img src="https://pic4.mg.com/_b.png" data-rawwidth="1894" data-rawheight="902" class="origin_image zh-lightbox-thumb" width="1894" data-original="https://pic4.mg.com/_r.png">

面向使用的人群主要有：
<img src="https://pic1.mg.com/_b.png" data-rawwidth="841" data-rawheight="366" class="origin_image zh-lightbox-thumb" width="841" data-original="https://pic1.mg.com/_r.png">
Splunk的功能組件主要有Forwarder、Serch Head、Indexer三種，然後支持了查詢搜索、儀表盤和報表（效果真不是吹的，很精緻呀），另外還支持SaaS服務模式。其中，Splunk支持的數據源也是多種類型的，基本上還是可以滿足客戶的需求。
<img src="https://pic1.mg.com/_b.png" data-rawwidth="554" data-rawheight="389" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic1.mg.com/_r.png">
目前支持Hadoop1.x(MRv1)、Hadoop2.x(MRv2)、Hadoop2.x(Yarn)三個版本的Hadoop集群的日誌數據源收集，在日誌管理運維方面還是處於一個國際領先的地位，目前國內有部分的數據驅動型公司也正在採用Splunk的日誌管理運維服務。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="834" data-rawheight="396" class="origin_image zh-lightbox-thumb" width="834" data-original="https://pic3.mg.com/_r.png">

可視化部分效果也是很不錯的
<img src="https://pic2.mg.com/_b.png" data-rawwidth="554" data-rawheight="260" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic2.mg.com/_r.png"><img src="https://pic3.mg.com/_b.png" data-rawwidth="554" data-rawheight="259" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic3.mg.com/_r.png"><img src="https://pic4.mg.com/_b.png" data-rawwidth="554" data-rawheight="258" class="origin_image zh-lightbox-thumb" width="554" data-original="https://pic4.mg.com/_r.png">

2、EverString（Home - EverString）
<img src="https://pic1.mg.com/_b.png" data-rawwidth="479" data-rawheight="159" class="origin_image zh-lightbox-thumb" width="479" data-original="https://pic1.mg.com/_r.png">

everstring主要是通過大數據的預測分析建模為企業提供業務和客戶推薦的SaaS服務，獲取和積累了兩個數據信息資源庫，一個行業外部的資源庫（公有SaaS收費形式），一個行業自己內部的資源庫（私有），然後再通過機器學習和人工智慧的方法對數據進行相應行業或是領域的建模，最後得到一個比較不錯的結果，優化於人工可以得到的結果，而且Everstring也成為了初創大數據公司裡面估值很高的公司。

3、國外的Tableau（http://www.tableau.com/）

可視化界面還是做得不錯的
<img src="https://pic2.mg.com/_b.png" data-rawwidth="660" data-rawheight="407" class="origin_image zh-lightbox-thumb" width="660" data-original="https://pic2.mg.com/_r.png">
<img src="https://pic1.mg.com/_b.png" data-rawwidth="1272" data-rawheight="754" class="origin_image zh-lightbox-thumb" width="1272" data-original="https://pic1.mg.com/_r.png">

可是對於價格還是按需掏腰包吧。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="1603" data-rawheight="847" class="origin_image zh-lightbox-thumb" width="1603" data-original="https://pic3.mg.com/_r.png">

4、國內的大數據魔鏡分析工具（魔鏡—行業領先的大數據可視化分析平台 6.0）
魔鏡的大數據平台主要提供的還是數據清洗和ETL、Hadoop數據倉庫以及一系列的數據分析服務，可提供的數據分析視圖工具類型豐富：
<img src="https://pic1.mg.com/_b.png" data-rawwidth="1256" data-rawheight="688" class="origin_image zh-lightbox-thumb" width="1256" data-original="https://pic1.mg.com/_r.png">

目前國外還時候有很多從事大數據業務的公司，像協助美國CIA找到本拉登的Panlatir，可以預測未來的Recorded Future和，6sence，ETL方向的Etleap，CRM系統方向的Salesforce等，如果說到可視化工具，它應該是大數據處理流程裡面的最後展現環節。

國內有個不錯的鏈接，實屬干貨呀。
盤點：55個最實用大數據可視化分析工具（http://tech.it168.com/a2015/0318/1712/000001712286.shtml）

就寫到這里吧，分析的不到位的地方，還請指出，謝謝。

補充
----------------------
剛有人問，哪些是目前國內可以用得到的一些數據科學家分析的工具，正好公司有同事是這方面的專家，請教了下，如下：
1、SPSS：主要用於數據建模工作，功能穩定且強大，能夠滿足中小企業在業務模型建立過程中的需求。
2、BitDeli
BitDeli是今年11月份在舊金山成立的一家初創公司。它能衡量出任何使用Python腳本的應用程序的指標，聯合創始人兼CEO Ville Tuulos告訴Derrick，腳本可以很簡單，也可以很復雜——甚至未來可以延伸到機器學習。不過和「重量級選手」Hadoop相比，BitDeli自認為是一個輕量級的Ruby。
3. Continuuity
Continuuity是前Yahoo首席雲架構師Todd Papaioannou和Facebook HBase的工程師Jonathan Gray的心血結晶，Continuuity想讓所有的公司都能像Yahoo、Facebook一樣運營。該團隊創建了一個大數據工具，它可以簡化Hadoop以及HBase集群的復雜性，而且包含一系列開發套件，旨在幫助程序員開發大數據應用，該平台採用Hadoop技術，允許開發者在防火牆內外對大數據應用軟體進行部署、擴展和管理。公司聯合創始人兼首席執行官Todd Papaioannou表示，作為一家初創企業，Continuuity正在試圖掀起下一波大數據應用軟體的浪潮，公司所提供的工具能夠大大提高處於開發狀態的軟體不同部分與階段的擴展性。
4. Flurry
Flurry是移動應用統計分析領域里的標桿，正因為在行業內獨特的優勢，它每年的營收高達一億美元。Flurry擁有非常全面的功能，不僅僅只是幫助開發者構建移動應用，它還幫助開發者分析所有的數據，進而產生更大的效益。其實數據也支撐了該公司的廣告網路，他們通過數據分析可以幫助開發者推送准確的廣告到需要的用戶面前。不過單純從移動應用的數據統計功能來看，Flurry絕對是處於領先地位。其功能模塊設置合理，分析維度全面，分析流程也易於理解。

㈦ 大數據模型建模方法

以下是常見的大數據模型建模方法：