大量數據管理用什麼軟體

1. 大數據分析軟體有哪些

hadoop作為一款開源分布式集群常常被用於大數據分析後台數據存儲，但是並不能單獨作為分析工回具答。國內永洪科技bi工具Yonghong
Z-Suite
可以看作是大數據分析軟體，包含專業數據集市Yonghong
Z-Data
Mart
，是他們基於自己技術研發的，類似於hadoop
，然而查詢和計算速度更快，適合用於大數據實時分析。

2. 哪些軟體適合企業做大數據分析用

大數據分析工具——HadoopHadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作...
2.
大數據分析工具——思邁特軟體Smartbi融合傳統BI、自助BI、智能BI，滿足BI定義所有階段的需求；提供數據連接、數據准備、數據分析、數據應用等全流程功能；提供復雜報表、數據可視化、自助探索分析、機器學習建模、

3. 大數據處理軟體用什麼比較好

常見的數據處理軟體有Apache Hive、SPSS、Excel、Apache Spark、Jaspersoft BI 套件。

1、Apache Hive

Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive提供了一種簡單的類似SQL的查詢語言—HiveQL,這為熟悉SQL語言的用戶查詢數據提供了方便。

數據分析與處理方法：

採集

在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。

並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。

統計/分析

統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的大量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等。

而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。

導入/預處理

雖然採集端本身會有很多資料庫，但是如果要對這些大量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。

也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。

4. 大數據時代的數據管理可以使用哪些軟體

傳統的數據管理，通常要根據業務需要，設計一個基於關系資料庫的應用程序。這樣的系統可以根據一個或者多個數據的特徵以及組合關聯進行查詢和分析，但是缺點是表結構固定、擴展困難、也不通用、只能局限在特定的專有應用場景。在強關聯的數據應用場景下，海量數據條目難以分庫分表，查詢效率會急劇下降，遇到數十億數據條目的時候有可能永遠也得不到結果。
進化型的數據管理採用分布式的半結構化資料庫，（比如使用文檔資料庫MongoDB，KV資料庫Cassendra或者Redis），這樣看起來擴展性好很多，但是當面臨大規模強關聯數據進行關聯分析和查詢的時候異常困難。
但是如果文件系統包含了數十億的文件和數億的目錄，想要快速發現數據，還需要對於數據特徵的標准特徵（例如名字、路徑、大小、訪問時間等）或者應用定義的特徵標簽關聯組合，有效管理數據。
極道的數據管理系統Metaview通過高級的圖引擎來解決這個問題。Metaview把數據和數據特徵都作為點，所有的特徵和數據的關聯，以及數據和數據的關聯作為邊構成了一個龐大的復雜圖。這個圖裡面有數十億個點，也有數十億條邊，通過把這個圖切分成多個小局部圖，分布式的存儲在多個計算資源上，在局部圖和局部圖的關聯之處做特殊處理，利用高級演算法進行並行分析，可以實現大規模、強關聯數據特徵的實時分析。
存儲系統原生的數據感知系統MetaHunter既不需要進行存儲系統掃描，也不需要網關，系統能夠自動將所有的數據特徵和變化動作捕捉到Metaview的後端圖引擎中進行索引。但這需要數據管理系統和存儲系統緊密配合，因為數據管理的特徵感知系統Metahunter的一部分邏輯是在存儲系統中實現的。
數據管理系統Metaview, 1秒內能夠從10億個文件、1億個目錄的文件系統中，根據任意標簽、名字等復雜組合條件快速發現任意指定數據，全量數據統計20秒完成，復雜全量數據分析5分鍾內完成。
極道數據管理系統MetaView結合計算數據流系統Achelous、分布式存儲系統ANNA/ALAMO組成的「三駕馬車」彼此相互配合協同，能夠有效將企業級用戶應用產生的海量數據轉化為數據資產。

5. 大數據專業都需要學習哪些軟體啊

大數據處理分析能力在21世紀至關重要。使用正確的大數據工具是企業提高自身優勢、戰勝競爭對手的必要條件。下面讓我們來了解一下最常用的30種大數據工具，緊跟大數據發展腳步。

第一部分、數據提取工具
Octoparse是一種簡單直觀的網路爬蟲，可以從網站上直接提取數據，不需要編寫代碼。無論你是初學者、大數據專家、還是企業管理層，都能通過其企業級的服務滿足需求。為了方便操作，Octoparse還添加了涵蓋30多個網站的「任務模板 (Task Templates)」，操作簡單易上手。用戶無需任務配置即可提取數據。隨著你對Octoparse的操作更加熟悉，你還可以使用其「向導模式 (Wizard Mode)」來構建爬蟲。除此之外，大數據專家們可以使用「高級模式 (Advanced Mode)」在數分鍾內提取企業批量數據。你還可以設置「自動雲提取 (Scheled Cloud Extraction)」，以便實時獲取動態數據，保持跟蹤記錄。

02

Content Graber

Content Graber是比較進階的網路爬網軟體，具有可用於開發、測試和生產伺服器的編程操作環境。用戶可以使用C#或VB.NET調試或編寫腳本來構建爬蟲。Content Graber還允許你在爬蟲的基礎上添加第三方擴展軟體。憑借全面的功能，Content Grabber對於具有基本技術知識的用戶來說功能極其強大。
Import.io是基於網頁的數據提取工具。Import.io於2016年首次啟動，現已將其業務模式從B2C轉變為B2B。2019年，Import.io並購了Connotate，成為了一個網路數據集成平台 (Web Data Integration Platform)。憑借廣泛的網路數據服務，Import.io成為了商業分析的絕佳選擇。
Parsehub是基於網頁的數據爬蟲。它可以使用AJax，JavaScript等等從網站上提取動態的的數據。Parsehub提供為期一周的免費試用，供用戶體驗其功能。
Mozenda是網路數據抓取軟體，提供企業級數據抓取服務。它既可以從雲端也可以從內部軟體中提取可伸縮的數據。
第二部分、開源數據工具

01Knime

KNIME是一個分析平台，可以幫助你分析企業數據，發現潛在的趨勢價值，在市場中發揮更大潛能。KNIME提供Eclipse平台以及其他用於數據挖掘和機器學習的外部擴展。KNIME為數據分析師提供了2,000多個模塊。

02OpenRefine（過去的Google Refine）是處理雜亂數據的強有力工具，可用於清理、轉換、鏈接數據集。藉助其分組功能，用戶可以輕松地對數據進行規范化。

03R-Programming

R大家都不陌生，是用於統計計算和繪制圖形的免費軟體編程語言和軟體環境。R語言在數據挖掘中很流行，常用於開發統計軟體和數據分析。近年來，由於其使用方便、功能強大，得到了很大普及。

04RapidMiner

與KNIME相似，RapidMiner通過可視化程序進行操作，能夠進行分析、建模等等操作。它通過開源平台、機器學習和模型部署來提高數據分析效率。統一的數據科學平台可加快從數據准備到實施的數據分析流程，極大地提高了效率。
第三部分、數據可視化工具

01

Datawrapper

Microsoft PowerBI既提供本地服務又提供雲服務。它最初是作為Excel附加組件引入的，後來因其強大的功能而廣受歡迎。截至目前，它已被視為數據分析領域的領頭羊，並且可以提供數據可視化和商業智能功能，使用戶能夠以較低的成本輕松創建美觀的報告或BI儀錶板。

02

Solver

Solver專用於企業績效管理 (CPM) 數據可視化。其BI360軟體既可用於雲端又可用於本地部署，該軟體側重於財務報告、預算、儀錶板和數據倉庫的四個關鍵分析領域。

03

Qlik

Qlik是一種自助式數據分析和可視化工具。可視化的儀錶板可幫助公司有效地「理解」其業務績效。
04

Tableau Public



Tableau是一種互動式數據可視化工具。與大多數需要腳本的可視化工具不同，Tableau可幫助新手克服最初的困難並動手實踐。拖放功能使數據分析變得簡單。除此之外，Tableau還提供了入門工具包和豐富的培訓資源來幫助用戶創建報告。

05

Google Fusion Tables

Fusion Table是Google提供的數據管理平台。你可以使用它來收集，可視化和共享數據。Fusion Table與電子表格類似，但功能更強大、更專業。你可以通過添加CSV，KML和電子表格中的數據集與同事進行協作。你還可以發布數據作品並將其嵌入到其他網路媒體資源中。

06

Infogram

Infogram提供了超過35種互動式圖表和500多種地圖，幫助你進行數據可視化。多種多樣的圖表（包括柱形圖，條形圖，餅形圖和文字雲等等）一定會使你的聽眾印象深刻。

第四部分、情感分析工具

01

HubSpot』s ServiceHub

HubSpot具有客戶反饋工具，可以收集客戶反饋和評論，然後使用自然語言處理 (NLP) 分析數據以確定積極意圖或消極意圖，最終通過儀錶板上的圖形和圖表將結果可視化。你還可以將HubSpot』s ServiceHub連接到CRM系統，將調查結果與特定聯系人聯系起來。這樣，你可以識別不滿意的客戶，改善服務，以增加客戶保留率。

02

Semantria

Semantria是一款從各種社交媒體收集帖子、推文和評論的工具。Semantria使用自然語言處理來解析文本並分析客戶的態度。通過Semantria，公司可以了解客戶對於產品或服務的感受，並提出更好的方案來改善產品或服務。

03

Trackur

Trackur的社交媒體監控工具可跟蹤提到某一用戶的不同來源。它會瀏覽大量網頁，包括視頻、博客、論壇和圖像，以搜索相關消息。用戶可以利用這一功能維護公司聲譽，或是了解客戶對品牌和產品的評價。

04

SAS Sentiment Analysis



SAS Sentiment Analysis是一款功能全面的軟體。網頁文本分析中最具挑戰性的部分是拼寫錯誤。SAS可以輕松校對並進行聚類分析。通過基於規則的自然語言處理，SAS可以有效地對消息進行分級和分類。

05

Hootsuit Insight

Hootsuit Insight可以分析評論、帖子、論壇、新聞站點以及超過50種語言的上千萬種其他來源。除此之外，它還可以按性別和位置對數據進行分類，使用戶可以制定針對特定群體的戰略營銷計劃。你還可以訪問實時數據並檢查在線對話。

第五部分、資料庫

01

Oracle



毫無疑問，Oracle是開源資料庫中的佼佼者，功能豐富，支持不同平台的集成，是企業的最佳選擇。並且，Oracle可以在AWS中輕松設置，是關系型資料庫的可靠選擇。除此之外，Oracle集成信用卡等私人數據的高安全性是其他軟體難以匹敵的。

02

PostgreSQL

PostgreSQL超越了Oracle、MySQL和Microsoft SQL Server，成為第四大最受歡迎的資料庫。憑借其堅如磐石的穩定性，它可以處理大量數據。

03

Airtable

Airtable是基於雲端的資料庫軟體，善於捕獲和顯示數據表中的信息。Airtable提供一系列入門模板，例如：潛在客戶管理、錯誤跟蹤和申請人跟蹤等，使用戶可以輕松進行操作。

04

MariaDB

MariaDB是一個免費的開源資料庫，用於數據存儲、插入、修改和檢索。此外，Maria提供強大的社區支持，用戶可以在這里分享信息和知識。

05

Improvado

Improvado是一種供營銷人員使用自動化儀錶板和報告將所有數據實時地顯示在一個地方的工具。作為營銷和分析領導者，如果你希望在一個地方查看所有營銷平台收集的數據，那麼Inprovado對你再合適不過了。你可以選擇在Improvado儀錶板中查看數據，也可以將其通過管道傳輸到你選擇的數據倉庫或可視化工具中，例如Tableau、Looker、Excel等。品牌，代理商和大學往往都喜歡使用Improvado，以大大節省人工報告時間和營銷花費。

6. 公司大量的數據一般用什麼軟體管理比較好，類似office裡面的excel

數據量大，大到什麼程度？EXCEL做數據數匯總出各種報表非常好用（但一個表數據條數只5萬多）。再多就用office裡面的ACCESS這個可以開發小型的資料庫，也可以利用裡面的窗體自己設計小程序，查詢模塊也非常方便。如果很復雜就建議去買個小軟體。軟體有千萬種，就看你是用來做什麼的