產品開發數據收集用什麼工具

A. 常用的大數據工具有哪些

未至科技魔方是一款大數據模型平台，是一款基於服務匯流排與分布式雲計算兩大技術架構的一款數據分析、挖掘的工具平台，其採用分布式文件系統對數據進行存儲，支持海量數據的處理。採用多種的數據採集技術，支持結構化數據及非結構化數據的採集。通過圖形化的模型搭建工具，支持流程化的模型配置。通過第三方插件技術，很容易將其他工具及服務集成到平台中去。數據分析研判平台就是海量信息的採集，數據模型的搭建，數據的挖掘、分析最後形成知識服務於實戰、服務於決策的過程，平台主要包括數據採集部分，模型配置部分，模型執行部分及成果展示部分等。

未至科技小蜜蜂網路信息雷達是一款網路信息定向採集產品，它能夠對用戶設置的網站進行數據採集和更新，實現靈活的網路數據採集目標，為互聯網數據分析提供基礎。
未至科技泵站是一款大數據平台數據抽取工具，實現db到hdfs數據導入功能，藉助Hadoop提供高效的集群分布式並行處理能力，可以採用資料庫分區、按欄位分區、分頁方式並行批處理抽取db數據到hdfs文件系統中，能有效解決大數據傳統抽取導致的作業負載過大抽取時間過長的問題，為大數據倉庫提供傳輸管道。
未至科技雲計算數據中心以先進的中文數據處理和海量數據支撐為技術基礎，並在各個環節輔以人工服務，使得數據中心能夠安全、高效運行。根據雲計算數據中心的不同環節，我們專門配備了系統管理和維護人員、數據加工和編撰人員、數據採集維護人員、平台系統管理員、機構管理員、輿情監測和分析人員等，滿足各個環節的需要。面向用戶我們提供面向政府和面向企業的解決方案。
未至科技顯微鏡是一款大數據文本挖掘工具，是指從文本數據中抽取有價值的信息和知識的計算機處理技術,
包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop
MapRece的文本挖掘軟體能夠實現海量文本的挖掘分析。CKM的一個重要應用領域為智能比對,
在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
未至科技數據立方是一款大數據可視化關系挖掘工具，展現方式包括關系圖、時間軸、分析圖表、列表等多種表達方式，為使用者提供全方位的信息展現方式。

B. 大數據分析一般用什麼工具分析_大數據的分析工具主要有哪些

在大數據處理分析過程中常用的六大工具：

1、Hadoop

Hadoop是一個能夠對大量數據進行分布式處理的軟體框架。但是Hadoop是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop還是可伸縮的，能夠處理PB級數據。此外，Hadoop依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，HighPerformanceComputingand(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國實施信息高速公路而上實施的指槐蘆計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣明余。

4、ApacheDrill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。ApacheDrill實現了Google'sDremel.

據Hadoop廠商MapR公司產品經理TomerShiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、PentahoBI

PentahoBI平台不同於傳統的BI產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

1、大數據是一個含義廣泛的術語，是指數據集，如此龐大而復雜的，他們需要專門設計的硬體和軟體工具進行處理。該數據集通常是萬億或EB的大小。

2、這些數據集收集自各種各樣的來源：

a、感測器、氣候信息、公開的信息、如雜志、報紙、文章。

b、大數據產生的其他例子包括購買交易記錄、網路日誌、病歷、事監控、視頻和圖像檔案、及大型電子商務。

c、大數據分析是在研究大量的數據的過程中尋找模式，相關性和其他唯帶有用的信息，可以幫助企業更好地適應變化，並做出更明智的決策。

C. 軟體系統的數據採集有哪些簡單好用的工具呢

如果要說軟體系統的數據採集，還得用小 幫
軟體數據的採集，網頁數據的採集都可以用小幫來做，配置及其簡單，使用方便，全程自動化處理，高效准確。
一切電腦的重復工作都可以交給小幫

D. 常見的大數據開發工具有哪些

1.Hadoop

Hadoop是一個由Apache基金會所開發的分布式體系基礎架構。用戶能夠在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop是一個能夠對很多數據進行分布式處理的軟體結構。Hadoop 以一種牢靠、高效、可伸縮的方式進行數據處理。

2.Apache Hive

Hive是一個建立在Hadoop上的開源數據倉庫基礎設施，經過Hive能夠很簡略的進行數據的ETL,對數據進行結構化處理,並對Hadoop上大數據文件進行查詢和處理等。 Hive供給了一種簡略的類似SQL的查詢言語—HiveQL,這為了解SQL言語的用戶查詢數據供給了便利。

3. Apache Spark

Apache Spark是Hadoop開源生態體系的新成員。它供給了一個比Hive更快的查詢引擎，由於它依賴於自己的數據處理結構而不是依靠Hadoop的HDFS服務。一起，它還用於事情流處理、實時查詢和機器學習等方面。

4. Keen IO

Keen IO是個強壯的移動應用分析東西。開發者只需要簡略到一行代碼， 就能夠跟蹤他們想要的關於他們應用的任何信息。開發者接下來只需要做一些Dashboard或者查詢的工作就能夠了。

5. Ambari

Apache Ambari是一種基於Web的東西，支撐Apache Hadoop集群的供給、管理和監控。Ambari已支撐大多數Hadoop組件，包含HDFS、MapRece、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

6. Flume

Flume是Cloudera供給的一個高可用的，高牢靠的，分布式的海量日誌搜集、聚合和傳輸的體系，Flume支撐在日誌體系中定製各類數據發送方，用於搜集數據;一起，Flume供給對數據進行簡略處理，並寫到各種數據接受方(可定製)的才能。

7.MapRece

MapRece是一種編程模型，用於大規模數據集(大於1TB)的並行運算。概念"Map(映射)"和"Rece(歸約)"，是它們的首要思維，都是從函數式編程言語里借來的，還有從矢量編程言語里借來的特性。它極大地便利了編程人員在不會分布式並行編程的情況下，將自己的程序運行在分布式體繫上。

關於常見的大數據開發工具有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

E. 數據分析採集的好用的軟體工具有哪些

八爪魚採集器，後羿採集器，webscraper，迷你派採集器，instant scraper等都是不錯的採集工具。不過面向的客戶不一樣，看使用順手程度吧。

F. 有哪些用來收集、分析和可視化數據的軟體

一般有四種方案：

優勢： 零成本

劣勢： 最多可承載幾萬行數據；數據分析繁瑣，可視化展示有限

Excel支持從數據填寫、分析到可視化的一站式需求，對於基礎的數據分析來說無比強大。但是，用Excel做數據可視化需要數據分析人員每天都要從公司不同的ERP、CRM、財務系統中導出大量數據，再將多個表格用vlookup和sumif進行關聯計算，最後通過把可視化圖表截圖放到PPT里進行日報和周報匯報。適合數據量小，對數據分析維度要求低、展現形式要求低的工作。

優勢：比Excel工作量小，可以支持許可權管理

劣勢：需要定製開發、單表最多可承載幾十萬行數據

報表系統是Excel的升級版，不需要復雜函數去進行數據分析，但同時，需要IT根據你的數據分析需求定製欄位，用戶只能看到定製欄位的數據內容，如果要進行可視化，還是需要把

優勢：支持聯動、下鑽、跳轉等動態分析，單表可支持億行數據

劣勢：需要掌握Python、R語言等程序代碼，略貴

BI首先可以對接多個系統的數據源，將所有數據整合到一個平台中進行全局分析。其次就是支持實時數據展示，分析維度和深度也遠遠強於報表系統，支持下鑽、聯動等數據交互。

優勢：支持可視化自助分析（不需要代碼拖拽式操作）、實時數據分析

劣勢：等更新的產品出來可能應該就能找到了

同樣支持從數據接入、數據清洗、數據分析到數據可視化的一站式操作，但是在用戶使用層面強調低代碼（或零代碼）開發、無縫對接、靈活部署，比如用觀遠Smart ETL托拉拽進可以做分析看板，無需重新建模，賦能普通業務人員做數據分析的能力，讓數據員有更多時間可以專注如何將分析與業務結合。並且，還可以藉助AI演算法的能力構建基於未來的分析模型，比如銷售預測、智能排課等。

以下以觀遠智能BI為例，說下每一步是如何實現的。

1、數據收集

觀遠智能BI可無縫對接到企業各類信息化系統中，可對接幾十種數據源，實現數據互通胡融，同時也支持在線填報或Excel導入等功能。

2、數據分析

觀遠是典型的自助式BI平台，可支持拖拽式操作，自助化分析，極大降低分析難度；賦能分析思維，讓普通業務人員專注業務本身，使其快速成長為優秀的數據分析師！

3、數據可視化

目前，觀遠支持50餘種圖表類型，涵蓋柱形圖、雙軸圖、漏斗圖、帕累托圖等。在此基礎上，延展出投屏、幻燈片等數據可視化呈現形式，滿足絕大多數數據表達需求。在動態交互上支持鑽取、聯動、跳轉等功能，可以實現一鍵點擊即可層層剖析數據，發現問題。在可視化展示上又支持移動BI輕應用、數據大屏和web端三種模式。

展示幾張用觀遠BI做出來的數據看板和大屏：

奧威軟體的OurwayBI就是一款完整的BI智能數據可視化分析軟體。它能通過爬蟲、填報、ETL工具採集數據（支持全域數據），統一數據分析口徑後，再通過智能分析功能、可視化圖表完成數據可視化分析。最後，將分析結果直觀易懂地展現出來。

從數據採集，到數據清洗整理以及智能分析，再到後面的數據可視化呈現，都能快速實現。並且OurwayBI還有一套覆蓋多行業、主流ERP的標准解決方案，預設了包括財務、倉庫等板塊在內的數據分析模型，像金蝶/用友標准解決方案這類的，還能實現零開發呢！

而且奧威軟體出品的OurwayBI的ETL工具是可全面可視化的，能給開發和維護提供不少便利。

至於，數據可視化的效果，如果你去奧威軟體的demo平台看看，就能親自體驗在線自助分析。這里就先放幾張BI數據可視化報表截圖，作為個開胃菜簡單感受下它的直觀易懂。

我們公司用的是前嗅，他們傢具有數據採集，數據清洗（挖掘），多維度分析及生成可視化圖表等功能，當然，我們用得比較多的是數據採集的功能，有興趣也可以看看他們的官網。

G. 有哪一些電商數據收集工具,是現在做電商運營用的多的

我是做二類電商的，用的是dataeye-edx。

不管是運營這一塊，還是選品，都可以藉助edx的數據。因為它提供的數據是多維度的，包含大盤、單品、廣告素材、商家等數據。

拿廣告投放這塊來說。

在選廣告渠道的時候都是得做前期投放測試的。edx的作用就在於，提供給我同類產品在各個渠道的投放數據可以做參考，讓我快速篩選出投放效果好的平台，然後我就可以省去很多時間的試錯成本。