产品开发数据收集用什么工具

A. 常用的大数据工具有哪些

未至科技魔方是一款大数据模型平台，是一款基于服务总线与分布式云计算两大技术架构的一款数据分析、挖掘的工具平台，其采用分布式文件系统对数据进行存储，支持海量数据的处理。采用多种的数据采集技术，支持结构化数据及非结构化数据的采集。通过图形化的模型搭建工具，支持流程化的模型配置。通过第三方插件技术，很容易将其他工具及服务集成到平台中去。数据分析研判平台就是海量信息的采集，数据模型的搭建，数据的挖掘、分析最后形成知识服务于实战、服务于决策的过程，平台主要包括数据采集部分，模型配置部分，模型执行部分及成果展示部分等。

未至科技小蜜蜂网络信息雷达是一款网络信息定向采集产品，它能够对用户设置的网站进行数据采集和更新，实现灵活的网络数据采集目标，为互联网数据分析提供基础。
未至科技泵站是一款大数据平台数据抽取工具，实现db到hdfs数据导入功能，借助Hadoop提供高效的集群分布式并行处理能力，可以采用数据库分区、按字段分区、分页方式并行批处理抽取db数据到hdfs文件系统中，能有效解决大数据传统抽取导致的作业负载过大抽取时间过长的问题，为大数据仓库提供传输管道。
未至科技云计算数据中心以先进的中文数据处理和海量数据支撑为技术基础，并在各个环节辅以人工服务，使得数据中心能够安全、高效运行。根据云计算数据中心的不同环节，我们专门配备了系统管理和维护人员、数据加工和编撰人员、数据采集维护人员、平台系统管理员、机构管理员、舆情监测和分析人员等，满足各个环节的需要。面向用户我们提供面向政府和面向企业的解决方案。
未至科技显微镜是一款大数据文本挖掘工具，是指从文本数据中抽取有价值的信息和知识的计算机处理技术,
包括文本分类、文本聚类、信息抽取、实体识别、关键词标引、摘要等。基于Hadoop
MapRece的文本挖掘软件能够实现海量文本的挖掘分析。CKM的一个重要应用领域为智能比对,
在专利新颖性评价、科技查新、文档查重、版权保护、稿件溯源等领域都有着广泛的应用。
未至科技数据立方是一款大数据可视化关系挖掘工具，展现方式包括关系图、时间轴、分析图表、列表等多种表达方式，为使用者提供全方位的信息展现方式。

B. 大数据分析一般用什么工具分析_大数据的分析工具主要有哪些

在大数据处理分析过程中常用的六大工具：

1、Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop还是可伸缩的，能够处理PB级数据。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

2、HPCC

HPCC，HighPerformanceComputingand(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的指槐芦计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

3、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣明余。

4、ApacheDrill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。ApacheDrill实现了Google'sDremel.

据Hadoop厂商MapR公司产品经理TomerShiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

5、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

6、PentahoBI

PentahoBI平台不同于传统的BI产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

1、大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。

2、这些数据集收集自各种各样的来源：

a、传感器、气候信息、公开的信息、如杂志、报纸、文章。

b、大数据产生的其他例子包括购买交易记录、网络日志、病历、事监控、视频和图像档案、及大型电子商务。

c、大数据分析是在研究大量的数据的过程中寻找模式，相关性和其他唯带有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。

C. 软件系统的数据采集有哪些简单好用的工具呢

如果要说软件系统的数据采集，还得用小 帮
软件数据的采集，网页数据的采集都可以用小帮来做，配置及其简单，使用方便，全程自动化处理，高效准确。
一切电脑的重复工作都可以交给小帮

D. 常见的大数据开发工具有哪些

1.Hadoop

Hadoop是一个由Apache基金会所开发的分布式体系基础架构。用户能够在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop是一个能够对很多数据进行分布式处理的软件结构。Hadoop 以一种牢靠、高效、可伸缩的方式进行数据处理。

2.Apache Hive

Hive是一个建立在Hadoop上的开源数据仓库基础设施，经过Hive能够很简略的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive供给了一种简略的类似SQL的查询言语—HiveQL,这为了解SQL言语的用户查询数据供给了便利。

3. Apache Spark

Apache Spark是Hadoop开源生态体系的新成员。它供给了一个比Hive更快的查询引擎，由于它依赖于自己的数据处理结构而不是依靠Hadoop的HDFS服务。一起，它还用于事情流处理、实时查询和机器学习等方面。

4. Keen IO

Keen IO是个强壮的移动应用分析东西。开发者只需要简略到一行代码， 就能够跟踪他们想要的关于他们应用的任何信息。开发者接下来只需要做一些Dashboard或者查询的工作就能够了。

5. Ambari

Apache Ambari是一种基于Web的东西，支撑Apache Hadoop集群的供给、管理和监控。Ambari已支撑大多数Hadoop组件，包含HDFS、MapRece、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

6. Flume

Flume是Cloudera供给的一个高可用的，高牢靠的，分布式的海量日志搜集、聚合和传输的体系，Flume支撑在日志体系中定制各类数据发送方，用于搜集数据;一起，Flume供给对数据进行简略处理，并写到各种数据接受方(可定制)的才能。

7.MapRece

MapRece是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Rece(归约)"，是它们的首要思维，都是从函数式编程言语里借来的，还有从矢量编程言语里借来的特性。它极大地便利了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式体系上。

关于常见的大数据开发工具有哪些，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

E. 数据分析采集的好用的软件工具有哪些

八爪鱼采集器，后羿采集器，webscraper，迷你派采集器，instant scraper等都是不错的采集工具。不过面向的客户不一样，看使用顺手程度吧。

F. 有哪些用来收集、分析和可视化数据的软件

一般有四种方案：

优势： 零成本

劣势： 最多可承载几万行数据；数据分析繁琐，可视化展示有限

Excel支持从数据填写、分析到可视化的一站式需求，对于基础的数据分析来说无比强大。但是，用Excel做数据可视化需要数据分析人员每天都要从公司不同的ERP、CRM、财务系统中导出大量数据，再将多个表格用vlookup和sumif进行关联计算，最后通过把可视化图表截图放到PPT里进行日报和周报汇报。适合数据量小，对数据分析维度要求低、展现形式要求低的工作。

优势：比Excel工作量小，可以支持权限管理

劣势：需要定制开发、单表最多可承载几十万行数据

报表系统是Excel的升级版，不需要复杂函数去进行数据分析，但同时，需要IT根据你的数据分析需求定制字段，用户只能看到定制字段的数据内容，如果要进行可视化，还是需要把

优势：支持联动、下钻、跳转等动态分析，单表可支持亿行数据

劣势：需要掌握Python、R语言等程序代码，略贵

BI首先可以对接多个系统的数据源，将所有数据整合到一个平台中进行全局分析。其次就是支持实时数据展示，分析维度和深度也远远强于报表系统，支持下钻、联动等数据交互。

优势：支持可视化自助分析（不需要代码拖拽式操作）、实时数据分析

劣势：等更新的产品出来可能应该就能找到了

同样支持从数据接入、数据清洗、数据分析到数据可视化的一站式操作，但是在用户使用层面强调低代码（或零代码）开发、无缝对接、灵活部署，比如用观远Smart ETL托拉拽进可以做分析看板，无需重新建模，赋能普通业务人员做数据分析的能力，让数据员有更多时间可以专注如何将分析与业务结合。并且，还可以借助AI算法的能力构建基于未来的分析模型，比如销售预测、智能排课等。

以下以观远智能BI为例，说下每一步是如何实现的。

1、数据收集

观远智能BI可无缝对接到企业各类信息化系统中，可对接几十种数据源，实现数据互通胡融，同时也支持在线填报或Excel导入等功能。

2、数据分析

观远是典型的自助式BI平台，可支持拖拽式操作，自助化分析，极大降低分析难度；赋能分析思维，让普通业务人员专注业务本身，使其快速成长为优秀的数据分析师！

3、数据可视化

目前，观远支持50余种图表类型，涵盖柱形图、双轴图、漏斗图、帕累托图等。在此基础上，延展出投屏、幻灯片等数据可视化呈现形式，满足绝大多数数据表达需求。在动态交互上支持钻取、联动、跳转等功能，可以实现一键点击即可层层剖析数据，发现问题。在可视化展示上又支持移动BI轻应用、数据大屏和web端三种模式。

展示几张用观远BI做出来的数据看板和大屏：

奥威软件的OurwayBI就是一款完整的BI智能数据可视化分析软件。它能通过爬虫、填报、ETL工具采集数据（支持全域数据），统一数据分析口径后，再通过智能分析功能、可视化图表完成数据可视化分析。最后，将分析结果直观易懂地展现出来。

从数据采集，到数据清洗整理以及智能分析，再到后面的数据可视化呈现，都能快速实现。并且OurwayBI还有一套覆盖多行业、主流ERP的标准解决方案，预设了包括财务、仓库等板块在内的数据分析模型，像金蝶/用友标准解决方案这类的，还能实现零开发呢！

而且奥威软件出品的OurwayBI的ETL工具是可全面可视化的，能给开发和维护提供不少便利。

至于，数据可视化的效果，如果你去奥威软件的demo平台看看，就能亲自体验在线自助分析。这里就先放几张BI数据可视化报表截图，作为个开胃菜简单感受下它的直观易懂。

我们公司用的是前嗅，他们家具有数据采集，数据清洗（挖掘），多维度分析及生成可视化图表等功能，当然，我们用得比较多的是数据采集的功能，有兴趣也可以看看他们的官网。

G. 有哪一些电商数据收集工具,是现在做电商运营用的多的

我是做二类电商的，用的是dataeye-edx。

不管是运营这一块，还是选品，都可以借助edx的数据。因为它提供的数据是多维度的，包含大盘、单品、广告素材、商家等数据。

拿广告投放这块来说。

在选广告渠道的时候都是得做前期投放测试的。edx的作用就在于，提供给我同类产品在各个渠道的投放数据可以做参考，让我快速筛选出投放效果好的平台，然后我就可以省去很多时间的试错成本。