大数据分析论坛

① 大数据时代的数据分析师该了解哪些事情

大数据时代的数据分析师该了解哪些事情
近几年来，大数据养精蓄锐，从刚开始的无人谈及，到现在的盛行谈论，就这样走进了公众的视野。什么是大数据呢?对于数据分析师，它有意味着什么?处在人人高谈的大数据时代，数据分析师该了解哪些内容，本文将为您解答。
用Google搜索了一下“BigData”，得到了19,600,000个结果……而使用同样的词语，在两年前你几乎搜索不到什么内容，而现在大数据的内容被大肆宣传，内容多得让人眼花缭乱。而这些内容主要是来自IBM、麦肯锡和O’Reilly ，大多数文章都是基于营销目的的夸夸其谈，对真实的情况并不了解，有些观点甚至是完全错误的。我问自己…… 大数据之于数据分析师，它意味着什么呢?如下图所示，谷歌趋势显示，与“网站分析”(web analytics)和”商业智能”(business intelligence)较为平稳的搜索曲线相比，“大数据”(big data)的搜索量迎来了火箭式的大幅度增长。
被神话的大数据
Gartner把“大数据”的发展阶段定位在“社交电视”和“移动机器人”之间，正向着中部期望的高峰点迈进，而现在是达到较为成熟的阶段前的二至五年。这种定位有着其合理性。各种奏唱着“大数据”颂歌的产品数量正在迅速增长，大众媒体也进入了“大数据”主题的论辩中，比如纽约时报的“大数据的时代“，以及一系列在福布斯上发布的题为” 大数据技术评估检查表“的文章。
进步的一面体现在
，大数据的概念正在促使内部组织的文化发生转变，对过时的“商务智能”形成挑战，并促进了“分析”意识的提升。
基于大数据的创新技术可以很容易地被应用到类似数据分析的各种环境中。值得一提的是，企业组织通过应用先进的业务分析，业务将变得更广泛、更复杂，价值也更高，而传统的网站分析受到的关注将会有所减弱。
大数据的定义
什么是“大数据”，目前并没有统一的定义。维基网络提供的定义有些拙劣，也不完整：“ 大数据，指的是所涉及的数据量规模巨大到无法通过主流的工具，在合理的时间内撷取、管理、处理、并整理成为人们所能解读的信息 “。
IBM 提供了一个充分的简单易懂的概述：
大数据有以下三个特点：大批量(Volume)、高速度(Velocity)和多样化(Variety) 。 大批量 – 大数据体积庞大。企业里到处充斥着数据，信息动不动就达到了TB级，甚至是PB级。 高速度 – 大数据通常对时间敏感。为了最大限度地发挥其业务价值，大数据必须及时使用起来。 多样化 – 大数据超越了结构化数据，它包括所有种类的非结构化数据，如文本、音频、视频、点击流、日志文件等等都可以是大数据的组成部分。 MSDN的布莱恩·史密斯在IBM的基础上增加了第四点： 变异性 – 数据可以使用不同的定义方式来进行解释。不同的问题需要不同的阐释。
从技术角度看大数据
大数据包括了以下几个方面：数据采集、存储、搜索、共享、分析和可视化，而这些步骤在商务智能中也可以找到。在皮特·沃登的“ 大数据词汇表 “中，囊括了60种创新技术，并提供了相关的大数据技术概念的简要概述。
获取 ：数据的获取包括了各种数据源、内部或外部的、结构化或非结构化的数据。“大多数公共数据源的结构都不清晰，充满了噪音，而且还很难获得。” 技术： Google Refine、Needlebase、ScraperWiki、BloomReach 。
序列化：“你在努力把你的数据变成有用的东西，而这些数据会在不同的系统间传递，并可能存储在不同节点的文件中。这些操作都需要某种序列化，因为数据处理的不同阶段可能需要不同的语言和API。当你在处理非常大量的记录时，该如何表示和存储数据，你所做的选择对你的存储要求和性能将产生巨大影响。 技术： JSON、BSON、Thrift、Avro、Google Protocol Buffers 。
存储 ：“大规模的数据处理操作使用了全新的方式来访问数据，而传统的文件系统并不适用。它要求数据能即时大批量的读取和写入。效率优先，而那些有助于组织信息的易于用户使用的目录功能可能就显得没那么重要。因为数据的规模巨大，这也意味着它需要被存储在多台分布式计算机上。“ 技术： Amazon S3、Hadoop分布式文件系统 。
服务器 ：“云”是一个非常模糊的术语，我们可能对它所表示的内容并不很了解，但目前在计算资源的可用性方面已有了真正突破性的发展。以前我们都习惯于购买或长期租赁实体机器，而现在更常见的情况是直接租用正运行着虚拟实例的计算机来作为服务器。这样供应商可以以较为经济的价格为用户提供一些短期的灵活的机器租赁服务，这对于很多数据处理应用程序来说这是再理想不过的事情。因为有了能够快速启动的大型集群，这样使用非常小的预算处理非常大的数据问题就可能成为现实。“ 技术： Amazon EC2、Google App Engine、Amazon Elastic Beanstalk、Heroku 。
NoSQL：在IT行为中，NoSQL(实际上意味着“不只是SQL”)是一类广泛的数据库管理系统，它与关系型数据库管理系统(RDBMS)的传统模型有着一些显著不同，而最重要的是，它们并不使用SQL作为其主要的查询语言。这些数据存储可能并不需要固定的表格模式，通常不支持连接操作，也可能无法提供完整的ACID(原子性—Atomicity、一致性—Consistency、隔离性—Isolation、持久性—Durability)的保证，而且通常从水平方向扩展(即通过添加新的服务器以分摊工作量，而不是升级现有的服务器)。 技术： Apache Hadoop、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort 。
处理 ：“从数据的海洋中获取你想要的简洁而有价值的信息是一件挑战性的事情，不过现在的数据系统已经有了长足的进步，这可以帮助你把数据集到转变成为清晰而有意义的内容。在数据处理的过程中你会遇上很多不同的障碍，你需要使用到的工具包括了快速统计分析系统以及一些支持性的助手程序。“ 技术： R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop 。 初创公司： Continuuity、Wibidata、Platfora 。
MapRece ：“在传统的关系数据库的世界里，在信息被加载到存储器后，所有的数据处理工作才能开始，使用的是一门专用的基于高度结构化和优化过的数据结构的查询语言。这种方法由Google首创，并已被许多网络公司所采用，创建一个读取和写入任意文件格式的管道，中间的结果横跨多台计算机进行计算，以文件的形式在不同的阶段之间传送。“ 技术： Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。
自然语言处理 ：“自然语言处理(NLP)……重点是利用好凌乱的、由人类创造的文本并提取有意义的信息。” 技术： 自然语言工具包Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais。
机器学习：“机器学习系统根据数据作出自动化决策。系统利用训练的信息来处理后续的数据点，自动生成类似于推荐或分组的输出结果。当你想把一次性的数据分析转化成生产服务的行为，而且这些行为在没有监督的情况下也能根据新的数据执行类似的动作，这些系统就显得特别有用。亚马逊的产品推荐功能就是这其中最著名的一项技术应用。“ 技术： WEKA、Mahout、scikits.learn、SkyTree 。
可视化 ：“要把数据的含义表达出来，一个最好的方法是从数据中提取出重要的组成部分，然后以图形的方式呈现出来。这样就可以让大家快速探索其中的规律而不是仅仅笼统的展示原始数值，并以此简洁地向最终用户展示易于理解的结果。随着Web技术的发展，静态图像甚至交互式对象都可以用于数据可视化的工作中，展示和探索之间的界限已经模糊。“ 技术： GraphViz、Processing、Protovis、Google Fusion Tables、Tableau 。
大数据的挑战
最近举行的世界经济论坛也在讨论大数据，会议确定了一些大数据应用的机会，但在数据共用的道路上仍有两个主要的问题和障碍。
1.隐私和安全
正如Craig & Ludloff在“隐私和大数据“的专题中所提到的，一个难以避免的危机正在形成，大数据将瓦解并冲击着我们生活的很多方面，这些方面包括私隐权、政府或国际法规、隐私权的安全性和商业化、市场营销和广告……试想一下欧盟的cookie法规，或是这样的一个简单情景，一个公司可以轻易地在社交网络上收集各种信息并建立完整的资料档案，这其中包括了人们详细的电子邮箱地址、姓名、地理位置、兴趣等等。这真是一件吓人的事情!
2.人力资本
麦肯锡全球研究所的报告显示 ，美国的数据人才的缺口非常大，还将需要140,000到190,000个有着“深度分析”专业技能的工作人员和1.500个精通数据的经理。寻找熟练的“网站分析”人力资源是一个挑战，另外，要培养自己的真正拥有分析技能的人员，需要学习的内容很多，这无疑是另一个大挑战。
大数据的价值创造
很多大数据的内容都提及了价值创造、竞争优势和生产率的提高。要利用大数据创造价值，主要有以下六种方式。
透明度 ：让利益相关人员都可以及时快速访问数据。实验 ：启用实验以发现需求，展示不同的变体并提升效果。随着越来越多的交易数据以数字形式存储，企业可以收集更准确、更详细的绩效数据。决策支持 ：使用自动化算法替换/支持人类决策，这可以改善决策，减少风险，并发掘被隐藏的但有价值的见解。创新 ：大数据有助于企业创造出新的产品和服务，或提升现有的产品和服务，发明新的商业模式或完善原来的商业模式。细分 ：更精细的种群细分，可以带来不同的自定义行为。
工业领域的增长 ：有了足够的和经过适当培训的人力资源，那些重要的成果才会成为现实并产生价值。
数据分析的机会领域
当“网站分析”发展到“数据智能“，毫无疑问，数据分析人员也工作也应该发生一些转变，过去的工作主要是以网站为中心并制定渠道的具体战术，而在将来则需要负责更具战略性的、面向业务和(大)数据专业知识的工作。
数据分析师的主要关注点不应该是较低层的基础设施和工具开发。以下几点是数据分析的机会领域：
处理：掌握正确的工具以便可以在不同条件下(不同的数据集、不同的业务环境等)进行高效的分析。目前网站分析专家们最常用的工具无疑是各类网站分析工具，大多数人并不熟悉商业智能和统计分析工具如Tableau、SAS、Cognos等的使用。拥有这些工具的专业技能将对数据分析人员的发展大有好处。
NLP：学习非结构化数据分析的专业技能，比如社交媒体、呼叫中心日志和邮件的数据多为非结构化数据。从数据处理的角度来看，在这个行业中我们的目标应该是确定和掌握一些最合适的分析方法和工具，无论是社会化媒体情感分析还是一些更复杂的平台。
可视化 ：掌握仪表板的展示技能，或者宽泛点来说，掌握数据可视化的技术是摆在数据分析师面前一个明显的机会(注：不要把数据可视化与现在网络营销中常用的“信息图”infographics相混淆)。
行动计划
在大数时代，其中一个最大的挑战将是满足需求和技术资源的供给。当前的“网站分析”的基础普遍并不足够成熟以支持真正的大数据的使用，填补技能差距，越来越多的“网站分析师”将成长为“数据分析师”。

② 大数据分析一般用什么工具分析

首先我们要了解java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。楼主是JAVA毕业的，这无疑是极好的开头和奠基啊，可谓是赢在了起跑线上，接收和吸收大数据领域的知识会比一般人更加得心应手。
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

③ 大数据攻略案例分析及结论

大数据攻略案例分析及结论

我们将迎来一个“大数据时代”。与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

｛研究结论｝

■大数据营销的本质是一个影响消费者购物前心理路径的问题，而这在大数据时代前很难做到。

■对于传统企业而言，要打通线上与线下营销，实现新的商业模式，如O2O等，离不开大数据。

■虽然大数据应用往往集中于大数据营销，但对于一些企业，大数据的应用早已超越了营销范畴，全面进入了企业供应链、生产、物流、库存、网站和店内运营等各个环节。

■对于大部分企业，由于数据分析人员与业务人员之间的彼此视角与思考方向不同，大数据分析和运营之间存在脱节情况，这是大数据无法用于企业运营最大的阻力

■对于大多数互联网公司来说，大数据量、大用户量是一个相互促进，强者越强的循环过程。

■对于大型互联网平台，大数据已经成为其生态循环中的血液，对于这些企业，最重要

的不是如何利用大数据改进自身运营，而是利用大数据更好地繁荣平台生态。

■对于平台企业，它们的大数据策略正逐渐从大数据运营，向运营大数据转变，前者和

后者的差别在于，前者只是运营改进的动力，而后者则成为企业实现未来战略的核心资源。

我们都已被反复告知：我们将迎来一个“大数据时代”。

大数据应用，将和云计算、3D打印这些技术变革一样，颠覆既有规则，并成为先行企业的制胜关键。

与变化相始终的中国企业，距离这场革命还有多远？而追上领先者又需要多快的步伐？

来自于互联网、移动互联网、物联网传感器、视频采集系统的数据正海量增长，汇成大数据的海洋，相伴的是海量数据存储、分析技术的突破性发展，所有这一切都给企业的应用带来了无限可能性。

中国企业家研究院对当前中国企业大数据应用的状况进行了归纳分类，以帮助企业了解实际应用大数据时的困局难点，并提供领先企业的典型案例以资借鉴。

表1

表2

大数据运营—企业提升效率的助推力

对于大多数企业而言，运营领域的应用是大数据最核心的应用，之前企业主要使用来自生产经营中的各种报表数据，但随着大数据时代的到来，来自于互联网、物联网、各种传感器的海量辩笑亏数据扑面而至。于是，一些企业开始挖掘和利用这些数据，来推动运营效率的提升。大数据运营应用中，大数据的应用分为三类：用于企业外部营销、用于内部运营，以及用于领导层决策。

一、大数据营销

大数据营销的本质是影响目标消费者购物前的心理路径，它主要应用在三个方面：1、大数据渠道优化，2、精准营销信息推送，3、线上与线下营销的连接。在消费者购物前，通过各种方式，直接介入其信息收集和决策过程。而这种介入，是建立在对于线上与线下海量用户数据分析的基础之上。相比传统狂轰滥炸或等客上门的营销，大数据营销无论在主动性和精准性方面，都有非常大的优势。它是目前主要的大数据应用领域。

大数据营销不仅仅是用大数据找出目标顾客，向其发布促销信息，它还可以做到：

实现渠道优化。根据用户的互联网痕迹进行渠道营销效果优化，就是根据互联网上顾客的行为轨迹来找出哪个营销渠道的顾客来源最多，哪个来源顾客实际购买量最多，是否是目标顾客等等，从而调整营销资源在各个渠道的投放。例如东风日产，它利用对顾客来源的追踪，来改进营销资源在各个网络渠道如门户网站、搜索和微博的投放。

精准营销信息携神推送。精准建立在对海量消费者的行为分析基础之上，消费者网络浏览、搜索行为被网络留下，线下的购买和查看等行为可以被门店的POS机和视频监控记录，再加上他们在购买和注册过程中留下的身份信息，在商家面前，正逐渐呈现出消费者信息的海洋。

一些企业通过收集海量的消费者信息，然后利用大数据建模技术，按消费者属升猛性（如所在地区、性别）和兴趣、购买行为等维度，挖掘目标消费者，然后进行分类，再根据这些，对个体消费者进行营销信息推送。比如孕妇装品牌十月妈咪通过对自己微博上粉丝评论的大数据分析，找出评论有“喜爱”相关关键词的粉丝，然后打上标签，对其进行营销信息推送。京东商城副总经理李曦表示：“用大数据找出不同细分的顾客需求群，然后进行相应的营销，是京东目前在做的事情。”小也化妆品将自身网站作为收集消费者信息的雷达，对不同消费者推荐相应的肌肤解决方案，创始人肖尚略希望在未来，大数据营销能替代网站的作用，真正成为面向顾客的前端。

打通线上线下营销。一些企业将互联网上海量消费者的行为痕迹数据与线下购买数据打通，实现了线上与线下营销的协同。比如东风日产，线上与线下的协同营销方式为：其门户网站带来订单线索，而通过这些线索，服务人员进行电话回访，从而推动顾客在线下交易。在此过程中，东风日产记录了消费者进入、浏览、点击、注册、电话回访和购买各个环节的数据，实现了一个横跨线上线下，以大数据分析为支持的，营销效果不断优化的闭环营销通路。而国双科技，衡量某一地区线下促销活动的效果，就是看互联网上，来自这个地区对于促销内容的搜索量。一些企业，通过鼓励线下顾客使用微信和Wi-Fi等可追踪消费者行为和喜好的设备，来打通线上与线下数据流，银泰百货计划铺设Wi-Fi，鼓励顾客在商场内使用，然后根据Wi-Fi账号，找出这个顾客，再通过与其它大数据挖掘公司合作，以大数据的手段，发掘这个顾客在互联网的历史痕迹，来了解这个顾客的需求类型。

二、大数据用于内部运营

相比大数据营销，大数据在内部运营中的应用更深入，对于企业内部的信息化水平，以及数据采集和分析能力的要求更高。本质上，是将企业外部海量消费者数据与企业内部海量运营数据联系起来，在分析中得到新的洞察，提升运营效率。（详见P96表5：大数据在内部运营中的应用）

表5

三、大数据用于决策

在大数据时代，企业面对众多新的数据源和海量数据，能否基于对这些数据的洞察，进行决策，进而将其变成一项企业竞争优势的来源？同大数据营销和大数据内部运营相比，运用大数据决策难度最高，因为它需要一种依赖数据的思维习惯。

已有少数企业开始尝试。比如国内一些金融机构在推出一个金融产品时，会广泛分析该金融产品的应用情况和效果、目标顾客群数据、各种交易数据和定价数据等，然后决定是否推出某个金融产品。

但是，中国企业家研究院在调研中发现，目前中国企业当中，大数据决策的应用非常之少，许多企业领导者进行决策时，仍习惯于凭借历史经验和直觉。

大数据产品——企业利润滋长的新源泉

大数据除了用于运营外，还能够与企业产品结合，成为企业产品背后竞争力的核心支持或者直接成为产品。提供大数据产品的企业分为两类，直接提供大数据产品的企业，以及将大数据作为产品和服务核心支撑的企业。前者主要为大数据产业链中提供数据服务的参与者，包括数据拥有者、存储企业，挖掘企业、分析企业等，后者则主要是那些以大数据为产品核心支撑的企业，它们大多是互联网企业，其产品和服务先天就有大数据基因，这些企业包括搜索引擎、在线杀毒、互联网广告交易平台以及众多植根于移动互联网之上，为用户提供生活和资讯服务的APP等。

表3

表4

一、大数据作为产品核心支持

它们主要在以下几方面使用大数据：

1、提供信息服务。很多互联网企业通过对海量互联网信息和线下信息的整合和分析，为个人和企业提供信息服务，典型的如网络、去哪儿、一淘、高德地图、春雨医生等等。在美国，一些互联网企业甚至根据大数据提供更深度的预测信息服务，美国科技创新公司farecast，通过分析特定航线机票的价格，帮助消费者预测机票价格走势。

2、分析用户的个性化需求，借此提供个性化产品和服务，或者实现更精准的广告。典型的有移动社交工具陌陌、网络、腾讯、广告交易平台品友互动以及一些互联网游戏商。这种应用往往先是收集海量用户的互联网行为数据，将用户分类，根据不同类型的用户，提供个性化的产品，或者提供个性化的促销信息。比如网易等门户网站推出了订阅模式，让使用者按照个人喜好方便地定制和整合不同来源的信息。

3、增强产品功能。对于很多互联网产品，如杀毒软件、搜索引擎等等，海量数据的处理能够让产品变得更聪明更强大，如果没有大数据，产品的功能就大大减弱。比如奇虎360公司的360杀毒软件，凭借每天海量的杀毒处理，建立了庞大的病毒库，这使它能够更快地发现病毒，而一些小的杀毒软件公司则无法做到这一点。

4、掌控信用状况，提供信贷服务。阿里巴巴上汇集了海量中小企业的日常资金与货品往来，通过对这些往来数据的汇总与分析，阿里巴巴能发现单个企业的资金流与收入情况，分析其信用，找出异常情况与可能发生的欺诈行为，控制信贷风险。

5、实现智能匹配。婚恋网站、交易平台等，利用大数据可以进行精准而高效的配对服务。网易花田会挖掘用户行为数据，比如点击哪些异性的页面，发表什么样的评论，建立用户兴趣模型，从而挖掘到用户所期待另一半的类型，然后主动推荐与对方匹配度比较高的人选。2010年，阿里巴巴尝试性地推出“轻骑兵”服务，由阿里巴巴将中国各产业集群地的供应商与海外买家的个性采购需求进行快速匹配，所凭借的，就是对供应商的海量交易数据信息的整合与挖掘。

二、大数据直接作为产品

对一些企业，大数据直接成为了产品，这些产品包括海量数据、分析、存储与挖掘的服务等，目前大数据产业链正在形成过程中，出现了一批开放、出售、授权大数据和提供大数据分析、挖掘的公司和机构，前者主要是一些拥有海量数据的公司，将数据服务作为新的盈利来源。如大型的互联网平台、民航、电信运营商、一些拥有大数据的政府机构等等，后者主要包括一些能够存储海量数据或者将海量数据与业务场景结合，进行分析和挖掘，或者提供相关产品的公司，如IBM、SAP、拓而思、天睿公司。它们为大数据应用者们提供海量数据存储、数据挖掘、图像视频、智能分析等服务以及相关系统产品。

大数据平台——企业群落繁荣的滋养剂

而网络已建成了包括网络指数、司南、风云榜、数据研究中心和网络统计在内的五大数据体系平台，帮助其营销平台上的企业了解消费者行为、兴趣变化，以及行业发展状况、市场动态和趋势、竞争对手动向等信息。

为解决这些问题，各个平台在积极地努力。比如阿里巴巴建立了数据委员会，在统一数据格式标准、从源头上保证数据的质量，采集和加工出精细化的数据，确保其能符合平台企业的应用场景等方面，不遗余力地尝试。尤其在大数据精细化方面，阿里巴巴更是作为其大数据战略的重点。这方面，腾讯目前也在加快步伐。比如新版腾讯网出现了“一键登录”的提示，用户可以在上面通过一些细分标签，订阅自己关注的内容。实际上，这也是腾讯收集更精细化的用户兴趣数据的一个有效手段。

Tips

大数据实战手册

将大数据应用于内部运营中时，企业会遇到一些常见问题

1企业如何获取与分析数据？

互联网是大数据的一个主要来源，一些线下的传统企业很难获得。但它们可以：

a和拥有或能抓取海量数据的平台、企业以及政府机构合作。比如淘宝上的电商就购买淘宝收集的海量数据中与自身运营相关的部分，用于自身业务。再如卡夫通过与IBM合作，在博客、论坛和讨论版的内容中抓取了47.9万条关于自己产品的讨论信息，通过大数据分析出消费者对卡夫食品的喜爱程度和消费方式。

b建立自己在互联网上的平台，比如朝阳大悦城利用自己的微信、微博等平台收集消费者评论数据。

c许多传统企业没有分析海量数据的能力，此时它们可以和大数据分析和挖掘公司合作，目前市场上已经有天睿公司、IBM、百分点、华胜天成等一批提供大数据分析和挖掘服务的公司，它们是传统企业进行大数据分析可以借助的力量。

2如何避免大数据应用时的部门分割？

对于许多企业，其信息流被各部门彼此分割，数据难以互通，对于这种情况下，大数据的共享和汇集就只是一个泡影，更难以实现大数据的深度应用。

要打通部门之间信息分割的局面，首先要建立统一的、集中的数据系统。就像立白信息与知识总监王永红所说的，“要真正用好大数据，企业要采用大集中的信息系统。”从更深入的角度来谈，企业信息流的部门分割，更在于企业部门之间的分割，比如有一些企业的营销按照渠道分割，导致对于顾客的大数据收集和分析效果大打折扣。

IBM智慧商务技术总监杨旭青认为，“很多时候由于组织结构问题，大数据分析有效性大大降低了。”这就需要组织与流程层面的重新设计，在这方面，阿里巴巴的部门负责人轮岗制度，对于打破部门壁垒无疑是一剂好药。而一些企业为了打破部门分割，建立了矩阵型的组织结构，强化部门间的横向合作，这些无疑为大数据的汇集、共享与应用创造了良好条件。

3如何让业务人员重视大数据的应用？

解决这个问题，一方面在于一把手对整个企业数据文化的倡导，比如1号店董事长于刚就要求业务人员无论在开会，还是汇报工作时，都以数据说话，而马云更是将大数据提升到了战略高度。

另一方面，也在于数据部门的带动，阿里巴巴数据委员会负责人车品觉分享了经验，“因为运营部门的业务人员很难看到大数据的潜力，可以首先从一些对业务见效快，见效显著的数据项目出发，通过一两个项目的成功，调动对方的积极性，然后再逐步一个个地引导。”

4为何大数据工作与运营需求脱节？

这往往是由于数据人员与业务人员视角、专业知识不同而导致的。大数据人员做了很多努力，但是业务人员却认为这些努力无关痛痒。如何解决这个问题？

有的企业从组织设计上发力，将大数据纳入业务分析部门的管理之下，用业务统驭数据。对于朝阳大悦城，由主要负责战略和经营分析的部门来管理大数据工作，其中的大数据分析人员则作为支持人员。在负责人张岩看来，大数据要靠商业法则指导，关键是找到业务需求的点，然后由数据分析和挖掘人员实现。在具体操作中，大悦城对微信的数据挖掘，挖掘什么样的关键词，由业务分析人员确定，而具体挖掘则由数据部门做；有的企业从流程设计上着手，推动业务部门与数据部门人员之间的沟通，建立数据人员工作与效果挂钩的考核机制。

例如阿里巴巴根据数据挖掘的成效（比如带来的商品转化率的提升）来考核数据挖掘师，考核数据分析师则看其分析结果能否出现在经营负责人的报告中。从数据部门自身角度则需要降低运营部门使用数据的障碍和门槛，比如立白集团的数据人员会努力尝试向运营部门提供更易懂、更生动的图形化数据分析界面，在立白老板办公室上，就有一份“客户运营健康体检表”，让老板对全国经销商的当月销售情况一目了然。再如阿里巴巴开发的无线Bi，让经营人员在手机上也可以看到大数据分析结果，拿车品觉的话说，“以数据之氧气包围经营人员。”

④ 大数据分析网站有哪些

数据熊猫(数据分析学习交流社区)数据熊猫社区是一个讨论大数据、数据分析、数据挖掘、统计分析软件(Excel、SPSS、SAS、hadoop等)商业智能、数据化管理、数据可视化等技术的爱好者...

36大数据(36大数据 | 关注大数据和大数据应用)36大数据是一个专注大数据、大数据技术与应用、大数据学习的科技门户。讲述大数据在电商、移动互联网、医疗、APP及金融银行的大数据应用案例。

统计之都(统计之都 (Capital of Statistics))中国统计学门户网站，免费统计学服务平台 | 做正直的统计学网站。

⑤ 如何正确进行数据分析

大数据分析处理解决方案

方案阐述

每天，中国网民通过人和人的互动，人和平台的互动，平台与平台的互动，实时生产海量数据。这些数据汇聚在一起，就能够获取到网民当下的情绪、行为、关注点和兴趣点、归属地、移动路径、社会关系链等一系列有价值的信息。

数亿网民实时留下的痕迹，可以真实反映当下的世界。微观层面，我们可以看到个体们在想什么，在干什么，及时发现舆情的弱信号。宏观层面，我们可以看到当下的中国正在发生什么，将要发生什么，以及为什么？借此可以观察舆情的整体态势，洞若观火。

原本分散、孤立的信息通过分析、挖掘具有了关联性，激发了智慧感知，感知用户真实的态度和需求，辅助政府在智慧城市，企业在品牌传播、产品口碑、营销分析等方面的工作。

所谓未雨绸缪，防患于未然，最好的舆情应对处置莫过于让舆情事件不发生。除了及时发现问题，大数据还可以帮我们预测未来。具体到舆情服务，舆情工作人员除了对舆情个案进行数据采集、数据分析之外，还可以通过大数据不断增强关联舆情信息的分析和预测，把服务的重点从单纯的收集有效数据向对舆情的深入研判拓展，通过对同类型舆情事件历史数据，及影响舆情演进变化的其他因素进行大数据分析，提炼出相关舆情的规律和特点。

大数据时代的舆情管理不再局限于危机解决，而是梳理出危机可能产生的各种条件和因素，以及从负面信息转化成舆情事件的关键节点和衡量指标，增强我们对同类型舆情事件的认知和理解，帮助我们更加精准的预测未来。

用大数据引领创新管理。无论是政府的公共事务管理还是企业的管理决策都要用数据说话。政府部门在出台社会规范和政策时，采用大数据进行分析，可以避免个人意志带来的主观性、片面性和局限性，可以减少因缺少数据支撑而带来的偏差，降低决策风险。通过大数据挖掘和分析技术，可以有针对性地解决社会治理难题；针对不同社会细分人群，提供精细化的服务和管理。政府和企业应建立数据库资源的共享和开放利用机制，打破部门间的“信息孤岛”，加强互动反馈。通过搭建关联领域的数据库、舆情基础数据库等，充分整合外部互联网数据和用户自身的业务数据，通过数据的融合，进行多维数据的关联分析，进而完善决策流程，使数据驱动的社会决策与科学治理常态化，这是大数据时代舆情管理在服务上的延伸。

解决关键

如何能够快速的找到所需信息，采集是大数据价值挖掘最重要的一环，其后的集成、分析、管理都构建于采集的基础，多瑞科舆情数据分析站的采集子系统和分析子系统可以归类热点话题列表、发贴数量、评论数量、作者个数、敏感话题列表自动摘要、自动关键词抽取、各类别趋势图表；在新闻类报表识别分析归类：标题、出处、发布时间、内容、点击次数、评论人、评论内容、评论数量等；在论坛类报表识别分析归类：帖子的标题、发言人、发布时间、内容、回帖内容、回帖数量等。

解决方案

多瑞科舆情数据分析站系统拥有自建独立的大数据中心，服务器集中采集对新闻、论坛、微博等多种类型互联网数据进行7*24小时不间断实时采集，具备上千亿数据量的数据索引、挖掘分析和存储能力，支撑政府、企业、媒体、金融、公安等多行业用户的舆情分析云服务。因此多瑞科舆情数据分析站系统在这方面有着天然优势，也是解决信息数量和信息（有价值的）获取效率之间矛盾的唯一途径，系统利用各种数据挖掘技术将产生人工无法替代的效果，为市场调研工作节省巨大的人力经费开支。

⑥ 如何运用大数据

我们如何使用大数据？
第一点，明确数据分析的目的
首先，您必须知道手中的数据要怎么处理，这意味着您需要清楚需求以及要从数据中获取什么。让我们以产品经理为例。当许多产品经理设计自己的产品时，他们可能会花费大量时间来设计产品，但是他们忽略了该产品是否可以成功。这很难满足客户的需求。因此，如果要最大化自己的数据的价值，则必须事先考虑要执行的操作。

第二点，必须扩大数据收集方式
关于数据收集，通常有四种方法。它们是从外部行业数据分析报告（例如iResearch）获得的；积极从社区论坛（如AppStore，客户服务反馈和微博）收集用户反馈；参加问卷调查设计和用户访谈等调查，收集并观察用户在使用产品时遇到的问题和感受的第一手数据；从记录的用户行为轨迹研究数据。

⑦ 人类进入数据化生存时代 大数据蕴含大价值

人类进入数据化生存时代 大数据蕴含大价值_数据分析师考试

移动互联技术的普及，将每一个人都纳入到互联网之中，并随之产生海量的数据。那么，这些数据意味着什么，对人类有何价值？这就是当前计算机领域最热门的“大数据”研究。10月20日，中国计算机学会大数据专家委员会成立，在随后的“大数据”论坛上，与会嘉宾认为，人类已经进入了一个“数据化生存”的时代，“大数据”中蕴含着巨大的价值，并且已经在日常生活中发挥着潜移默化的作用。

据经济之声《天下财经》报道，“数据”是什么？数据就是资源，它像空气和水、石油和煤炭一样，就在你的周围自然而然的存在着，你每一次点击鼠标，每一次刷卡消费，其实就已经参与到了数据的生成，可以说，每一个人既是数字的生产者，也是数据的消费者。英国帝国理工学院教授、海量数据分析专家郭毅可就是这种理念的坚定支持者。

郭毅可：以前数据不是人类的资源，现在数据是一种自然资源，和水、油、气一样，没有数据不能生活，这就是数据。

其实，数据一直存在，但为什么现在人们会如此重视它？美国罗格斯－新泽西州立大学商学院教授熊晖认为，这是因为当前的技术手段为“大数据”的收集和分析提供了保障。

熊晖：现在这个大数据，我们第一次有了这么精细的观测手段，比如说，以前我们不可能知道每一个人的地理信息，现在我可以非常精细的知道你每时每刻在什么地方出现，然后就可以产生非常精细化的数据，可以用来描述人、社会和整个环境的行为，这些东西我们了解的更深了，可以帮助我们减少社会的复杂度。

今年3月，美国奥巴马政府宣布了“大数据研究和发展计划”，并设立了2亿美元的启动资金，希望增强收集海量数据、分析萃取信息的能力，认为这事关美国的国家安全和未来竞争力，鼓励大学培养下一代的“大数据科学家”。

如果抛开政府行为，“大数据”分析其实早已经在商业领域大显身手。金蝶国际软件集团首席科学家张良杰介绍，他们参与搭建的全国中小企业信息平台，上面汇集了4000万家企业，通过对这些企业海量数据的挖掘和分析，能够对经济运行状况做出准确的预警，有助于国家相关部门做出应对决策。此外，张良杰还举例说，在微观经济领域，“大数据”的作用也越发凸显。

张良杰：(美国一家公司)把天气预报的信息和数据，利用跟天气相关的大数据，在亚马逊的云平台上做处理，然后可以帮助农业的种植者能够很好地保障他们的收益。另外一个领域就是在企业的管理上，大数据可以帮助他们做决策。

在金融领域，“大数据分析”早已经成为一种流派，在美国华尔街，对冲基金、股票分析、高频数据交易等领域，数据分析师都是最抢手的人才；在中国，阿里巴巴旗下的金融业务，也开始利用电子商务数据来发放“信用贷款”，发展势头迅猛。

中科院虚拟经济与数据科学研究中心副主任石勇，是人民银行征信系统的建立者之一，他介绍，“征信系统”也是大数据的一种应用，是一个国家金融业务开展的基础。

石勇：在座的每一个人在银行做的任何事，包括在ATM上取钱，数据都在里面，现在各个商业银行都在用你们的信用评分(这个模型就是我们算出来的)来做贷款处理，这个重要性就不用讲了，美国引发次贷危机的三大指标之一就是信用评分，我们连信用评分都没有，怎么把经济工作搞好？

还有学者预测，谁拥有了数据以及对数据的发掘能力，谁就将占领下一个十年全球经济发展的制高点。但是目前，我国大数据应用刚刚起步，基于大数据的商业模式还在萌芽阶段，从需求来看，很多产业对大数据的使用还没有意识，而供给一方，由于技术和人才储备上的落后，也缺乏深厚的数据分析手段来支撑需求。

此外，在制度层面，中国工程院院士、中国计算机学会大数据专家委员会主任李国杰提醒，当前我国大量的基础数据掌握在政府部门手中，今后要想不输在起跑线上，政府部门就要有更开放的姿态分享手中的数据。

李国杰：政府部门的数据共享一直是个软肋，国外有数据公开法等法律的规定，政府采购的信息要共享等等，相对来说执行的比价好，而中国由于部门的色彩(比较重)，这些大数据怎么共享利用这是要解决的大问题，也呼吁政府要尽快实现数据的共享，实现数据的开发。

以上是小编为大家分享的关于人类进入数据化生存时代 大数据蕴含大价值的相关内容，更多信息可以关注环球青藤分享更多干货

⑧ 一个企业，特别是电商类的，如何进行大数据分析

大数据不仅仅意味着数据大，最重要的是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。下面介绍大数据分析的五个基本方面——
预测性分析能力：数据挖掘可以让分析员更好地理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。
数据质量和数据管理：通过标准化的流程和工具对数据进行处理，可以保证一个预先定义好的高质量的分析结果。
可视化分析：不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求，可视化可以直观的展示数据，让数据自己说话，让观众听到结果。
语义引擎：由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析、提取、分析数据，语义引擎需要被设计成能够从“文档”中智能提取信息。
数据挖掘算法：可视化是给人看的，数据挖掘就是给机器看的，集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值，这些算法不仅要处理大数据的量，也要处理大数据的速度。
据我所知多瑞科舆情数据分析站大数据分析还可以。针对单个网站上的海量数据，无遗漏搜集整理归档，并且支持各种图文分析报告；针对微博或网站或微信，活动用户投票和活动用户评论互动信息整理归档，统计分析精准预测制造新数据；针对某个论坛版块数据精准采集，数据归类，出分析报告，准确定位最新市场动态；针对某个网站监测用户的操作爱好，评定最受欢迎功能；针对部分网站，做实时数据抽取，预警支持关注信息的最新扩散情况；针对全网数据支持定向采集，设置关键词搜集数据，也可以划分区域或指定网站搜集数据针对电商网站实时监测评论，归类成文档，支持出报告。
大数据会影响整个社会的发展，主要看是想要利用数据做什么了