深港大数据论坛

❶ 认清现实吧 中国大数据产业的痛点和困难

认清现实吧 中国大数据产业的痛点和困难

大数据作为一个新兴的产业，一直在处于舆论的风口浪尖。就像互联网＋的概念一样，大数据被神话了，被送上了“宗教”的神坛。大数据企业总是有一个担心，生怕大数据被捧得的太高，将来可能会被摔的很惨。

2015年中国大数据产业的热度从贵阳大数据交易所开始，到9月国务院的2015第50号文《促进大数据发展行动纲要》进入高峰，相信10月份的乌镇互联网大会上，大数据还会是一个大的热点。

大数据论坛上，数据产品和解决方案被介绍的很多。数据给企业带来的具体价值、数据应用场景、大数据产业的痛点介绍的很少。中国大数据产业经历着很多痛苦，大数据产业前景很好，但是大数据企业却很难做大，很难实现质的飞跃。中国大数据产业的痛点和困难如下。

中国大数据企业大概有200多家，将近60%集中在北京，以小微企业为主，年销售额达到十亿人民币的企业几乎没有。大数据产业处于春秋时代早期，各家诸侯割地而立，每家占领了一块小的细分领域，很难做大，都面临着同行的激烈竞争，有的领域例如舆情监控已成为红海。

大数据企业人数大多在几十人到几百人，少有千人以上的企业。没有一家大数据企业可以统领一个行业，没有一家企业占有细分市场10%的份额，没有一家大数据企业建立了行业标准，领导行业发展。

中国大数据产业处于极度分散状态，优秀的人才分布在不同企业，很难形成人才合力。各家企业规模小，很难在企业做深做大，很难利用大数据帮助企业实现业务提升。大多数企业的工具和数据很难满足企业整体的数据要求，中国的数据挖掘和分析产品也很难和国外的产品进行竞争。

大数据产业如果要形成产业优势，必须需要一批领军企业。参考国外大数据产业，中国在大数据基础架构，数据产品，数据工具、数据清洗和数据挖掘、数据分析、数据人才都需要产生一批标杆企业。每个领军企业都规模应该在千人以上，销售额应该在百亿以上，否则很难形成技术和人才优势，也很难利用大数据帮助客户实现业务提升。

贵阳大数据交易所《2015年中国大数据交易白皮书》提到2014年中国大数据市场规模为767亿元。这个数字看上去不错，估计其实真正和大数据工具和大数据产品相关的不足20%（业务价值提升）。大多数的经费都用于大数据基础平台（存储和计算）、咨询、报告等和业务价值提升相关度不大的领域。中国大数据市场销售额大多数集中在传统的IT企业例如IBM，Oracle，EMC，Intel，华为，联想等。真正大数据企业所有市场份额加起来可能就在百亿元左右。

中国大数据企业规模过小，领军企业缺少，行业过于分散，这些都是制约中国大数据产业发展的因素，也是产业做大的一个痛点。

数据是大数据产业发展的基础，具有商业价值的数据可以帮助企业洞察客户、数字化运营、风险管控、精准营销、预测和决策等。具有商业价值的数据和商业分析真正能够帮助企业提升业务，创造出新的价值。

中国的大数据市场还不成熟，很多大数据企业拥的数据都是片段的数据，很难形成完整的，具有商业价值的数据。大数据市场的数据质量和企业的数据需求有较大的差距。外部数据大多处于孤岛状态，数据之间很少流动和整合；孤立、不流动、没有整合的数据很难帮到企业，很多需要数据的企业不得不从多个大数据企业采购数据，效率很低，采购来的数据价值不高，数据整合的难度较大，数据采购的整体费用过高。

大家都看到了数据分散的弊端，于是很多地方都建立了大数据交易市场，帮助大家进行数据交易和数据采购。由于缺少法律保护，很多企业不太想在交易市场进行数据交易，往往还是采用一对一的数据交易，这种交易方式可以保护交易双方的利益。具有商业价值的数据还在开发中，大数据交易市场，缺少大量可以进行交易的数据。大数据交易市场这种商业模式，还需要用很长的时间去证明。

中国质量最好的数据在金融行业、BAT、电信运营商，这些企业比较谨慎，很难向外部输出数据。这三大行业自身的主营业务也不在数据，其数据产品生产和输出的愿望也不强烈。政府的数据正在逐步开放，但是其数据质量、集中度、输出方式等多存在很大多挑战。在中国大规模的数据开放，至少需要3年时间才能达到商业应用要求。

大多数企业对数据有需求，但是其对数据商业敏感度很低。对数据商业应用的场景以及数据技术了解很少。即使是数据商业敏感度较高的银行，至少要沟通三次以上，其才能够建立起数据价值理念。其他行业例如制造业，房地产业，零售业，他们的数据商业敏感度更低。甚至万科的王石也大声疾呼，不要和房地产业谈大数据应用，房产行业数据还不全，很多还是手工数据。于是某个领先的电商开始帮助万科进行数据规划建设，研究大数据在房地产行业的应用。

已有的大数据企业商业案例中，大部分都是大数据企业主动去找客户谈合作，为企业提供数据产品、数据工具或数据技术，目的是帮助企业提升业务。但是这种商业模式很累，市场很难被引爆，被动的数据商业应用，往往和业务结合较弱，无法迅速帮助企业利用数据提升业务，同时也无法解决业务发展瓶颈。

企业内部人士深度了解业务需求，他们缺少的是市场数据和消费者反馈，缺少的数据分析方法和工具。企业内部人士更应该成为大数据商业应用的主力，参加一些行业活动，从需求出发，主动寻找数据和解决方案。移动互联网时代，商业竞争策略很清晰，一个是快，一个是要利用数据进行决策。

大数据产业的发展，不仅仅是大数据企业自身的事情，也是各家企业自身的事情。企业客户也应该依据业务需要，主动到市场寻找数据和解决方案，提升数据商业敏感度，从业务场景出发，寻找具有价值的数据。

市场上所有大数据企业和客户都面临一个难题，就是数据解决方案同客户业务结合的深度不够，数据对业务整体推动效果不如期望，这也是大数据产业爆发的一个痛点。由于外部数据质量、企业用户数据敏感度、企业管理方式、商业数据人才等问题，大数据解决方案很难和业务深度结合。

大数据核心价值就是揭示事务发展规律，帮助企业利用数据进行科学决策。目前大数据的商业应用领域主要集中在数据采集、数据存储、数据计算、用户画像、精准营销等领域。大数据最具商业价值的预测和辅助决策功能并没有被充分利用。特别是在重大战略决策方面，大数据的作用并不明显。企业的产品开发，市场策略，战略决策还是依靠过去的精英决策和经验主义。未来社会只有两类企业，一种是利用数据发展的企业，另外一种是不重视数据被淘汰的企业。

大数据企业如果想发展壮大，如果想成为行业领先的企业，其必须放弃短期利益，深入到客户的运营中去，了解客户的数据，了解客户的业务，了解客户的商业需求。同时利用数据了解客户，了解市场，了解业务场景。数据和业务深度结合的核心是掌握正确的数据、正确的方法、正确的工具。业务人员要懂数据，技术人员要懂业务。复合型数据人才是数据生意的关键，业务人员掌握数据技术的门槛较高，但是技术人员了解业务的门槛很低，复合性人才倾向于从技术人才培养开始。

企业内部的数据人才和大数据企业的数据人才需要互相学习，了解对方环境和需求，在同一个平台上进行对话和沟通。数据团队需要深入了解业务场景和背后的规律，从业务出发，从场景出发，从数据出发，将大数据解决方案同业务深度结合，利用数据推动业务发展，发挥大数据预测规律的核心价值。

传统的数据挖掘工具和BI系统存在很久了，通过各类报表展示，让管理层了解企业运营信息，过去的确帮助企业提高管理水平，达到了预期目的。

在大数据时代，企业需要的是实时数据，需要的是高效工具，需要的是决策支持和预测。传统的数据挖掘工具的性能和灵活性已经不能满足企业的需要，另外非机构化数据的应用也对传统数据工具提出了挑战。BI领域中的SAS，SPSS，TD等数据工具越来越被边缘化，R语言正在成为数据统计和可视化的新宠。

数据的时间价值正在得到重视，特别是金融企业，所有的业务部门都期望在最短的时间里，看到资金使用情况，客户交易情况，风险管控情况。企业越早了解信息，就会越早进行决策，时间就是Money。过去数据需求可能是T＋5或者T＋30，现在的数据需求往往是T＋1或者T＋0，数据实时性、准确性、相关度被提到了一个非常重要的地位。业务的需求已经很明显了，但是数据工具和人才却是一个很大的挑战。

中国200多家大数据企业，看到了大数据产业的曙光，看到了大数据产业的价值，同时也在经历着大数据企业的痛苦。大数据产业发展很快，市场正在逐步变大，但是其产业优势不明显，优势企业很少，数据商业化较慢，市场还不成熟，客户数据商业敏感度较低，缺乏高质量数据工具和人才。所有大数据企业内心的感受就是，站在了时代的风口，选对了方向和行业，但是发展壮大还是很难。200多家大数据企业正在努力耕耘着大数据产业，痛并快乐着。

以上是小编为大家分享的关于认清现实吧 中国大数据产业的痛点和困难的相关内容，更多信息可以关注环球青藤分享更多干货

❷ 用好大数据推进“智慧城市”建设

用好大数据推进“智慧城市”建设

大数据已在很多领域被广泛应用，各行各业都受到大数据的强烈冲击。在这样的背景下，中国国际大数据创新发展论坛于23日在深圳召开，此次大会意在激发创新创业活力，鼓励企业发掘和利用数据资源，促进创新链和产业链深度融合，推动大数据发展与科研创新的有机结合，最终形成大数据驱动型的科研创新模式。

而随着大数据时代的到来，深圳也开始进入利用大数据构建智慧城市的进程中。与会专家建议，深圳有良好的大数据建设基础，构建智慧城市一定要用好大数据。

深企将从IT时代走向DT时代

深圳的民营企业众多，大数据对这些民营企业意味着什么？民营企业又如何抓住大数据时代的机遇？正威国际集团董事局主席王文银在演讲时讲了一个“尿布与啤酒”的案例。

“这个‘啤酒与尿布’故事启发我们，大数据让我们可能有全新的视角来发现新的商业机会和重构新的商业模式。今后企业的市场营销活动会更有针对性和精准性。”王文银说。

作为深圳一家知名民营企业的掌舵人，王文银结合正威的实践指出，各行各业开始数字化、互联网化，越来越多的企业将投入到这场伟大的数据革命之中。作为国家级创新城市，深圳市在政策和具体行动上给予大数据产业大力的支持；同时，一大批从事大数据产业实践的知名企业在深圳扎根，也为这个产业发展创造了得天独厚的条件。

王文银分析认为，大数据能让企业精准地生产和服务。它将重构行业商业思维和商业模式。未来的企业将从业务驱动型转变成价值驱动型，而判断价值主要是通过大数据分析，让数据来告诉企业需求在哪、机会在哪、价值在哪。此外，王文银认为，大数据使企业真正实现从过去的以自我为中心转变为以客户为中心，与此同时，大数据一定程度上将颠覆企业的传统管理方式。

“深圳民营经济最有活力，作为其中的一员，正威也正走在通向大数据的路上。目前，集团正在打造大数据互联网生态链。”王文银表示，“预计在5年左右，深圳的企业将从IT时代走向DT时代，因此民营企业一定要抓住大数据时代的机遇。”

大数据是建设智慧城市的源泉

深圳正在构建智慧城市。大数据在智慧城市建设中将扮演怎样的角色？中国智慧城市专家委员会首席科学家李林分享了来自新加坡的经验。他指出，新加坡大数据产业的发展有它自己的规划，一些经验值得深圳借鉴。

李林在新加坡长期研究的是数据信息和知识之间的关系。他认为，新加坡在智慧城市建设方面之所以做得好，得益于他们在35年前就开始构建大数据，“他们整个智慧城市的建设过程其实反映的就是大数据建设的一个过程”。

李林介绍，无论住房、医疗还是教育，在新加坡都是用数据说话。在新加坡租房、买房、入学、看病，根本不需要提供一大堆证件证明，老百姓都不用做任何事情，只要报一个身份证号码就可以了，因为政府早就建好了一个城市管理的大数据系统。“新加坡为了管理好大数据，他还给每一个公民和临时来的暂住者发一个数据代码，这个数据代码会跟你在新加坡所有的社会证件相关联，比如说跟你的中国护照关联。你在新加坡必须使用这个数据代码，因为这个代码会跟你所有的大数据关联，影响到你生活的衣食住行。”

针对现在包括像深圳、上海、北京这样的国内城市也在纷纷推广智慧城市建设，李林指出，新加坡在大数据的建设方面非常有远见。事实上，新加坡在构建城市大数据的时候，首先会充分了解老百姓的需求，通过城市居民在需求上的大数据来构建城市管理，所以现在新加坡人生活得很幸福，这一点很值得深圳学习。“实际上智慧城市建设涉及城市的各个领域、各个产业，大数据是建设智慧城市的源泉，深圳要构建智慧城市，就要把大数据跟智慧城市关联起来”。

深圳有良好的大数据建设基础

城市的智慧建设离不开大数据建设，深圳大数据建设的环境如何，与其他一线城市比，深圳的大数据建设有哪特点？深圳市大数据产业发展促进会秘书长彭向阳指出，与北方的一线城市比，深圳尽管没有丰富的政府资源，但这个以创新为特点的城市在建设大数据领域拥有得天独厚的条件。

彭向阳介绍，深圳的大数据这几年才刚刚发展起来，深圳的大数据促进会也是去年才刚刚成立。“总的来看，深圳的大数据建设尚处在一个萌芽状态。”

尽管在刚刚起步的阶段，但彭向阳认为，“大数据的形成需要打好几个基础，首先是能力基础，再就是技术基础和政府资源的基础，最后是市场用户需求的基础。总体来说，深圳的这几个基础都不错。”

“深圳有很多企业已经通过互联网+这样的形式把自己的大数据系统建立起来了，而深圳市大数据产业发展促进会建立的目的就是为这些企业搭建平台，把最新的技术资源整合起来，推动深圳大数据产业甚至国内大数据产业的发展。”彭向阳说，“目前来看，大量的数据还是在政府手里，我们协会希望推动政府能够尽快开放大数据，为企业应用大数据提供更好的资源和基础。”

针对深圳大量的民营企业，李林建议：“企业首先要了解大数据，然后再指导大家怎么来运用大数据；其二是企业要积极融入互联网。现在我们整个智慧城市建设的核心是网络，网络的应用和大数据的应用相辅相成，有了云计算、有了大数据，我们的互联网才真正有意义；第三，深圳有很多大数据应用得很好的企业，希望大家多看看多学习，因为通过学习才会有启发，你才能在你的行业用好大数据。”

以上是小编为大家分享的关于用好大数据推进“智慧城市”建设的相关内容，更多信息可以关注环球青藤分享更多干货

❸ 基于hadoop的电商日志分析系统的设计与实现选题依据怎么写

Hadoop部署的基本结构，MapRece 模型中的 Master 的主控作业节点称为JobTracker，此框架下面的所有作业（Job）都是由 JobTracker 进行管理的，它是唯一存在的。TaskTracker，负责每一个具体任务的执行。任务（Task）是具体执行的基本单元，每一个作业被拆分成很多的任务，被分配到合适任务节点上去执行，任务节点一边执行分配过来的任务，一边向 JobTracker 汇报执行任务的状态，以此来帮助JobTracker 了解作业执行的整体情况，向空闲节点分配新的任务等操作。日志分析系统由客户端和Hadoop服务器组成，客户端调用Hadoop接口将日志文件存入HDFS并调用任务，这里的任务是按顺序执行的，在前一个任务执行成功后才执行下一个任务，每个任务都完成多件事，每个任务都调用map和rece过程，最后一个任务将数据输出到HDFS的文本文件，也可以将文件输出到数据库中，最后根据统计数据进行展示。

❹ 哪里有永久免费论坛啊

http://bbs.ttsite.com/?u=225317
这个是天天的免费论坛,做的不错,不限制文件大小,最好的是可以免费绑定域名

❺ 大数据“点将”，这些世界级大咖牛在哪

国际大咖全能王：柯克·伯尔尼(Kirk Borne)25位全球顶尖大数据科学家之一、博思艾伦高级数据科学家、天体物理学家和空间科学家柯克·伯尔尼现担任博思艾伦（Booz AllenHamwuilton）公司高级数据科学家。被媒体评为25位全球顶尖大数据科学家之一，并在2014年被评为IBM大数据与分析英雄。除了任职于博思艾伦，他还是很多其它公司的顾问委员会成员。他在加州理工学院获得了天体物理学博士学位，是一名天体物理学家和空间科学家，不愧为一个全能王。塔尖人物：马克·范·雷蒙南(Mark van Rijmenam)全球十大顶尖大数据影响人物之一、知名大数据网站Datafloq创始人马克·范·雷蒙南，全球十大顶尖大数据影响人物之一、著名演讲家、博士。在大数据、数据区块链、物联网和颠覆性创新方面有很高的建树：知名大数据网站Datafloq创始人、数字化领导力实验室创建合伙人、荷兰Data Donderdag大数据论坛联合创始人，著有《Think Bigger: Developing a Successful Big Data Strategy for YourBusiness》。前瞻：杰克·肖(Jack Shaw)美国BBT公司总裁，美国数据区块链委员会高级负责人、全球区块链委员会高级顾问、高级战略咨询专家杰克·肖，作为当今世界极具前瞻性的世界著名未来学专家，杰克•肖致力于通过定量、定时、定性和其他科学方法，探讨现代工业和科学技术的发展对人类社会的影响，拥有超过30年探索未来社会发展预测的研究经验，专注领域包括新生技术，如大数据、AI、物联网、3D打印技术、移动商务、数据分析等等，是世界5大顶尖科技未来学专家之一。