大数据商业挑战

1. 大数据初创企业面临的五大挑战

大数据初创企业面临的五大挑战

近几年，数据逐渐成为驱动业务的主要推动力。 更重要的是,大数据是可以帮助企业改善策略,提高运营效率和加速增长。

75% 的龙头企业说,他们已经或计划在未来几年在大数据基础设施方面布局。大量的新的和令人兴奋的大数据初创公司出现来满足企业客户日益增长的需求。

虽然大数据吸引力巨大，但是考虑到66% 的创业公司一般会在12个月失败，大数据初创公司们仍然面临着很多挑战。

挑战一 缺乏人才

大数据市场在不断增长，60%的领导者认为他们今年在大数据运营上会花费更多，只有5%预测预算会减少，最大的问题在于,这种增长将超过其实现它所需的人才和规模应用。

据麦肯锡的报告称，美国的大数据人才需求在2018年将达到 170万，大约在同一时间,美国数据市场价值将达到 415亿美元。随着行业的发展，人才技能差距将拉大。没有简单的解决方案,是唯一真正的修复是随着时间的推移,人才自然会增加以满足市场需求。

(这里还有一点讽刺,因为许多大数据初创企业试图通过自己的软件来解决市场上人才缺乏的问题，但他们同样面临招不到人。)

挑战二 人才成本高

71% 企业和IT组织认为自己在利用数据方面刚达到平均水平或滞后。显然需要提高整体人才能力和教育现有的劳动力。目前在员工的培训上，为了跟上新开发产品需要大量成本。

这样的培训运营费用在2013年全球达到1300亿，考虑到数据业务的快节奏的性质和随后的需要更多的人员和持续培训,这些成本只会持续上升。

挑战三 解决理想与现实的冲突

在最近《华尔街日报》上 一篇有关Hadoop 的文章上黛博拉·盖奇说，：一些评论把大数据捧地过于高了，对大数据的”炒作”使许多组织盲目的为采用而采用:他们急切地拥抱工具,但往往不关注他们的需求,只是因为这些工具似乎是最受欢迎的(Hadoop是一个例子)。

进一步复杂化的是,大数据平台本质上是厚数据。这使得供应商很难去表达它的功能和优点，甚至更难让客户们去理解。这就是为什么, 据Gartner 说,到2017年,60%的大数据项目将无法超越试点和实验,并将被放弃。 让大数据项目更加落地是未来的重点。

挑战四 融资障碍

大数据在风投界获得了极大的关注和惊人的资金, Hortonworks和 Dataminr的 融资近1亿美元就是很好的证明。 但在许多方面,争夺现金变得不利于新公司。

由于行业的发展，风投们会更亲睐具有挑战性的企业家，很多公司喜欢Palantir,MongoDB和Mu Sigma (至少有2亿美元投资)。 因为资金增加了,在某种程度上我们可以预期投资者变得更加初步承诺投资,而不是投资于更成熟的新锐品牌。

挑战五 更残酷的竞争

全球大数据预计在2015年产值达到 1250亿美元,创业并不孤单; 他们面临SAP微软和IBM这样的数十亿美元的大公司的残酷竞争。

这些巨人可以释放功能更新产品,收购同类公司。他们的资金是无限的,而初创企业必须更加精细化他们的产品只是为了维持他们的现金消耗速率。

实际上,这是一件好事。初创公司成功的最佳方式和关注一个点和把它做好，大公司总是在寻找方法来获得竞争优势。 如果你在存储、分析等方面有极大的优势，被收购也是个不错的选择。

以上是小编为大家分享的关于大数据初创企业面临的五大挑战的相关内容，更多信息可以关注环球青藤分享更多干货

2. 在当前大数据的新环境下 it企业面临哪些机会与挑战

挑战一：数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
大数据时代，我们需要更加全面的数据来提高分析预测的准确度，因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的浏览器有意或者无意记载着个人的信息数据之外，手机、智能手表、智能手环等各种可穿戴设备也在无时无刻地产生着数据；就连我们家里的路由器、电视机、空调、冰箱、饮水机、净化器等也开始越来越智能并且具备了联网功能，这些家用电器在更好地服务我们的同时，也在产生着大量的数据；甚至我们出去逛街，商户的WIFI,运营商的3G网络，无处不在的摄像头电子眼，百货大楼的自助屏幕，银行的ATM，加油站以及遍布各个便利店的刷卡机等也都在产生着数据。
挑战二：数据挖掘分析模型建立

步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。

大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种片面认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。

挑战三：数据开放与隐私的权衡

数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。

开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
挑战四：大数据管理与决策
大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。
挑战五：大数据人才缺口
如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。

大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

3. 大数据时代的发展所面临的挑战有哪些

挑战一：业复务部门没有清晰的大制数据需求。

挑战二：企业内部数据孤岛严重。

挑战三：数据可用性低，数据质量差。

挑战四：数据相关管理技术和架构。

挑战五：数据安全。

4. 企业大数据项目实施过程中遇到的那些挑战

企业大数据项目实施过程中遇到的那些挑战

说到大数据，人们很多还停留在概念的阶段，不过对于一些企业来说，大数据已经就在眼前，业务的需求驱使着IT部门不得不去做大数据的分析与处理。企业需要大数据的分析和处理，但是大数据并不是想象中的那么简单，在实际部署实施的过程中会遇到很多方面的问题。

尤其是目前社交网络的兴起带来了更多的数据量，企业需要面对的挑战就越来越高，因为社交网络的数据本身就是一个无底洞。一位企业CTO说：“目前我们的数据来源基本都是在社交网络上面，我么收集这些数据加以分析，帮助企业理解这些人的消费规律以及个人偏好。”

企业大数据项目遇到的那些挑战

这位CTO所在的团队运营着一个可以产生12亿美元的数据平台，以及每天超过400万人的PB级数据集群。所在团队的大数据环境中包括了大量的开源平台，他们所用的技术包括：Hadoop、HBase，Hive，ElasticSearch，Scala，Storm，Node.js以及其他的很多工具。这确实是一个非常严峻的挑战。

我们通过企业大数据项目的具体实施过程不难看出，在实施的过程中技术与人是最关键的两个问题。选择一个成熟的技术，并且让最合适的人来进行实施，这样才会有一个比较合理的结果。

目前，以及有不少的企业开始进行部署自己的大数据项目，下面我们就为大家总结一下企业在部署大数据项目过程中遇到的那些难题与挑战。

复杂的数据计算与存储

大数据，顾名思义海量的数据是不可避免的。这项对于传统的数据分析而言，大数据需要大量的存储空间来进行数据存储，现在数据的产生量已经不是人们所能想象的，传统的存储介质与存储方式并不能满足如此快速的数据产生量。换句话来说，看看新浪微博、Facebook每分钟产生的数据量你就会明白了，电商更是夸张，阿里双十一，百亿的交易额，这样的数据量需要具有针对性的数据存储方式。

而从项目的整体出发，只是存储并不能算得上大数据。在存储之后还需要对海量的数据进行分析与计算，只有最后得出的分析结果才会对企业有所帮助。存储只是万里长征的第一步，大数据处理团队需要弄清楚这些数据背后的价值，需要合理的对数据进行归档，并且数据价值是需要进行计算分析得出的，庞大的数据量需要更加庞大的计算能力才能完成。

技术的成熟度的挑战

开源技术就好比一只小狗，它很可爱，也很好。但你需要养活它。就目前的技术发展而言，开源的大数据技术还并不是十分成熟，商业的大数据解决方案价格有非常昂贵，所以对于大部分企业来讲，开源貌似是唯一的解决方向。但开源技术并不能很好的适应每一个企业的具体业务线，所以企业还要投入大量的技术力量进行维护与二次开发。开源技术是条可爱的小狗，但是你需要养活他。

许多大数据技术是在建工程。虽然基础技术日趋完善，管理和配置的工具都处于起步阶段，让IT专业人员做工作解决的差距。企业的IT团队不得不开发工具，从管理的角度，从工作流程的角度，从配置等不同的角度出发。

期待，努力发现人才

之前讲了，大数据需要成熟的技术以及合适的人来执行，这里指的合适的人是一个真正的数据分析专家。而这样的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且还不能确定这个人是否能适应这个团队。

其实从技术的角度出发，大数据的技术与工具正在迅速发展，但是这些技术与工具只掌握在少数人的手里，并不能得到大规模的应用。所以对于企业来讲，大数据的技术与人同样重要。拥有了成熟稳定的技术，但是没有可以执行它的人，那么大数据项目也会相当危险，没准什么时候就成为了企业财政的累赘。

想想模块化，准备投资

任何一个项目的组建都不可能是无成本的。每一个项目都会意味着人力与财力的投入。尤其是在大数据项目上，每一个关键的业务点都意味着大量的资源投入。相比于其他项目，大数据项目耗费的资源会更多，在基础设施上的投入，服务器、存储以及计算资源和开发人员的投入都是相当庞大的。

模块化的基础设施一直是重要的，因为它可以让IT团队能够处理的业务优先级的变化，并提供业务透明度。企业的IT团队有必要投资的管理和生产力工具。这就是20％，25％都集中在我的工程资源，生产力工具和工作流程管理。

将产品与业务线做对接

在企业中项目需要围绕着业务进行实施，再好的产品项目如果不能很好的与业务进行对接，也是不能实现其真正的价值。这很容易让大数据的专家紧密合作，产品专家和业务利弊谈，但它可以是难以贯彻的想法。越来越多在？？过去的几年中，我们已经给他们带来了起来，因为双方都需要了解的另一边。

在很多失败的案例中我们不难看出，企业大数据产品的最终失败原因有一条就是产品不能很好的服务于企业核心业务，这样就会导致大量投入的资源变成没有价值体现的投入。

而成功的大数据产品就不是这样子。一个成功的大数据分析产品可以为企业揭示风险并且识别新的商业机会，并且可以根据客户的喜好进行商业活动，并获得洞察客户情绪-然后与该公司分享成果。大数据展示业务和IT事件有助于创造一个时髦围绕大数据分析的潜力。

领导层到技术人的思想贯彻

这里说的还是与人有关，大数据项目在企业中算是一个牵动企业发展战略的大项目。这需要从企业领导层到开发人员的整体投入。企业花了很多的时间映射可以利用大数据在我们的承保和理赔流程，并回馈业务线。项目团队需要企业从领导层到技术层从上倒下的支持。ACE集团的督导委员会，负责领导公司的大数据议程。令人惊讶的是，它不是堆叠技术人员。“这是很难得的任何科技。有四个技术人员和大约20商界领袖在那个队。

关键的事情之一是投资建设第一的技能和资源，在我们开始这段旅程。如果没有，我们将不得不一个不可接受的滞后值回业务。一位成功部署大数据项目的CTO说。

把业务人员下放到项目中去

既然大数据项目是为了企业业务服务的，而对企业业务最为熟悉就是业务人员，在整个项目中业务人员的需求往往是必然的需求。

企业需要进行完全嵌入的做法，将一线的业务人员下派到项目的每一个关键环节。只要这样，整个项目完成之后才能更好的为业务服务。企业通过建立核心竞争力，搭配新的技能，在我们的业务统计人员，数据洗涤器，数据分析，工艺专家我们的赔款及承保专长。其实这是一只搭配的意识，分享知识，发展和创新，我们利用大数据帮助业务发展。

不要小看管理供应商或系统集成商

对于一些技术力量有限的企业来说，他们更喜欢寻找一个系统集成商或者方案供应商来进行外包。在这期间会进行方案招标，而每一家集成商的方案都不尽相同，而且没有一家可以提供即用的解决方案，对于供应商的管理也是一个挑战，整合所有不同的系统，将这些系统整合成为一个巨大的方案进行协同运行。

独立评估投资回报率

在很多企业中，使用大数据分析，改进和验证的营销活动的有效性。当大数据项目是成功的，每个人都希望它的一部分，当你走在你开始为公司创造新的收入，项目带来这么多钱，大家突然出来的木制品和希望声称。对于他的团队，问题解决了，当CFO加强仲裁，提供独立意见的投资回报率，公司就会更加承认大数据计划。

转变并不会在一夜之间发生。从多来源的数据采集，到通过深度分析获取洞察力，之间会是一段并不平坦的征程。毫无疑问，Hadoop等技术的日趋成熟，让企业用户可以更方便地、在更大的范围内收集业务的相关数据，但同时真正的挑战也会接踵而至。这就是如何高效地处理多来源的海量数据，并且为其找到适合的商业用途。

以上是小编为大家分享的关于企业大数据项目实施过程中遇到的那些挑战的相关内容，更多信息可以关注环球青藤分享更多干货

5. 互联网大数据时代企业面临的挑战

没有人会否定疫情下数据给全国防控带来的帮助。得益于大数据、 云计算 、人工智能以及5G技术的发展,数据得以更好的共享以及分析,政府、企业推出的健康码、防疫行程卡等应用,使得人员流通、密切接触者排查有数可依。

也没有企业不清楚数据在这个年代对经营管理的价值。通过将数据沉淀、清洗,并挖掘、分析,企业运营效率将得以提升、成本得以优化,经营也将得以改善。

事实正是如此。在智能终端、 物联网 以及5G的推动下,全球数据量正呈指数般增长:2010年全球数据量刚刚突破1ZB,而今年全球数据量预计将超过40ZB。相关数据表明,到2025年时,全球的数据量将达到163ZB。

数据洪流下,全球也正从IT信息时代走向DT数据时代。由大数据引发的产业变革已经开始。IDC发布的《全球半年度大数据支出指南,2018H2》曾预计, 2019年大数据与商业分析解决方案全球市场的整体收益将达到1896.6亿美元,同比增长12.1%。

同时,在2019-2023年预测期内,全球大数据市场相关收益将实现13.1%的CAGR(复合年均增长率),并预计总收益于2023年达到3126.7亿美元。

具体到中国大数据市场, 2019-2023年预测期内的年CAGR(复合年均增长率)为23.5%,增速高于全球平均水平。到2023年,中国大数据市场规模则将增长至224.9亿美元。

尽管大数据市场前景一片光明,但真正能很好把握数据,充分发挥数据价值的企业,往往是少数在技术、资本、人才均占据优势的行业领导者。

而绝多数长尾企业,本就在行业竞争中处于劣势,在大数据产业变革中,尽管知道数据对经营管理那么重要。但受限于运营成本、人才以及技术,很难找到一款合适的工具,去抓住这些数据中蕴藏的商机。

数字经济下的企业经营困扰

众所周知的是,无论是国家层面“新基建”概念的提出,还是受疫情影响企业、组织加速数字化转型的步伐,这些均代表着数字经济时代的到来。

数据最直观:到2021年,全球数字经济规模将达到45万亿美元,全球数字经济的比重将超过50%。中国是全球数字经济的引领者之一。到2021年,中国数字经济规模将达到8.5万亿美元,其中数字经济所占比重将超过55%。截止目前,中国数字经济增速已连续3年排名世界第一。

但作为数字经济的推动者,企业在面对错综繁杂的 互联网 大数据时,依然不能采取行之有效的方案,将其妥善的用于经营管理。具体来看的话,企业在借助互联网大数据帮助经营管理时面临的挑战主要在以下几方面:

一是缺乏专业的市场研究工具或团队。 相比企业现在所使用的IT技术,大数据可以说是一门新技术。对于没有部署这一技术的企业而言,由于没有专业的市场研究工具或者研究团队,一方面将由于数据质量不佳面临产品开发设计难题。

这是因为企业无法对所处的市场进行量化统计分析,如市场规模是否增加,友商最近有何动态,是否有新入局者,该市场某细分市场是否有潜在机会。同时,由于不知道市场上有哪些爆款产品、创新产品,友商的竞品有何特性以及潜在市场的需求,导致企业在产品开发、策划、推广时没有针对性,难以形成爆款。

另一方面导致店铺运营效率不佳: 同样,由于缺乏专业的监控、分析工具,企业无法对友商线上渠道布局清晰掌握,无法实现自营/经销店铺的批量监控、店铺异动的自动记录以及爆款产品的促销复盘。并且,由于无法及时获取用户的吐槽、建议等,店铺在改善运营上也存在难度。

二是部署大数据技术面临的资金、周期等问题。 使用大数据改善经营管理是大势所趋,所以企业要么已经部署大数据要么考虑部署。而在自行部署大数据技术时,不免要多方考虑,既要考虑新硬件的采购费用或者云服务的购买费用,同时还要考虑开发人员的招聘费用,开发周期及运维等。而对 中小企业 而言,这无疑又是一项重大开支。

三是数据的安全问题。大数据技术从诞生到现在,其发展并不算太完善,因此自身安全性相对弱一些。同时,大数据平台又存在诸多组件,以Hadoop为例,至少包含了二三十个组件,这意味着黑客入侵某一个组件便可对整个组群整个平台进行控制。

不可避免,企业在开发大数据方案时需要与公司原有IT系统以及各部门数据间打通,这些入口也增加了大数据平台的安全风险。

不难看出,数字经济时代,企业在借助互联网大数据改善经营管理过程中,主要面临的便是大数据平台的部署、应用以及运维难题。

○本文节选自DOIT传媒《释放数据红利 美云智数互联网大数据与企业掘金数字经济》，图片为阴山所加。

6. 中国大数据行业发展的挑战有哪些

挑战一：大数据行业发展良莠不济

我国大数据仍处于起步发展阶段，在“万众创新，大众创业”的大环境下，大量的大数据企业不断涌现，但企业发展良莠不济。

挑战二：大数据创新、创业盲目

企业在创新、创业过程，由于缺乏对大数据产业链的认识，出现许多跟风扎堆的情况，没有有效发挥自身优势，造成巨大的资源浪费。创新的时候，我们往往会看到一些标杆出来。通俗来讲，看到人家风光，没有看到人家背后受罪的时候。往往一窝蜂跟去的时候就会发现全是坑，而且
“此去华山一条道”，满满的全是竞争对手。因此我们做这个排行的初衷就是为大家梳理一下，哪些行业、哪些板块、哪些领域是什么样的状况，精确的找到自己的优势方向，去做创新和努力。

挑战三：投资盲目

霍华德.马克思说过“投资者们明确达成的广泛共识差不多都是错的”。究其原因是资本在选择大数据项目、企业的时候，由于没有客观的评价标准，同时也缺乏对产业链的整体认知，导致投资市场追逐热点，存在一定的盲目性，大大降低了资本对大数据行业发展的正向推动力。

挑战四：监管的盲目性

目前，监管层很难对大数据企业和机构进行有效的监管以及正确引导，要为大数据发展打造一个良性的生态环境就比较困难。其核心原因是对大数据企业的识别评价缺乏标准和规范。

挑战五：大数据项目建设盲目

由于人才缺乏、大数据咨询服务还没有发展起来等原因，用户很难对大数据项目有全面的认识，容易受到厂商的左右，导致建设内容的盲目;由于缺乏对产业的整体认识和大数据企业评价标准、方法，所以在大数据服务商选择上也存在一定的盲目性。

7. 在当前大数据的新环境下it企业面临哪些机会与挑战

1. 挑战一：数据来源错综复杂，丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧。

2. 挑战二：数据挖掘分析模型建立，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。

3. 挑战三：数据开放与隐私的权衡，目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。

4. 挑战四：大数据管理与决策，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。

5. 挑战五：大数据人才缺口，精通大数据技术的相关人才也成为一个大缺口。