① 大数据发展面临的挑战是什么
现在大数据是世界都关注的事情，这是因为大数据能够帮助人们做很多的事情，大数据的发展也是很多国家重视的地方，当然，我国也不例外。我国对大数据还是比较重视的，现在我国的大数据产业发展已经有了一定的基础，但是我们还不能放松，还需要努力，这是因为我国的数据产业还面临着众多的挑战，在这篇文章中我们就给大家详细介绍一下大数据发展面临的挑战，希望这篇文章能够更好地帮助大家理解大数据知识。
我国发展大数据产业是一定要向数据强国转变，现在我国只能说是个数据大国，但是要实现从“数据大国”向“数据强国”转变，还面临诸多挑战。具体面临的挑战有五个。
第一个挑战就是对数据资源及其价值的认识不足。这是因为全社会尚未形成对大数据客观、科学的认识，对数据资源及其在人类生产、生活和社会管理方面的价值利用认识不足，存在盲目追逐硬件设施投资、轻视数据资源积累和价值挖掘利用等现象。所以说这是我国大数据长期内最大的挑战，但也是比较容易实现的目标。
第二个挑战就是技术创新与支撑能力不够。这主要是因为大数据需要从底层芯片到基础软件再到应用分析软件等信息产业全产业链的支撑，无论是新型计算平台、分布式计算架构，还是大数据处理、分析和呈现方面与国外均存在较大差距，对开源技术和相关生态系统的影响力仍然较弱，总体上难以满足各行各业大数据应用需求。而这是大数据短期内最大的挑战。
第三个挑战就是数据资源建设和应用水平不高。这是因为用户普遍不重视数据资源的建设，即使有数据意识的机构也大多只重视数据的简单存储，很少针对后续应用需求进行加工整理。而且数据资源普遍存在质量差，标准规范缺乏，管理能力弱等现象。在很多跨部门、跨行业的数据共享仍不顺畅，有价值的公共信息资源和商业数据开放程度低。数据价值难以被有效挖掘利用，所以说，大数据应用整体上处于起步阶段，潜力远未释放。
第四个挑战就是信息安全和数据管理体系尚未建立。数据所有权、隐私权等相关法律法规和信息安全、开放共享等标准规范缺乏，技术安全防范和管理能力不够，尚未建立起兼顾安全与发展的数据开放、管理和信息安全保障体系。
第五个挑战就是人才队伍建设还需加强。就目前而言，我国的综合掌握数学、统计学、计算机等相关学科及应用领域知识的综合性数据科学人才缺乏，远不能满足发展需要，尤其是缺乏既熟悉行业业务需求，又掌握大数据技术与管理的综合型人才。
我们在这篇文章中给大家介绍了我国大数据发展需要面临的挑战，通过这些内容我们不难发现我国要想成为数据强国还有很长的路要走。所以说，我国从数据大国转变为数据强国还需要我们共同的努力。
② 大数据的发展所面临的挑战有哪些
挑战一：业务来部门没有清晰的大自数据需求。
挑战二：企业内部数据孤岛严重。
挑战三：数据可用性低，数据质量差。
挑战四：数据相关管理技术和架构。
挑战五：数据安全。
③ 大数据时代的挑战、价值与应对策略
大数据时代的挑战、价值与应对策略
随着移动互联网、物联网、云计算等的快速发展，及视频监控、智能终端、应用商店等的快速普及，全球数据量出现爆炸式增长。在此背景下，电信运营商在其网络无休止扩容的同时，却面临“增量不增收”的困境；而一些采用“数据驱动型决策”模式经营的公司，则可将其生产力提高5%～6%。因此，有必要深入研究大数据时代（Big Data Era）的挑战、价值与务实应对策略。
1大数据时代的基本特征
据统计，2010年以互联网为基础所产生的数据比之前所有年份的总和还要多；而且不仅是数据量的激增，数据结构亦在演变。Gartner预计，2012年半结构和非结构化的数据，诸如文档、表格、网页、音频、图像和视频等将占全球网络数据量的85%左右；而且，整个网络体系架构将面临革命性改变。由此，所谓大数据时代已经来临！
对于大数据时代，目前通常认为有下述四大特征，称为“四V”特征：
（1）量大（Volume Big）。数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。
（2）多样化（Variable Type）。数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。
（3）快速化（VelocityFast）。数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。
（4）价值高和密度低（Value HighandLowDensity）。以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。
2大数据时代面临的挑战
（1）运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战，管道化压力化解及“云－管－端”的有效装备也均面临新挑战。
（2）大数据的“四V”特征在数据存储、传输、分析、处理等方面均带来本质变化。数据量的快速增长，对存储技术提出了挑战；同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。
（3）海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻；而且现今黑客的组织能力、作案工具、作案手法及隐蔽程度更上一层楼，典型的有APT（Advanced Persistent Threat，高级持续性安全威胁）。
（4）大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视。
（5）大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，这将对可持续发展起关键作用。
（6）大数据时代的基本特征及安全挑战，对政府制订规则与监管部门发挥作用提出了新的挑战。
3大数据带来的价值
（1）利用大数据特征，借助云计算等有效工具，深度挖掘流量与数据价值，可帮助运营商实施好流量经营，减轻管道化风险，发扬“云－管－端”的智能管道的威力。
（2）多业务环境下掌握用户体验效果尤为重要，可从海量用户数据中深度分析、挖掘出用户的行为习惯和消费爱好，以实施精准营销及网络优化，掌控数据增值的“金钥匙”。
（3）掌握好大数据的存储、分类、挖掘、快速调用和决策支撑，并应用于企业的日常运营、维护及战略转型中，成为企业可持续发展、维持竞争优势的当务之急与重要途径。
（4）充分利用对大数据的分析、挖掘，可帮助找到隐蔽性极强的APT之类的安全威胁，助力信息安全部门找到应对新型安全威胁的有效途径。
（5）通过对公共大数据的分析、挖掘与利用，可减少欺诈行为及错误数据的负面作用、追收逃税漏税及刺激公共机构生产力等，帮助政府节省开支。例如英国政府即通过此途径节省大约330亿英镑/年。
4大数据时代的应对策略
（1）大数据时代应以智慧创新理念融合大数据与云计算，在大数据洪流中提升知识价值洞察力，实施高效实时个性化运作，建立有效增值的商业模式，确保应对APT之类的新型安全威胁。
（2）电信运营商转型中流量经营已成共识，即以智能管道与聚合平台为基础，以扩大流量规模、提升流量层次及丰富流量内涵作为基本经营方向，并以释放流量价值为基本目标，可见大数据和云计算的深度融合与此流量经营目标十分吻合。实际上已经有一些运营商借助大数据Hadoop云工具管理与分析网络中的用户数据，为日常运维及制定市场战略等提供有效支撑。
（3）针对大数据时代的基本特征，加强全方位创新。包括IBM、EMC、HP、Microsoft等在内的IT巨头，纷纷加速收购相关大数据公司进行技术整合，寻找数据洪流大潮中新的立足点。而涉及人工智能、机器学习等新技术的创新应用，已初显效益。
（4）将大数据时代全方位创新工作和智慧城市发展紧密结合。借助移动互联网、大数据与云计算的融合、智能运营管道等，建立智能平台，优化配置城市资源，向真正的智慧城市迈进。
（5）借助大数据创新处理技术应对APT安全攻击。APT安全攻击的最主要特征为单点隐蔽能力强、攻击空间路径不确定、攻击渠道不确定；同时APT攻击一旦入侵成功则长期潜伏，攻击时间上具有持续性。目前，全流量审计方案具备强大的实时检测能力与事后回溯能力，并可将安全工作人员的分析能力、计算机存储与运算能力组合在一起，是一种较完整的解决方案。
④ 在当前大数据的新环境下 it企业面临哪些机会与挑战
挑战一：数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
大数据时代，我们需要更加全面的数据来提高分析预测的准确度，因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的浏览器有意或者无意记载着个人的信息数据之外，手机、智能手表、智能手环等各种可穿戴设备也在无时无刻地产生着数据；就连我们家里的路由器、电视机、空调、冰箱、饮水机、净化器等也开始越来越智能并且具备了联网功能，这些家用电器在更好地服务我们的同时，也在产生着大量的数据；甚至我们出去逛街，商户的WIFI,运营商的3G网络，无处不在的摄像头电子眼，百货大楼的自助屏幕，银行的ATM，加油站以及遍布各个便利店的刷卡机等也都在产生着数据。
挑战二：数据挖掘分析模型建立
步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。
大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种片面认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。
挑战三：数据开放与隐私的权衡
数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。
开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
挑战四：大数据管理与决策
大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。
挑战五：大数据人才缺口
如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。
大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
⑤ 如何应对大数据的挑战
合理获取数据，存储应需而变，筛选和分析大数据，理性面对大数据的诱惑，云计算和大数据相辅相成，处理好非结构化数据，与硬件保持距离，提高大数据的可视化，安全防范必不可少。
⑥ 大数据面临的技术挑战
上周在大数据的趋势和特点中，说到了人类这次面临的问题不是问题无法解决，而是问题过于复杂。采用机械思维，其速度和效率已经赶不上新问题的产生。正是在这种分工越来越细，协作越来越紧密，问题越来越复杂的背景下，产生了大数据思维。大数据思维也由其独特的体量大、多样性和完备性，使得过去看来很复杂很难处理的问题变得可以解决了。
其实早在20世纪60年代就有研究学者提出采用人工智能的方法来解决社会问题。当时的人工智能方法还是局限于通过首先了解人类是如何产生智能，然后让计算机按照人的思路去做。吴军老师在《智能时代》中说到：“在人类发明的历史上，很多领域早期的尝试都是模仿人或者动物的行为，因为这是我们的直觉最容易想到的方法。” 但是经过十几年的发展，科学家们发现采用上面的思路去发展人工智能，似乎解决不了什么实际问题。很多科学家开始反思人工智能的发展，而在之后的20年左右的时间，在人工智能学术界的研究是处于低谷的。20世纪70年代，人类开始尝试智能的另一条发展道路，即采用数据驱动和超级计算的方法。即便在10年前，那时我还在念书，也曾接触过人工神经网络算法。很显然，当时对机器智能的概念大家都还是比较模糊的，人工智能也还没有被我们提高到现在的高度。
机器智能的概念在60多年就被提出来了，真正的突破却在具有了大数据的今天。为什么大数据的拐点会发生在今天？大数据到底面临何种技术挑战？
过去的10年，最容易看到的特征就是全球数据量呈爆炸式增长。大数据的第一个来源是电脑本身；第二个来源是传感器；第三个来源是将那些过去已经存在的、以非数字化形式储存的信息数字化。据2015年思科公司的统计数据显示，从2009~2015年的6年时间内，企业级数据增长了50倍。当然数据的爆炸式增长，离不开电脑硬件、软件、互联网、数据储存、数据处理等一系列配套技术的发展和支撑。大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。目前这些技术难题不一定有最佳的解决方案，甚至不存在什么绝对好的解决办法。
一、数据收集
传统的数据方法常常是先有一个目的，然后开始收集数据。比如，海王星的发现就是在人们发现天王星运动轨迹和牛顿力学预测出来的不一样之后，天文学家拍了很多星空的照片后发现的；心理学研究也是在有了一个明确的研究课题后，再通过实验的方法采集数据，如 “棉花糖测验”系列实验，以及关于认知失调的“追随者案例”等等。大数据则避免了采样之苦，因为大数据常常以全集（大数据的特征之一）作为样本集。
但是，如何收集到全集就是一件很有挑战的事情了。目前一些聪明公司，比如Google, Facebook, 网络，京东都是绕一个弯子，间接地去收集数据，然后利用数据的相关性，导出自己想要的结论。但是即便是这些如此成功的公司，仍然也有很多失败的案例。2010年，Google推出了自己的电视机顶盒Google TV，为了获取数据为进入电视广告做准备。但是，由于Google TV销售得很差，最终Google彻底地放弃了这产品。到目前为止，无论是Google过去的机顶盒，还是后来的Chromecast，苹果的Apple TV，除了统计一下收视率，计算一下可能的广告观众，并没有什么大的作为。数据收集是一个开放性的话题，不存在唯一性或最佳方法，目前仍然面临着很大的挑战。
二、数据储存
仅Google街景地图每天产生的数据量就有1TB，假如一份数据存三个拷贝，一年下来就1PB。即使使用当今最大容量的10TB硬盘，也需要用100个。因此，不能简单地依靠设备来解决数据储存的问题，而是需要技术解决方案来提高储存效率，保证不断产生出来的数据都能存得下。目前的数据储存手段主要是从如下2个方面考虑：去除数据冗余和便于使用。去除数据冗余可以简单理解为去除数据中的重复部分，比如同一份附件在所有的邮件中只储存一次。这样，在去除数据冗余的过程中，相应的数据读写处理就要改变。是否有比现在更有效率的储存格式或方式，仍然是大数据所面临的挑战。另外，便于使用的思路是从使用者的角度就去考虑数据的储存。大数据之前，数据在设计文件系统的数据储存格式时，主要考虑的是规模小、维度少的结构化数据。到了大数据时代，不仅数据量和维度都剧增，而且大数据在形式上也没有固定模式，因此需要重新设计通用、有效和便捷的数据表示方式和储存方式。
三、数据处理
大数据由于体量大、维度多，处理起来计算量巨大，其处理效率是一大技术挑战。并行计算是目前解决计算量巨大的重要手段，但仍然存在一些的问题。例如，任何一个问题总用一部分计算是无法并行计算的，这类计算占比越大，并行处理的效率就越低；再次，并行计算中无法保证每一个小任务的计算量是相同的，这样一来，并行计算的效率也会大打折扣，即完成了自己计算任务的服务器需要等待个别尚未完成的服务器，最终的计算速度取决于最后完成的子任务。
四、数据挖掘
如何从一堆杂乱无章的数据中挖掘出有价值的信息，是机器智能的关键，也是大数据的使命。数据在进行降噪处理之后，基本就可以直接使用了，接下来的关键一步就是机器学习。目前广泛使用的机器学习算法有人工神经网络算法、最大熵模型、逻辑自回归等。Google公司的AlphaGo的训练算法就是人工神经网络。机器学习的过程是一个不断迭代、不断进化的过程，只要事先定出一个目前，这些算法就会不断地优化模型，让它越来越接近真实的情况。寻找更优算法一直也是科学家们探索的难题。
五、数据安全
大数据应用的一个挑战还来自数据安全的担忧和对隐私的诉求。2014年爆出的索尼公司丢失数据时，造成的损失高达1亿美元。比商业数据丢失后损失更大的是医疗数据的被盗。在中国，除了在北京建立了大数据中心，还在贵阳建立了大数据灾备中心，而且正筹备在内蒙古再建立另一个数据灾备中心。而关于数据隐私，我想大家应该是深有感触，由于信息泄露而带来的骚扰电话以及电信诈骗，就发生在我们每个人身上。据《智能时代》中记载：“在美国的黑市上，一个医疗记录的卖家是商业数据的50倍左右”。可见，数据安全已然成为大数据发展的一大隐患和难题。
上述大数据5个方面的技术挑战并不是独立的，而是相辅相成、互相影响的。关于大数据的技术挑战在此仅谈谈个人的一点认识，希望对大家在这方面的思考有所帮助。下周我们继续聊，大数据给我们带来便利以及隐患。
⑦ 大数据时代的数据分析技术面临的挑战
数据分析是整个大数据处理流程的核心，大数据的价值产生于分析过程。从异构数据源抽取和集成的数据构成了数据分析的原始数据。根据不同应用的需求可以从这些数据中选择全部或部分进行分析。小数据时代的分析技术，如统计分析、数据挖掘和机器学习等，并不能适应大数据时代数据分析的需求，必须做出调整。
大数据时代的数据分析技术面临着一些新的挑战，主要有以下几点。
（1）数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多。因此，在数据分析之前必须进行数据清洗等预处理工作，但是预处理如此大量的数据，对于计算资源和处理算法来讲都是非常严峻的考验。
（2）大数据时代的算法需要进行调整。首先，大数据的应用常常具有实时性的特点，算法的准确率不再是大数据应用的最主要指标。在很多场景中，算法需要在处理的实时性和准确率之间取得一个平衡。其次，分布式并发计算系统是进行大数据处理的有力工具，这就要求很多算法必须做出调整以适应分布式并发的计算框架，算法需要变得具有可扩展性。许多传统的数据挖掘算法都是线性执行的，面对海量的数据很难在合理的时间内获取所需的结果。因此需要重新把这些算法实现成可以并发执行的算法，以便完成对大数据的处理。最后，在选择算法处理大数据时必须谨慎，当数据量增长到一定规模以后，可以从小量数据中挖掘出有效信息的算法并一定适用于大数据。
（3）数据结果的衡量标准。对大数据进行分析比较困难，但是对大数据分析结果好坏的衡量却是大数据时代数据分析面临的更大挑战。大数据时代的数据量大，类型混杂，产生速度快，进行分析的时候往往对整个数据的分布特点掌握得不太清楚，从而会导致在设计衡量的方法和指标的时候遇到许多困难。