『壹』 大数据带来的挑战有哪些
挑战：数据巨体量使信息管理本显著增加
挑战二：数据繁类型使信息效性验证工作增加
挑战二：数据繁类型使信息效性验证工作增加
挑战四：数据快速处理要求使独立决策比例显著降低
挑战六：数据网络相放性使安全加固策略复杂性所降低
挑战六：数据网络相放性使安全加固策略复杂性所降低
『贰』 大数据的发展所面临的挑战有哪些
挑战一：业务来部门没有清晰的大自数据需求。
挑战二：企业内部数据孤岛严重。
挑战三：数据可用性低，数据质量差。
挑战四：数据相关管理技术和架构。
挑战五：数据安全。
『叁』 在当前大数据的新环境下 it企业面临哪些机会与挑战
挑战一：数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
大数据时代，我们需要更加全面的数据来提高分析预测的准确度，因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的浏览器有意或者无意记载着个人的信息数据之外，手机、智能手表、智能手环等各种可穿戴设备也在无时无刻地产生着数据；就连我们家里的路由器、电视机、空调、冰箱、饮水机、净化器等也开始越来越智能并且具备了联网功能，这些家用电器在更好地服务我们的同时，也在产生着大量的数据；甚至我们出去逛街，商户的WIFI,运营商的3G网络，无处不在的摄像头电子眼，百货大楼的自助屏幕，银行的ATM，加油站以及遍布各个便利店的刷卡机等也都在产生着数据。
挑战二：数据挖掘分析模型建立
步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。
大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种片面认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。
挑战三：数据开放与隐私的权衡
数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。
开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
挑战四：大数据管理与决策
大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。
挑战五：大数据人才缺口
如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。
大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
『肆』 如何应对“大数据时代”的挑战
大数据行业面临的五大挑战如下：
挑战一：数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
现如今，几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。
挑战二：数据挖掘分析模型建立
步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。
挑战三：数据开放与隐私的权衡
数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。
挑战四：大数据管理与决策
大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
挑战五：大数据人才缺口
如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。
『伍』 中国大数据行业发展的挑战有哪些
挑战一：大数据行业发展良莠不济
我国大数据仍处于起步发展阶段，在“万众创新，大众创业”的大环境下，大量的大数据企业不断涌现，但企业发展良莠不济。
挑战二：大数据创新、创业盲目
企业在创新、创业过程，由于缺乏对大数据产业链的认识，出现许多跟风扎堆的情况，没有有效发挥自身优势，造成巨大的资源浪费。创新的时候，我们往往会看到一些标杆出来。通俗来讲，看到人家风光，没有看到人家背后受罪的时候。往往一窝蜂跟去的时候就会发现全是坑，而且
“此去华山一条道”，满满的全是竞争对手。因此我们做这个排行的初衷就是为大家梳理一下，哪些行业、哪些板块、哪些领域是什么样的状况，精确的找到自己的优势方向，去做创新和努力。
挑战三：投资盲目
霍华德.马克思说过“投资者们明确达成的广泛共识差不多都是错的”。究其原因是资本在选择大数据项目、企业的时候，由于没有客观的评价标准，同时也缺乏对产业链的整体认知，导致投资市场追逐热点，存在一定的盲目性，大大降低了资本对大数据行业发展的正向推动力。
挑战四：监管的盲目性
目前，监管层很难对大数据企业和机构进行有效的监管以及正确引导，要为大数据发展打造一个良性的生态环境就比较困难。其核心原因是对大数据企业的识别评价缺乏标准和规范。
挑战五：大数据项目建设盲目
由于人才缺乏、大数据咨询服务还没有发展起来等原因，用户很难对大数据项目有全面的认识，容易受到厂商的左右，导致建设内容的盲目;由于缺乏对产业的整体认识和大数据企业评价标准、方法，所以在大数据服务商选择上也存在一定的盲目性。
『陆』 在当前大数据的新环境下it企业面临哪些机会与挑战
挑战一：数据来源错综复杂，丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧。
挑战二：数据挖掘分析模型建立，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。
挑战三：数据开放与隐私的权衡，目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。
挑战四：大数据管理与决策，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
挑战五：大数据人才缺口，精通大数据技术的相关人才也成为一个大缺口。
『柒』 我国大数据战略实施面临的五大挑战
我国大数据战略实施面临的五大挑战
一、我国实施国家大数据战略的新成效
近几年，在国家政策支持下，我国大数据战略取得多方面成效：
一是产业集聚效应初步显现。国家八个大数据综合实验区建设促进了具有地方特色产业集聚。京津冀和珠三角跨区综合试验区，注重数据要素流通;上海、重庆、河南和沈阳试验区，注重数据资源统筹和产业集聚;内蒙的基础设施统筹发展，充分发挥能源、气候等条件，加快实现大数据跨越发展。
二是新业态新模式不断涌现。我国在大数据应用方面位于世界前列，特别是在服务业领域，如基于大数据的互联网金融及精准营销迅速普及;在智慧物流交通领域，通过为货主、乘客与司机提供实时数据匹配，提升了物流交通效率。
三是与传统产业融合步伐加快。铁路、电力和制造业等加快了运用信息技术和大数据的步伐。高铁推出“高铁线上订餐”等服务，提升了乘客体验。电力企业推广智能电表，提高了企业利润。三一重工、航天科工、海尔等一批企业将自身积累的智能制造能力，向广大中小企业输出解决方案，着手建设工业互联网平台。
四是技术创新取得显著进展。互联网龙头企业服务器单集群规模达到上万台，具备了建设和运维超大规模大数据平台的技术实力，并以云服务向外界开放自身技术服务能力和资源。在深度学习、人工智能、语音识别等前沿领域，我国企业积极布局，抢占技术制高点。
五是产业规模快速增长。2016年我国包括大数据核心软硬件产品和大数据服务在内的市场规模达到3100亿元。预计2017年有望达到4185亿元。未来2-3年市场规模的增长率将保持在35%左右。未来5年，年均增长率将超过50%。
六是一批企业快速成长。主要分为三类：一类是已经有获取大数据能力、具有一定国际影响力的公司，如网络、腾讯、阿里巴巴等互联网巨头;二是以华为、浪潮、中兴、曙光、用友等为代表的电子信息通信厂商;三是以亿赞普、拓尔思、九次方等为代表的大数据服务新兴企业。
七是法治法规建设全面推进。先后制定和出台《全国人大常委会关于加强网络信息保护的决定》《全国人大常委会关于加强网络信息保护的决定》《电信和互联网用户个人信息保护规定》《电话用户真实身份信息登记规定(部令第25号)》《中华人民共和国网络安全法》等文件，保障用户隐私和合法权益。
二、我国实施国家大数据战略面临的挑战
一是数据权属不清晰，数据流通和利用混乱。大数据带来了复杂的权责关系，产生数据的个人、企业、非政府组织和政府机构，拥有数据存取实际管理权的云服务提供商和拥有数据法律和行政管辖权的政府机构，在大数据问题上的法律权责不明确，数据产权承认和保护存在盲点，阻碍了数据有效流通。
二是数据爆炸式增长与数据有效利用矛盾突出。当前面临的问题不是数据缺乏，而是数据快速增长与数据有效存储和利用之间矛盾日益突出。数据呈爆炸式增长，每两年数据量翻10倍，而摩尔定律已接近极限，硬件性能提升难以应对海量数据增长。
三是企业与政府数据双向共享机制缺乏。目前，我国政府、少数互联网企业和行业龙头企业掌握了大部分数据资源，但数据归属处于模糊状态，法律规定不明确，政府与企业数据资源双向共享不够。
四是发展一哄而上，存在过度竞争倾向。截止2017年1月，全国37个省、市出台大数据发展规划，90%提出要统筹建设政府和行业数据中心，有12个省市提出建设面向全国的大数据产业中心，有14省(市)合计产值目标过2.8万亿元，远远超过工信部提出到2020年1万亿元大数据产值发展目标。
五是安全问题日益凸显。截至2017年7月，全国共侦破侵犯公民个人信息案件和黑客攻击破坏案件1800余起，抓获犯罪嫌疑人4800余名，查获窃取的各类公民个人信息500多亿条。乌克兰电力系统和伊朗核设施遭遇网络攻击，也给我国电力、石油、化工、铁路等重要信息系统安全敲响了警钟。
三、 更好实施我国国家大数据战略政策建议
按照十九大精神，要着力推动大数据与实体经济深度融合，建设数字中国和智慧社会，实现网络强国的目标，需要从政府、企业、社会组织和个人等统筹推动国家大数据战略落实。
(一)完善机制与制度，更好发挥政府作用。在体制机制方面，建议设立由国务院领导担任组长的国家大数据战略领导小组，负责组织领导、统筹协调全国大数据发展。领导小组下设办公室和大数据专家咨询委员会。
在法规建设方面，加快制定《大数据管理条例》，鼓励行业组织制定和发布《大数据挖掘公约》和《大数据职业操守公约》，在条件成熟时启动《数据法》立法，明确数据权属，培育大数据市场，加快数据作为生产要素规范流通。
在产业政策方面，出台数字经济优惠政策，创新数字经济监管模式，加强重点人群大数据应用能力培训，创造更多就业。
在试点示范方面，在环境治理、食品安全、市场监管、健康医疗、社保就业、教育文化、交通旅游、工业制造等领域开展大数据试点应用，以点带面提升大数据应用能力。
在资源共享方面，按照“逻辑统一、物理分散”原则，通过建设国家一体化大数据中心和国家互联网大数据平台，探索政府与企业数据资源双向共享机制。
在发展环境方面，着力部署下一代新基础设施，加快我国信息基础设施优化升级，制定政府大数据开发与利用的“负面清单”“权力清单”和“责任清单”，建立统计和评估指标体系，营造良好的舆论环境，防止炒作大数据概念，引导全国大数据健康有序发展。
在数据安全方面，加快落实《中华人民共和国网络安全法》，建立国家关键基础设施信息安全保护制度，明确监管机构的关键基础设施行业主管部门的信息安全监督管理职责，加快推动国产软硬件的应用推广，提升安全可控水平。
(二)对企业分类施策，发挥市场资源配置决定性作用。一是发挥互联网龙头企业引领和带动作用。网络、腾讯、阿里、京东为代表的龙头企业技术和人才储备雄厚，具有强大的数据资源收集、存储、计算和分析能力，成为我国大数据技术进步的主要推动力。应像使用电、水、交通等传统基础设施一样，互联网龙头企业向各行业提供高性能和低成本的大数据服务，帮助传统企业提升效率，提升核心竞争力。
二是发挥重要行业龙头企业数据和用户优势。我国电力、交通、金融等诸多行业龙头集聚了海量用户和数据，是未来我国大数据战略实施的主战场和大数据价值真正“钻石矿”。应发挥铁路、电力、金融等重要行业龙头企业优势，通过与互联网龙头企业深度合作，利用其技术优势，深度挖掘数据资源，提升自身核心竞争力，并帮助中小企业发展。
三是发挥通信运营商生力军作用，为大数据发展提供基础性战略性资源。我国移动、电信、联通等拥有全球最多的电话用户，积累了海量数据，是我国信息社会的战略性资源。应充分发挥自身在网络方面的优势，推动移动互联网、云计算、大数据、物联网等与行业结合，助力智慧城市、交通、能源、教育、医疗、制造、旅游等行业的创新和发展。
(三)激发社会组织活力，构建新型协作关系。构建政府和社会组织互动的信息采集、共享和应用协作机制，提高社会组织大数据应用意识和能力，与具有大数据技术的企业合作，提高社会事业精准化水平和资金使用效率。针对发展需要、重视科技引领，整合广大科研机构和事业单位力量，加强大数据基础理论、方法和技术研究，推动关键技术突破。
(四)提升公民数据意识和能力，推动“数字公民”建设。通过给每位公民一个数字身份，方便公民获取个性化、智慧化精准服务，提高政府公共服务的精准度与实效性，推动社会治理向精细化、智慧化转变。要提高公民数据素养，增强公民数据权利意识，提高大数据应用能力。
『捌』 大数据时代的数据分析技术面临的挑战
数据分析是整个大数据处理流程的核心，大数据的价值产生于分析过程。从异构数据源抽取和集成的数据构成了数据分析的原始数据。根据不同应用的需求可以从这些数据中选择全部或部分进行分析。小数据时代的分析技术，如统计分析、数据挖掘和机器学习等，并不能适应大数据时代数据分析的需求，必须做出调整。
大数据时代的数据分析技术面临着一些新的挑战，主要有以下几点。
（1）数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多。因此，在数据分析之前必须进行数据清洗等预处理工作，但是预处理如此大量的数据，对于计算资源和处理算法来讲都是非常严峻的考验。
（2）大数据时代的算法需要进行调整。首先，大数据的应用常常具有实时性的特点，算法的准确率不再是大数据应用的最主要指标。在很多场景中，算法需要在处理的实时性和准确率之间取得一个平衡。其次，分布式并发计算系统是进行大数据处理的有力工具，这就要求很多算法必须做出调整以适应分布式并发的计算框架，算法需要变得具有可扩展性。许多传统的数据挖掘算法都是线性执行的，面对海量的数据很难在合理的时间内获取所需的结果。因此需要重新把这些算法实现成可以并发执行的算法，以便完成对大数据的处理。最后，在选择算法处理大数据时必须谨慎，当数据量增长到一定规模以后，可以从小量数据中挖掘出有效信息的算法并一定适用于大数据。
（3）数据结果的衡量标准。对大数据进行分析比较困难，但是对大数据分析结果好坏的衡量却是大数据时代数据分析面临的更大挑战。大数据时代的数据量大，类型混杂，产生速度快，进行分析的时候往往对整个数据的分布特点掌握得不太清楚，从而会导致在设计衡量的方法和指标的时候遇到许多困难。
『玖』 大数据面临的技术挑战
上周在大数据的趋势和特点中，说到了人类这次面临的问题不是问题无法解决，而是问题过于复杂。采用机械思维，其速度和效率已经赶不上新问题的产生。正是在这种分工越来越细，协作越来越紧密，问题越来越复杂的背景下，产生了大数据思维。大数据思维也由其独特的体量大、多样性和完备性，使得过去看来很复杂很难处理的问题变得可以解决了。
其实早在20世纪60年代就有研究学者提出采用人工智能的方法来解决社会问题。当时的人工智能方法还是局限于通过首先了解人类是如何产生智能，然后让计算机按照人的思路去做。吴军老师在《智能时代》中说到：“在人类发明的历史上，很多领域早期的尝试都是模仿人或者动物的行为，因为这是我们的直觉最容易想到的方法。” 但是经过十几年的发展，科学家们发现采用上面的思路去发展人工智能，似乎解决不了什么实际问题。很多科学家开始反思人工智能的发展，而在之后的20年左右的时间，在人工智能学术界的研究是处于低谷的。20世纪70年代，人类开始尝试智能的另一条发展道路，即采用数据驱动和超级计算的方法。即便在10年前，那时我还在念书，也曾接触过人工神经网络算法。很显然，当时对机器智能的概念大家都还是比较模糊的，人工智能也还没有被我们提高到现在的高度。
机器智能的概念在60多年就被提出来了，真正的突破却在具有了大数据的今天。为什么大数据的拐点会发生在今天？大数据到底面临何种技术挑战？
过去的10年，最容易看到的特征就是全球数据量呈爆炸式增长。大数据的第一个来源是电脑本身；第二个来源是传感器；第三个来源是将那些过去已经存在的、以非数字化形式储存的信息数字化。据2015年思科公司的统计数据显示，从2009~2015年的6年时间内，企业级数据增长了50倍。当然数据的爆炸式增长，离不开电脑硬件、软件、互联网、数据储存、数据处理等一系列配套技术的发展和支撑。大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。目前这些技术难题不一定有最佳的解决方案，甚至不存在什么绝对好的解决办法。
一、数据收集
传统的数据方法常常是先有一个目的，然后开始收集数据。比如，海王星的发现就是在人们发现天王星运动轨迹和牛顿力学预测出来的不一样之后，天文学家拍了很多星空的照片后发现的；心理学研究也是在有了一个明确的研究课题后，再通过实验的方法采集数据，如 “棉花糖测验”系列实验，以及关于认知失调的“追随者案例”等等。大数据则避免了采样之苦，因为大数据常常以全集（大数据的特征之一）作为样本集。
但是，如何收集到全集就是一件很有挑战的事情了。目前一些聪明公司，比如Google, Facebook, 网络，京东都是绕一个弯子，间接地去收集数据，然后利用数据的相关性，导出自己想要的结论。但是即便是这些如此成功的公司，仍然也有很多失败的案例。2010年，Google推出了自己的电视机顶盒Google TV，为了获取数据为进入电视广告做准备。但是，由于Google TV销售得很差，最终Google彻底地放弃了这产品。到目前为止，无论是Google过去的机顶盒，还是后来的Chromecast，苹果的Apple TV，除了统计一下收视率，计算一下可能的广告观众，并没有什么大的作为。数据收集是一个开放性的话题，不存在唯一性或最佳方法，目前仍然面临着很大的挑战。
二、数据储存
仅Google街景地图每天产生的数据量就有1TB，假如一份数据存三个拷贝，一年下来就1PB。即使使用当今最大容量的10TB硬盘，也需要用100个。因此，不能简单地依靠设备来解决数据储存的问题，而是需要技术解决方案来提高储存效率，保证不断产生出来的数据都能存得下。目前的数据储存手段主要是从如下2个方面考虑：去除数据冗余和便于使用。去除数据冗余可以简单理解为去除数据中的重复部分，比如同一份附件在所有的邮件中只储存一次。这样，在去除数据冗余的过程中，相应的数据读写处理就要改变。是否有比现在更有效率的储存格式或方式，仍然是大数据所面临的挑战。另外，便于使用的思路是从使用者的角度就去考虑数据的储存。大数据之前，数据在设计文件系统的数据储存格式时，主要考虑的是规模小、维度少的结构化数据。到了大数据时代，不仅数据量和维度都剧增，而且大数据在形式上也没有固定模式，因此需要重新设计通用、有效和便捷的数据表示方式和储存方式。
三、数据处理
大数据由于体量大、维度多，处理起来计算量巨大，其处理效率是一大技术挑战。并行计算是目前解决计算量巨大的重要手段，但仍然存在一些的问题。例如，任何一个问题总用一部分计算是无法并行计算的，这类计算占比越大，并行处理的效率就越低；再次，并行计算中无法保证每一个小任务的计算量是相同的，这样一来，并行计算的效率也会大打折扣，即完成了自己计算任务的服务器需要等待个别尚未完成的服务器，最终的计算速度取决于最后完成的子任务。
四、数据挖掘
如何从一堆杂乱无章的数据中挖掘出有价值的信息，是机器智能的关键，也是大数据的使命。数据在进行降噪处理之后，基本就可以直接使用了，接下来的关键一步就是机器学习。目前广泛使用的机器学习算法有人工神经网络算法、最大熵模型、逻辑自回归等。Google公司的AlphaGo的训练算法就是人工神经网络。机器学习的过程是一个不断迭代、不断进化的过程，只要事先定出一个目前，这些算法就会不断地优化模型，让它越来越接近真实的情况。寻找更优算法一直也是科学家们探索的难题。
五、数据安全
大数据应用的一个挑战还来自数据安全的担忧和对隐私的诉求。2014年爆出的索尼公司丢失数据时，造成的损失高达1亿美元。比商业数据丢失后损失更大的是医疗数据的被盗。在中国，除了在北京建立了大数据中心，还在贵阳建立了大数据灾备中心，而且正筹备在内蒙古再建立另一个数据灾备中心。而关于数据隐私，我想大家应该是深有感触，由于信息泄露而带来的骚扰电话以及电信诈骗，就发生在我们每个人身上。据《智能时代》中记载：“在美国的黑市上，一个医疗记录的卖家是商业数据的50倍左右”。可见，数据安全已然成为大数据发展的一大隐患和难题。
上述大数据5个方面的技术挑战并不是独立的，而是相辅相成、互相影响的。关于大数据的技术挑战在此仅谈谈个人的一点认识，希望对大家在这方面的思考有所帮助。下周我们继续聊，大数据给我们带来便利以及隐患。
『拾』 大数据工程面临挑战有哪些
基础平台的改变
首先大数据挑战的就是企业的存储系统，大数据爆炸式的增长使得存储系统的容量、扩展能力、传输瓶颈等方面都面临着挑战。与之相连的还有服务器的计算能力，内存的存储能力等等都面临着新的技术攻关。目前闪存技术的发展以及英特尔、IBM等公司在大数据方面都已经投入相当大的资金进行研发，主要也是为了解决大数据对基础平台所带来的挑战。
商业模式的挑战
大数据具有强大的数据价值，当我们可以利用大数据挖掘到需要信息的时候，则需要我们根据得到的信息对企业的商业模型、产品和服务等方面进行创新，这样才能够真正的让大数据的价值得到体现。