⑴ 大数据技术的数据中心面临哪些挑战
01、效率低
传统的数仓大多构建在Hadoop之上。这位传统的数仓带来了近乎无限的横向扩展能力，同时也造成了传统的数仓技术效率低的缺陷。效率低主要体现在以下几个方面。
部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。
运维效率低：Hive/HBase/Kylin基于Hadoop，Hadoop生态会带来一个非常严重的单点故障问题，即Hadoop体系中任何一个组件出现问题，都可能引起整个系统的不可用。使用传统的数仓对运维的要求非常高。
计算效率低：主要体现在Hive和Kylin上，这两个数仓没有自己的存储引擎和计算引擎，这导致Hive和Kylin只能依靠堆机器实现复杂查询，而无法从数据本身下手。在大数据后期，一些以数据快速查询为目标而特殊设计的数据存储格式成为标准，这个现象才有所改观。而HBase的优化核心就是重新设计的存储引擎，使得HBase可以对数据本身进行查询速度的优化。
02、延迟高
构建在Hadoop之上的数仓引擎，除了效率低的缺点之外，还面临着高延迟的挑战。高延迟主要体现在以下几个方面。
查询延迟高：使用Hive作为数仓，受限于HDFS的性能瓶颈，Hive的查询速度比较慢，难以支撑低延迟场景，无法应用在实时计算的场景中。
写入数据延迟高：同样受限于HDFS，Hive的数据写入延迟也很高，这意味着数据无法实时写入Hive，从而无法支撑实时分析场景。
03、成本高
传统的数仓数仓引擎还会带来成本高的挑战，主要体现在以下几个方面.
部署成本高：由于Hadoop的计算逻辑是通过堆计算资源的方式来摊销复杂查询的时间，因此如果需要达到一个比较理想的性能，必须要求集群中节点的数量达到一定的规模，否则因为计算效率低的特点，单机很容易成为性能瓶颈。这导致了Hive等基于Hadoop的数仓部署成本高的缺陷。
运维成本高：集群服务器达到一定规模后，运维成本会指数级上升。同时，由于Hadoop中组件太多，任何一个组件的失效都有可能导致整个服务的不可用，因此运维团队必须包含所有组件的运维人员，否则运维团队有可能很好地执行任务。这也极大地提高了运维团队的人力成本。
存储成本高：Hadoop的HDFS为了避免集群中服务器故障从而导致的不可用的情况，默认使用三副本策略存储数据，即数据会保存三份。这会极大地提高存储成本。即使是新一代的Hadoop采用了EC纠删码技术降低了副本数量，但使用场景有限只适合在冷数据存储中使用，对于经常需要查询的热数据，并不适合采用该方案。
决策成本高：传统的大数据由于部署成本高，导致企业在做决策时面临比较大的决策成本，一方面是前期投入太大，短期内看不到效果，长期以来效果如何也很难说清楚。另一方面是即使企业下定决心来建设数仓，昂贵的基础设施和专业技术人员的缺乏也会造成很长的建设周期，长的建设周期又会带来很多不可预知的变数，最终影响企业的决策。
⑵ 鏁版嵁鏀鎾戠殑閲嶈佹
鍐崇瓥鏀鎸併侀棶棰樿瘖鏂銆
1銆佸喅绛栨敮鎸侊細鏁版嵁鍙浠ユ彁渚涘喅绛栬呮墍闇瑕佺殑鍚勭嶄俊鎭锛屽府鍔╁喅绛栬呭仛鍑烘ｇ‘鐨勫喅绛栥
2銆侀棶棰樿瘖鏂锛氶氳繃鏁版嵁鍒嗘瀽鍙浠ユ壘鍑洪棶棰樼殑鍘熷洜锛屼粠鑰岄噰鍙栨湁鏁堢殑鎺鏂借В鍐崇浉搴旂殑闂棰樸
⑶ 大数据治理存在哪些误区
误区一：客户需求不明确
客户既然请厂商来帮助自己做数据治理，必定是看到了自己的数据存在种种问题。但是做什么，怎么做，做多大的范围，先做什么后做什么，达到什么样的目标，业务部门、技术部门、厂商之间如何配合做······很多客户其实并没有想清楚自已真正想解决的问题。数据治理，难在找到一个切入点。
误区二：数据治理是技术部门的事
数据问题产生的原因，往往是业务>技术，如：数据来源渠道多，责任不明确，导致同一份数据在不同的信息系统有不同的表述;业务需求不清晰，数据填报不规范或缺失，等等。很多表面上的技术问题，如ETL过程中某代号变更导致数据加工出错，影响报表中的数据正确性等，在本质上其实还是业务管理的不规范。
误区三：大而全的数据治理
出于投资回报的考虑，客户往往倾向于做一个覆盖全业务和技术域的、大而全的数据治理项目。从数据的产生，到加工、应用、销毁，数据的整个生命周期他们希望都能管到。从业务系统，到数据中心，到数据应用，里面的每个数据他们希望都能被纳入到数据治理的范围中来。
关于大数据治理存在哪些误区，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。
⑷ 从支撑到决策 大数据实现企业商业价值
从支撑到决策：大数据实现企业商业价值
电子商务、社交媒体、移动互联网、物联网的兴起极大地改变了人们生活与工作的方式，它们给世界带来巨大变化的同时，也让一个大数据时代真正地到来。与传统数据相比，大数据主要体现在数据量庞大、数据类型丰富、数据来源广泛三个方面，大数据的这三大特征不仅仅悄然改变着企业IT基础架构，也促使了用户对数据与商业价值之间关系的再思考。
大数据所蕴含的价值
对于当今的企业而言，数据就是一种重要的战略资产，它就像新时代的石油一样，极富开采价值。如果能够看清大数据的价值并且迅速行动起来，那么在未来的商业竞争中占据会占得先机。事实上，美国奥巴马政府已经投资2亿美金启动了“大数据研究和发展计划”,从政府层面鼓励企业收集海量数据、分析萃取信息的能力。英特尔亚太研发有限公司总经理何京翔博士表示：“信息数据就是21世界的石油，石油只有经过开采、提炼最后变成汽油等化学品才能够体现出价值。大数据与石油一样，仅仅存储而不进行分析和处理是体现不出它的价值。”
图一：全球知名调研机构IDC公司 对全球数据增长以及数据类型分布情况的调研与预测。相对于传统的结构化数据，非结构化数据、内容数据的增长迅速，且蕴含了极大的价值。
任何企业都希望能够充分挖掘出像数据这种战略资源的价值，从而做出更为准确的商业决策。过去传统的商业智能局限在分析企业信息系统自身产生出来业务数据，这些数据大部分为数据库等结构化数据，而随着非结构化数据成为企业数据的主力军，传统商业智能的方式方法显然已经落伍。传统商业智能就犹如坐在自己车里，通过后视镜看后面发生的情况；而大数据分析则像是向前看的望远镜，用户通过望远镜能够看到未来可能会发生的情况。之所以会这样，是因为大数据分析是基于构化和非结构化数据的总和，在数据分析的全面性上是传统商业智能所不能比拟的，这意味着通过分析结构能够提供给企业更加全面和准确的商业洞察力。
图二：全球知名咨询机构麦肯锡对于不同行业所产生的数据类型的分析。麦肯锡全球研究所认为几乎所有行业正在大量产生非结构化数据。[page]
大数据打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，其背后蕴含的商业价值不可低估，IDC就在其大数据相关报告中着重阐述了大数据的商业价值：行业领导企业与其他企业有着本质的区别，行业领导企业会积极将新的数据类型引入到数据分析之中，为商业决策做出更加准确的判断，那些没引入新的分析技术和新的数据类型的企业在未来是不可能成为行业领导者。这本质上其实是要求企业能够从思维的角度彻底颠覆过去的观点，大数据在未来企业中的角色绝对不是一个支撑者，而是在企业商业决策和商业价值的决策中扮演着重要的作用。
从支撑到决策
传统IT,从服务器、存储、网络、PC这些硬件设施，到CRM、ERP、PLM等应用软件，本质上是在对企业各个业务流程层面起到了支撑作用，虽然传统的商业智能分析能够对于企业的商业决策起到一定的作用，但是传统商业智能分析在当今这个大数据时代已经举步维艰。大数据的价值在于它能够有效的帮助各个行业用户做出更为准确的商业决策，从而实现更大的商业价值，它从诞生开始就是站在决策的角度出发。
图三：全球知名咨询机构麦肯锡对美国不同行业应用大数据技术潜在价值评估。
麦肯锡认为大数据正在为全球创造不可低估的商业价值。首先，大数据能够能够明显提升企业数据的准确性和及时性；此外还能够降低企业的交易摩擦成本；更为关键的是，大数据能够帮助企业分析大量数据而进一步挖掘细分市场的机会，最终能够缩短企业产品研发时间、提升企业在商业模式、产品和服务上的创新力，大幅提升企业的商业决策水平，降低了企业经营的风险。
事实上，大数据离我们并不遥远，现实生活中已经有很多活生生的案例，这些案例充分说明大数据对于未来的商业决策有着不可低估的作用。比如2011年，英国对冲基金Derwent Capital Markets花费4000万美金首次建立了基于社交网络的对冲基金。该基金通过对Twitter的数据内容来感知市场情绪，从而进行投资。美国加州大学河滨分校也在2012年公布了一项通过对Twitter消息进行分析从而预测股票涨跌的研究报告。
图四：英国对冲基金Derwent Capital Markets通过分析Twitter数据来预测股市的波动，该应用为典型的大数据应用，通过实时分析数据来获得更为准确的投资趋势。图中红线代表Tweets中“平静”数值；蓝线表示3天后的道指变化。在这两条线段重合的部分，“平静”指数预测了3天后道指收盘指数，从图中我们可以发现红、蓝两线经常走势相近。[page]
可以说，在IT日益渗透到企业和个人方方面面的今天，大数据将逐渐成为很多行业企业实现商业价值的最佳途径。IDC中国企业级系统与软件研究部高级研究经理周震刚就表示：“毫无疑问，未来几年大数据会逐渐向更多行业发展，除了互联网和电信之外，其他像政府、金融、制造业都会开始有大数据的应用。”当然，可能还有人会质疑大数据的决策效果，但是不可否认的是大数据正在彻底改变商业决策的模式与方法，大数据是IT价值从企业业务支撑到企业决策转变的最好体现。
图五：美国德克萨斯大学《measuring the business impacts of effective data》报告，该报告认为数据使用率提升10%对行业人均产出的平均提升幅度有着重要影响，最为明显的就是零售行业，在零售行业数据使用率提升10%就能够使得人均产出提升49%,效果异常明显。
另外值得关注的是，企业的商业决策带有很强烈的行业特性，不同行业的企业对于大数据分析的需求并不相同，甚至由于不同行业的关系，这种需求可能是千差万别。这也就要求大数据解决方案不仅仅包括良好的数据分析能力，也需要包含很多行业的知识。IDC中国企业级系统与软件研究部高级研究经理周震刚就表示：“从传统概念来讲，大数据非常复杂，无法形成打包好的分析应用解决方案。不过在未来几年中，某个行业的应用会形成一个共性，厂商们会基于这个共性打包出一些大数据的解决方案推向这些行业用户。另外，会有更多的行业ISV会加入到大数据平台，基于这个大数据平台来开发应用。”从本质上来看，企业用户在商业决策中需要的是一个包含了灵活可靠的基础架构、功能强大的数据分析能力与经验丰富的行业分析能力的大数据综合性解决方案，仅仅依靠几套开源软件和设备是不能满足企业在商业决策上的长久需求，英特尔亚太研发有限公司总经理何京翔博士就表示：“大数据不仅仅是一个技术问题，英特尔认为大数据需要一个全面的大数据解决方案。英特尔在提供优秀的基础架构同时，还重点将Hadoop软件平台进行优化并提供软件服务，更加重要的是会针对分析工具和用户界面进行不同行业解决方案的定制。此外，英特尔也和众多行业ISV进行多角度、多方位的合作，从而构建出一个完善的大数据解决方案。”
从商业支撑到商业决策，大数据的商业魅力正在逐渐显现。在这个商业迅速信息化、社交化、移动化的时代，大数据必然会成为大部分行业用户商业价值实现的最佳捷径，我们需要做的就是认清本质、转变思路、未雨绸缪、运筹帷幄，在大数据时代中抓住无限商机。
⑸ 大数据之于智能交通意义重大仍面临难题
大数据之于智能交通意义重大仍面临难题_数据分析师考试
日前，在2015中国智慧城市国际博览会上，来自台湾的勤亚科技张及人透露“台湾政府在将近九年前就开始规划所谓的大的交通数据云，用数据来管理整个交通出行。比如通知你从A到B大概走多少时间，这个时间给你选择走西会更快或者更慢一点，通过这种模式来做。”在公共交通部门，张及人称台湾已经全面做到了公车到站提醒，准确率在96在97%。“这样大家坐公交时不会浪费时间，能合理地安排自己的出行计划。”在出租车和商用车方面，“台湾有一个服务厅，可以清楚地告诉调度公司，在某个天气、时间、路口会有比较多乘客，只要买了这个服务，系统会高速你客人在哪里，这就是大数据做的应用。
大数据之于智能交通意义重大
智能交通建设和运营的过程中，从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等每天产生的数据量可以达到PB级别，并且是指数级的增长。虽然绝大部分数据是“沉睡的数据”，但按照相关规定，需要对数据进行有期限或无期限的保存，这无疑给用户在存储成本上带来压力，而通过监控摄像机前端智能技术和大数据分析技术的应用，很好地解决了行业用户的此类问题，给用户带来经济效益，同时也可以将工作人员从纷繁复杂的监控画面中解放出来。
大数据之于智能交通的意义，可以解决跨越行政区域的限制，实现数据信息的共享，在信息集成优势和组合效率上，有助于建立综合性立体的交通信息体系；另外在车辆安全、交通资源配置以及利用大数据的快速性和可预测性能提升交通预测的水平都有极大的帮助。
大数据支撑智能交通发展仍面临五大难题
随着移动互联网、大数据、车联网等技术越来越多地渗透到交通领域，百姓的出行将越来越高效便捷，同时也有利于管理部门为社会提供更好的公共交通服务。借助移动互联网、云计算、大数据、物联网等先进技术和理念，将互联网产业与传统交通运输业进行有效渗透与融合，形成具有线上资源合理分配，线下高效优质运行的新业态和新模式。积极用好大数据技术来支撑交通运输行业科学决策。交通运输部正在推进开展行业信息资源整合，同时也与互联网企业开展合作，利用定位大数据和智能化分析技术，成为科学决策的技术支撑。
不过，大数据虽然支撑着智能交通的前行，但其发展道路上难免要历经磨难，从目前来看主要存在五个问题。
问题一：海量设备管理问题
随着系统规模扩大，前端设备点位增加，设备故障点也呈几何级数增长，管理人员仅忙于应付设备故障，无暇他顾。以电子警察系统为例，目前一、二线城市基本都实现了电警设备在重点路口、路段的全覆盖，建设规模均有上千台摄像机及相应的控制设备，由于各厂商产质量量良莠不齐，前端设备实际完好率不高。设备故障未暴露，或暴露但没有得到及时维护的现象非常严重，给业主造成了大量的投资浪费。
问题二：统一标准和技术规范
国内智能交通系统项目的建设先于行业统一标准的推出。在缺乏标准的条件下，许多地区的智能交通系统自成体系，缺乏应有的衔接和配合，标准互不统一。即便在城市内部，道路上的传感器标准也非常混乱，因为传感器设备生产企业缺乏统一的接口标准。标准和规范的混乱妨碍了交通数据的获取，从而无法进行交通流的分析和预测。在高速公路收费系统方面，各省或地区内建设的网络一卡通或不停车收费系统，也没有统一指导和标准，为将来的全国联网造成了困难。
问题三：系统可靠性与稳定性
智能交通系统复杂度和整合程度越来越高，而系统的健壮性却没有同步提高，往往有牵一发而动全身的问题出现。以某地级市为例，智能交通系统由近200台服务器和2千多台前端设备组成，包括信号控制、交通流量采集、交通诱导、电子警察、卡口等子系统，数据要和省级交管平台、区县级交管子平台、公安业务集成平台等系统相连。系统具有流程复杂、业务系统众多、客户端分散等等一系列特点。业主竭尽全力为了保证业务系统的正常运行，但还是经常出问题。系统及网络结构复杂是一方面，业务系统众多无法“照顾”过来才是最严重的问题。
问题四：数据源的质量
智能交通应用需要高质量的数据源，而目前设备长时间运行的性能得不到保证，数据质量不高限制了智能交通业务高水平的扩展应用。现代化的交通诱导和交通信号控制需要实时准确的交通流量数据以供交通状态判断以及短时交通预测使用。而由于目前系统健壮性不足，难以自行判断数据质量，从而使得交通诱导和信号控制系统不能发挥预期效用，从而影响了整体智能交通系统的投资价值。
问题五：信息安全问题
由于智能交通兼具交通工具带来的移动特性和通信传输所使用的无线通信两方面的特点，它也就集成了无线网和移动网两大类型网络的安全问题。然而，当前针对智能交通的研究还只是偏重于其功能的实现，忽略了其信息安全问题。实际上，无论是从信息的收集、信息的传输、信息的处理各个环节，智能交通都存在严重的信息泄露、伪造、网络攻击、容忍性等安全问题，亟须受到人们的关注和重视。
结语：未来伴随着移动互联网、大数据、车联网等技术越来越多地渗透到智能交通，将会使我们的出行越来越便捷、高效、舒适。对于管理部门来讲，通过智能交通设施大数据分析预测出行规律和趋势，科学安排各项保障工作，为全社会提供更好的公共交通服务。
以上是小编为大家分享的关于大数据之于智能交通意义重大仍面临难题的相关内容，更多信息可以关注环球青藤分享更多干货
⑹ 要有数据支撑是什么意思
要有数据支撑是指在进行决策或提出观点时，需要使用可靠的数据信息来支撑自己的想法或做出决策。数据支撑可以是数字、图表、案例或实验证明，它可以帮助人们做出更明智的选择，更准确地评估风险，以及更好地了解问题的本质。
数据支撑在当前信息时代尤为重要。许多决策都需要大量的数据支撑，包括商业战略、社会政策、科学技术和医疗健康等等。只有在具有可靠数据支撑的基础上，才能制定出更有效的制度、政策和方案，这将有效解决一系列复杂问题。因此，强调要有数据支撑已经成为社会发展不可或缺的一部分。
数据支撑的来源可以是各种渠道，包括互联网、学术期刊、调查报告、研究报告等。在利用数据支撑时，需要对数据进行详细分析和评估，确保数据的真实性和可信度，这样在使用数据支撑时才会更加准确。同时，在使用数据支撑时，需要根据具体情况选择合适的数据呈现方式，如表格、图表或案例等。只有充分利用数据支撑，才能更快地发现问题所在，并通过更好的决策做出积极的贡献。
⑺ 大数据失败案例提醒 8个不能犯的错误
大数据失败案例提醒：8个不能犯的错误
近年来，大数据旋风以“迅雷不及掩耳之势”席卷全球，不仅是信息领域，经济、政治、社会等诸多领域都“磨刀霍霍”向大数据，准备在其中逐得一席之地。然而，很多公司在迈入大数据领域后遭遇“滑铁卢”。在此，本文盘点了一系列大数据失败项目，深究其原因，具有警示意义。
对数据过于相信2008年，Google第一次开始预测流感就取得了很好的效果，比美国疾病预防控制中心提前两礼拜预测到了流感的爆发。但是，几年之后，Google的预测比实际情况(由防控中心根据全美就诊数据推算得出)高出了50%。媒体过于渲染了Google的成功，出于好奇目的而搜索相关关键词的人越来越多，从而导致了数据的扭曲。低估大数据复杂程度在美国有几个互联网金融公司专做中小企业贷款。但是中小企业贷款涉及的数据更复杂，而且中小企业涉及到整个行业非常特殊的一些数据，比如非标准的财务报表和不同行业、不同范式的合同，他们没有很专业的知识，是很难理解或者很难有时间把它准确挖掘出来。当时大数据团队想用一个很完美的模型把所有的问题都解决掉，比如把市场和信贷的解决方案全部用一个模型来解决，但因为数据的复杂程度，最后证明这种方法是失败的，而且90%的时间都在做数据清理。这就说明，想通过大数据技术一下子解决所有的问题是很难成功的，而是要用抽丝剥茧、循序渐进的方式。管理层的惰性某家旅游公司系统通过web日志数据的挖掘来提升客户洞察。结果证明，用户在浏览网站之后，随后的消费行为模式与管理层所认为的不一致。当团队汇报此事时，管理层认为不值一提。但是，该团队并没有放弃，并通过严密的A/B测试，回击了管理层的轻视。这个案例的最终结果，不是每个CIO都能期盼的。但是，有一点是可以确定的：做好和管理层打交道的准备，让他们充分理解大数据是什么以及相应的价值。应用场景选择错误一家保险公司想了解日常习惯和购买生命保险意愿之间的关联性。由于随后觉得习惯太过于宽泛，该公司将调查范畴限定到是否吸烟上。但是，工作仍然没有实质进展。不到半年，他们就终止了整个项目，因为一直未能发现任何有价值的信息。这个项目的失败是由于问题的复杂性。在抽烟与否之间，该公司没有注意到还有大片灰色地带：很多人是先抽烟而后又戒烟了。在将问题简单化动机的驱动下，这个部分被忽略了。问题梳理不够全面一家全球性公司的大数据团队发现了很多深刻的洞察，并且计划通过云让全公司共享。结果这个团队低估了效率方面的损耗，由于网络拥塞的问题，无法满足全球各个分支顺畅提交数据运行分析的需求。该公司应该仔细思考下如何支撑大数据项目，梳理所需的技能并协调各IT分支的力量进行支持。由于网络、安全或基础设施的问题，已经有太多的大数据项目栽了跟头。缺乏大数据分析技能一家零售公司的首席执行官不认同亚马逊规模化、扁平化的服务模式，因此让CIO构建一个客户推荐引擎。项目最初的规划是半年为期，但是团队很快认识到诸如协同过滤(collaborativefiltering)之类的概念无法实现。为此，一个团队成员提出做一个“假的推荐引擎”，把床单作为唯一的推荐产品。这个假引擎的工作逻辑是：买搅拌机的人会买床单，买野营书籍的人会买床单，买书的人会买床单。就是如此，床单是唯一的、默认的推荐品。尽管可笑，这个主意其实并不坏，默认的推荐也能给企业带来销售上的提升。但是，由于大数据相关技能的缺失，真正意义上的引擎未能实现。提出了错误的问题一家全球领先的汽车制造商决定开展一个情感分析项目，为期6个月，耗资1千万美元。项目结束之后，该厂商将结果分享给经销商并试图改变销售模式。然后，所得出的结果最终被证明是错误的。项目团队没有花足够的时间去了解经销商所面临的问题或业务建议，从而导致相关的分析毫无价值。应用了错误的模型。某银行为判断电信行业的客户流失情况，从电信业聘请了一位专家，后者也很快构建了评估用户是否即将流失的模型。当时已进入评测验证的最后阶段，模型很快就将上线，而银行也开始准备给那些被认为即将流失的客户发出信件加以挽留。但是，为了保险起见，一位内部专家被要求对模型进行评估。这位银行业专家很快发现了令人惊奇的事情：不错，那些客户的确即将流失，但并不是因为对银行的服务不满意。他们之所以转移财产(有时是悄无声息的)，是因为感情问题——正在为离婚做准备。可见，了解模型的适用性、数据抽象的级别以及模型中隐含的细微差别，这些都是非常具有挑战性的。管理层阻力尽管数据当中包含大量重要信息,但Fortune Knowledge公司发现有62%的企业领导者仍然倾向于相信自己的直觉,更有61%的受访者认为领导者的实际洞察力在决策过程中拥有高于数据分析结论的优先参考价值。选择错误的使用方法企业往往会犯下两种错误,要么构建起一套过分激进、自己根本无法驾驭的大数据项目,要么尝试利用传统数据技术处理大数据问题。无论是哪种情况,都很有可能导致项目陷入困境。提出错误的问题数据科学非常复杂,其中包含专业知识门类(需要深入了解银行、零售或者其它行业的实际业务状况);数学与统计学经验以及编程技能等等。很多企业所雇用的数据科学家只了解数学与编程方面的知识,却欠缺最重要的技能组成部分——对相关行业的了解，因此最好能从企业内部出发寻找数据科学家。缺乏必要的技能组合这项理由与“提出错误的问题”紧密相关。很多大数据项目之所以陷入困境甚至最终失败,正是因为不具备必要的相关技能。通常负责此类项目的都是IT技术人员——而他们往往无法向数据提出足以指导决策的正确问题。与企业战略存在冲突要让大数据项目获得成功,大家必须摆脱将其作为单一“项目”的思路、真正把它当成企业使用数据的核心方式。问题在于,其它部门的价值或者战略目标有可能在优先级方面高于大数据,这种冲突往往会令我们有力无处使。大数据孤岛大数据供应商总爱谈论“数据湖”或者“数据中枢”,但事实上很多企业建立起来的只能算是“数据水坑儿”,各个水坑儿之间存在着明显的边界——例如市场营销数据水坑儿与制造数据水坑儿等等。需要强调的是,只有尽量缓和不同部门之间的隔阂并将各方的数据流汇总起来,大数据才能真正发挥自身价值。在大数据技术之外遇到了其它意外状况。数据分析仅仅是大数据项目当中的组成部分之一,访问并处理数据的能力同样重要。除此之外,常常被忽略的因素还有网络传输能力限制与人员培训等等。回避问题有时候我们可以肯定或者怀疑数据会迫使自身做出一些原本希望尽量避免的运营举措,例如制药行业之所以如此排斥情感分析机制、是因为他们不希望将不良副作用报告给美国食品药品管理局并承担随之而来的法律责任。在这份理由清单中,大家可能已经发现了一个共同的主题:无论我们如何高度关注数据本身,都会有人为因素介入进来。即使我们努力希望获取对数据的全面控制权,大数据处理流程最终还是由人来打理的,其中包括众多初始决策——例如选择哪些数据进行收集与分析、向分析结论提出哪些问题等等。为防止大数据项目遭遇失败，引入迭代机制是非常必要的。使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈，最终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。
⑻ 大数据分析工具面临哪些挑战
大数据发展的挑战：
目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。
挑战一：业务部门没有清晰的大数据需求
很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。
挑战二：企业内部数据孤岛严重
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。
挑战三：数据可用性低，数据质量差
很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。
挑战四：数据相关管理技术和架构
技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。
挑战五：数据安全
网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。
挑战六：大数据人才缺乏
大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。
挑战七：数据开放与隐私的权衡
在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。