工业大数据面临的问题和挑战

⑶ 大数据工程未来有哪些挑战

1、基础平台的改变

首先大数据挑战的就是企业的存储系统，大数据爆炸式的增长使得存储系统的容量、扩展能力、传输瓶颈等方面都面临着挑战。与之相连的还有服务器的计算能力，内存的存储能力等等都面临着新的技术攻关。目前闪存技术的发展以及英特尔、IBM等公司在大数据方面都已经投入相当大的资金进行研发，主要也是为了解决大数据对基础平台所带来的挑战。

同样，大数据分析同样面临着软件方面的挑战，同时也引发数据库、数据仓库、数据挖掘、商业智能、人工智能、内容/知识管理等领域的技术变革。Hadoop是近年大家经常提到了一个能够对大量数据进行分布式处理的软件框架，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。

2、商业模式的挑战

大数据具有强大的数据价值，当我们可以利用大数据挖掘到需要信息的时候，则需要我们根据得到的信息对企业的商业模型、产品和服务等方面进行创新，这样才能够真正的让大数据的价值得到体现。

⑷ 在当前大数据的新环境下 it企业面临哪些机会与挑战

挑战一：数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
大数据时代，我们需要更加全面的数据来提高分析预测的准确度，因此我们就需要更多便捷、廉价、自动的数据生产工具。除了我们在网上使用的浏览器有意或者无意记载着个人的信息数据之外，手机、智能手表、智能手环等各种可穿戴设备也在无时无刻地产生着数据；就连我们家里的路由器、电视机、空调、冰箱、饮水机、净化器等也开始越来越智能并且具备了联网功能，这些家用电器在更好地服务我们的同时，也在产生着大量的数据；甚至我们出去逛街，商户的WIFI,运营商的3G网络，无处不在的摄像头电子眼，百货大楼的自助屏幕，银行的ATM，加油站以及遍布各个便利店的刷卡机等也都在产生着数据。
挑战二：数据挖掘分析模型建立

步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。

大数据的大，一般人认为指的是它数据规模的海量。随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种片面认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全面：空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。

挑战三：数据开放与隐私的权衡

数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。

开放与隐私如何平衡，亦是一大难题。任何技术都是双刃剑，大数据也不例外。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
挑战四：大数据管理与决策
大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。
大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。
挑战五：大数据人才缺口
如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。

大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

⑸ 如何应对“大数据时代”的挑战

大数据行业面临的五大挑战如下：

挑战一：数据来源错综复杂
丰富的数据源是大数据产业发展的前提。而我国数字化的数据资源总量远远低于美欧，每年新增数据量仅为美国的7%，欧洲的12%，其中政府和制造业的数据资源积累远远落后于国外。就已有有限的数据资源来说，还存在标准化、准确性、完整性低，利用价值不高的情况，这大大降低了数据的价值。
现如今，几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。

挑战二：数据挖掘分析模型建立
步入大数据时代，人们纷纷在谈论大数据，似乎这已经演化为新的潮流趋势。数据比以往任何时候都更加根植于我们生活中的每个角落。我们试图用数据去解决问题、改善福利，并且促成新的经济繁荣。人们纷纷流露出去大数据的高期待以及对大数据分析技术的格外看好。然而，关于大数据分析，人们鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因主要有以下两点：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。大数据时代下数据的海量增长以及缺乏这种大数据分析逻辑以及大数据技术的待发展，正是大数据时代下我们面临的挑战。

挑战三：数据开放与隐私的权衡
数据应用的前提是数据开放，这已经是共识。有专业人士指出，中国人口居世界首位，但2010年中国新存储的数据为250PB，仅为日本的60%和北美的7%。目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享，导致信息不完整或重复投资。2012年中国的数据存储量达到64EB，其中55%的数据需要一定程度的保护，然而目前只有不到一半的数据得到保护。

挑战四：大数据管理与决策
大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据至关重要的方面，就是它会直接影响组织怎样作决策、谁来作决策。在信息有限、获取成本高昂且没有被数字化的时代，组织内作重大决策的人，都是典型的位高权重的人，要不然就是高价请来的拥有专业技能和显赫履历的外部智囊。但是，在今时今日的商业世界中，高管的决策仍然更多地依赖个人经验和直觉，而不是基于数据。

挑战五：大数据人才缺口
如果说，以Hadoop为代表的大数据是一头小象，那么企业必须有能够驯服它的驯兽师。在很多企业热烈拥抱这类大数据技术时，精通大数据技术的相关人才也成为一个大缺口。

⑹ 大数据分析给企业带来哪些挑战

IT源系统的多样性

存储数据是一个复杂的过程，维护时会增加并发症。财富500强企业平均拥有数百个企业IT系统。由于格式不同，跨数据源的引用不匹配以及重复，大多数文件处于混乱状态。

管理高频数据

实时数据流。存在诸如数据审查之类的问题，例如，对于海上低压压缩机的排气温度的读取本身仅是有限的值。但是，结合环境温度，风速，压缩机泵转速，以前的维护操作历史和维护日志，可以为海上钻机操作员创建有价值的警报系统。

与数据湖一起运作

数据湖是一个集中式存储库，可以存储任何规模的结构化和非结构化数据。将组织的所有数据放在一个窗口中不会带来任何好处。它不仅使数据位于孤立的企业系统中，还激起了数据的复杂性。

组织各种数据内容

无法保证数据采用单一格式。公司通过图像，文件，视频，文档等收集数据。但是，它们被放在称为大数据的同一个屋檐下。因此，在进行分析之前，很难区分它们并将其置于不同的渠道，并且涉及许多机制。另一个麻烦是数据的清晰度，有些文件甚至不符合最低清晰度要求。

采用新兴的AI工具

人工智能工具正在发芽，在管理大数据时，它们非常有用。企业IT和分析团队需要提供工具，使具有不同水平的数据科学能力的员工能够使用大型数据集并使用统一的映像执行预测性分析。

关于大数据分析给企业带来哪些挑战，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

⑺ 企业大数据项目实施过程中遇到的那些挑战

企业大数据项目实施过程中遇到的那些挑战

说到大数据，人们很多还停留在概念的阶段，不过对于一些企业来说，大数据已经就在眼前，业务的需求驱使着IT部门不得不去做大数据的分析与处理。企业需要大数据的分析和处理，但是大数据并不是想象中的那么简单，在实际部署实施的过程中会遇到很多方面的问题。

尤其是目前社交网络的兴起带来了更多的数据量，企业需要面对的挑战就越来越高，因为社交网络的数据本身就是一个无底洞。一位企业CTO说：“目前我们的数据来源基本都是在社交网络上面，我么收集这些数据加以分析，帮助企业理解这些人的消费规律以及个人偏好。”

企业大数据项目遇到的那些挑战

这位CTO所在的团队运营着一个可以产生12亿美元的数据平台，以及每天超过400万人的PB级数据集群。所在团队的大数据环境中包括了大量的开源平台，他们所用的技术包括：Hadoop、HBase，Hive，ElasticSearch，Scala，Storm，Node.js以及其他的很多工具。这确实是一个非常严峻的挑战。

我们通过企业大数据项目的具体实施过程不难看出，在实施的过程中技术与人是最关键的两个问题。选择一个成熟的技术，并且让最合适的人来进行实施，这样才会有一个比较合理的结果。

目前，以及有不少的企业开始进行部署自己的大数据项目，下面我们就为大家总结一下企业在部署大数据项目过程中遇到的那些难题与挑战。

复杂的数据计算与存储

大数据，顾名思义海量的数据是不可避免的。这项对于传统的数据分析而言，大数据需要大量的存储空间来进行数据存储，现在数据的产生量已经不是人们所能想象的，传统的存储介质与存储方式并不能满足如此快速的数据产生量。换句话来说，看看新浪微博、Facebook每分钟产生的数据量你就会明白了，电商更是夸张，阿里双十一，百亿的交易额，这样的数据量需要具有针对性的数据存储方式。

而从项目的整体出发，只是存储并不能算得上大数据。在存储之后还需要对海量的数据进行分析与计算，只有最后得出的分析结果才会对企业有所帮助。存储只是万里长征的第一步，大数据处理团队需要弄清楚这些数据背后的价值，需要合理的对数据进行归档，并且数据价值是需要进行计算分析得出的，庞大的数据量需要更加庞大的计算能力才能完成。

技术的成熟度的挑战

开源技术就好比一只小狗，它很可爱，也很好。但你需要养活它。就目前的技术发展而言，开源的大数据技术还并不是十分成熟，商业的大数据解决方案价格有非常昂贵，所以对于大部分企业来讲，开源貌似是唯一的解决方向。但开源技术并不能很好的适应每一个企业的具体业务线，所以企业还要投入大量的技术力量进行维护与二次开发。开源技术是条可爱的小狗，但是你需要养活他。

许多大数据技术是在建工程。虽然基础技术日趋完善，管理和配置的工具都处于起步阶段，让IT专业人员做工作解决的差距。企业的IT团队不得不开发工具，从管理的角度，从工作流程的角度，从配置等不同的角度出发。

期待，努力发现人才

之前讲了，大数据需要成熟的技术以及合适的人来执行，这里指的合适的人是一个真正的数据分析专家。而这样的人往往是可遇而不可求的，除非你花重金去其他公司去挖人，而且还不能确定这个人是否能适应这个团队。

其实从技术的角度出发，大数据的技术与工具正在迅速发展，但是这些技术与工具只掌握在少数人的手里，并不能得到大规模的应用。所以对于企业来讲，大数据的技术与人同样重要。拥有了成熟稳定的技术，但是没有可以执行它的人，那么大数据项目也会相当危险，没准什么时候就成为了企业财政的累赘。

想想模块化，准备投资

任何一个项目的组建都不可能是无成本的。每一个项目都会意味着人力与财力的投入。尤其是在大数据项目上，每一个关键的业务点都意味着大量的资源投入。相比于其他项目，大数据项目耗费的资源会更多，在基础设施上的投入，服务器、存储以及计算资源和开发人员的投入都是相当庞大的。

模块化的基础设施一直是重要的，因为它可以让IT团队能够处理的业务优先级的变化，并提供业务透明度。企业的IT团队有必要投资的管理和生产力工具。这就是20％，25％都集中在我的工程资源，生产力工具和工作流程管理。

将产品与业务线做对接

在企业中项目需要围绕着业务进行实施，再好的产品项目如果不能很好的与业务进行对接，也是不能实现其真正的价值。这很容易让大数据的专家紧密合作，产品专家和业务利弊谈，但它可以是难以贯彻的想法。越来越多在？？过去的几年中，我们已经给他们带来了起来，因为双方都需要了解的另一边。

在很多失败的案例中我们不难看出，企业大数据产品的最终失败原因有一条就是产品不能很好的服务于企业核心业务，这样就会导致大量投入的资源变成没有价值体现的投入。

而成功的大数据产品就不是这样子。一个成功的大数据分析产品可以为企业揭示风险并且识别新的商业机会，并且可以根据客户的喜好进行商业活动，并获得洞察客户情绪-然后与该公司分享成果。大数据展示业务和IT事件有助于创造一个时髦围绕大数据分析的潜力。

领导层到技术人的思想贯彻

这里说的还是与人有关，大数据项目在企业中算是一个牵动企业发展战略的大项目。这需要从企业领导层到开发人员的整体投入。企业花了很多的时间映射可以利用大数据在我们的承保和理赔流程，并回馈业务线。项目团队需要企业从领导层到技术层从上倒下的支持。ACE集团的督导委员会，负责领导公司的大数据议程。令人惊讶的是，它不是堆叠技术人员。“这是很难得的任何科技。有四个技术人员和大约20商界领袖在那个队。

关键的事情之一是投资建设第一的技能和资源，在我们开始这段旅程。如果没有，我们将不得不一个不可接受的滞后值回业务。一位成功部署大数据项目的CTO说。

把业务人员下放到项目中去

既然大数据项目是为了企业业务服务的，而对企业业务最为熟悉就是业务人员，在整个项目中业务人员的需求往往是必然的需求。

企业需要进行完全嵌入的做法，将一线的业务人员下派到项目的每一个关键环节。只要这样，整个项目完成之后才能更好的为业务服务。企业通过建立核心竞争力，搭配新的技能，在我们的业务统计人员，数据洗涤器，数据分析，工艺专家我们的赔款及承保专长。其实这是一只搭配的意识，分享知识，发展和创新，我们利用大数据帮助业务发展。

不要小看管理供应商或系统集成商

对于一些技术力量有限的企业来说，他们更喜欢寻找一个系统集成商或者方案供应商来进行外包。在这期间会进行方案招标，而每一家集成商的方案都不尽相同，而且没有一家可以提供即用的解决方案，对于供应商的管理也是一个挑战，整合所有不同的系统，将这些系统整合成为一个巨大的方案进行协同运行。

独立评估投资回报率

在很多企业中，使用大数据分析，改进和验证的营销活动的有效性。当大数据项目是成功的，每个人都希望它的一部分，当你走在你开始为公司创造新的收入，项目带来这么多钱，大家突然出来的木制品和希望声称。对于他的团队，问题解决了，当CFO加强仲裁，提供独立意见的投资回报率，公司就会更加承认大数据计划。

转变并不会在一夜之间发生。从多来源的数据采集，到通过深度分析获取洞察力，之间会是一段并不平坦的征程。毫无疑问，Hadoop等技术的日趋成熟，让企业用户可以更方便地、在更大的范围内收集业务的相关数据，但同时真正的挑战也会接踵而至。这就是如何高效地处理多来源的海量数据，并且为其找到适合的商业用途。

以上是小编为大家分享的关于企业大数据项目实施过程中遇到的那些挑战的相关内容，更多信息可以关注环球青藤分享更多干货

⑻ 中国大数据行业发展的挑战有哪些

挑战一：大数据行业发展良莠不济

我国大数据仍处于起步发展阶段，在“万众创新，大众创业”的大环境下，大量的大数据企业不断涌现，但企业发展良莠不济。

挑战二：大数据创新、创业盲目

企业在创新、创业过程，由于缺乏对大数据产业链的认识，出现许多跟风扎堆的情况，没有有效发挥自身优势，造成巨大的资源浪费。创新的时候，我们往往会看到一些标杆出来。通俗来讲，看到人家风光，没有看到人家背后受罪的时候。往往一窝蜂跟去的时候就会发现全是坑，而且
“此去华山一条道”，满满的全是竞争对手。因此我们做这个排行的初衷就是为大家梳理一下，哪些行业、哪些板块、哪些领域是什么样的状况，精确的找到自己的优势方向，去做创新和努力。

挑战三：投资盲目

霍华德.马克思说过“投资者们明确达成的广泛共识差不多都是错的”。究其原因是资本在选择大数据项目、企业的时候，由于没有客观的评价标准，同时也缺乏对产业链的整体认知，导致投资市场追逐热点，存在一定的盲目性，大大降低了资本对大数据行业发展的正向推动力。

挑战四：监管的盲目性

目前，监管层很难对大数据企业和机构进行有效的监管以及正确引导，要为大数据发展打造一个良性的生态环境就比较困难。其核心原因是对大数据企业的识别评价缺乏标准和规范。

挑战五：大数据项目建设盲目

由于人才缺乏、大数据咨询服务还没有发展起来等原因，用户很难对大数据项目有全面的认识，容易受到厂商的左右，导致建设内容的盲目;由于缺乏对产业的整体认识和大数据企业评价标准、方法，所以在大数据服务商选择上也存在一定的盲目性。

⑼ 工业大数据应用难点有哪些

工业大数据应用难点有：

一是大数据技术的运用困难，存在数据不足、数据信噪比低以及数据分析难度高等问题。

二是大数据给信息安全带来新挑战，如工业大数据加大了隐私泄露的风险，对现有存储和安全措施提出了更高要求，以及大数据正在被运用到新的攻击手段中。

目前，工业大数据在产品创新设计、产品故障诊断与预测、供应链的分析和优化、产品销售预测与大数据营销、生产计划与排程、产品质量管理与分析等场景有广泛的应用。“数据是工业互联网的血液。”何友如此描述大数据与工业互联网的互为动力。

不过，由于工业大数据数据价值密度高，数据类型繁多，多源异构的机构化数据和非结构化数据并存，数据处理实行性要求也非常高，数据关系和关联性异常复杂等特征，企业如何从数据统计分析能力转变为大数据分析、预测和决策能力，促进传统工业升级改造和产业整合，是目前要解决的核心关键问题。