大数据的技术难点

⑴ 盘点2021年大数据分析常见的5大难点！

2021年已经到来，现在是深入研究大数据分析面临的挑战的时候了，需要调查其根本原因，本文重点介绍了解决这些问题的潜在解决方案。

1、解决方案无法提供新见解或及时的见解

（1）数据不足

有些组织可能由于分析数据不足，无法生成新的见解。在这种情况下，可以进行数据审核，并确保现有数据集成提供所需的见解。新数据源的集成也可以消除数据的缺乏。还需要检查原始数据是如何进入系统的，并确保所有可能的维度和指标均已经公开并进行分析。最后，数据存储的多样性也可能是一个问题。可以通过引入数据湖来解决这一问题。

（2）数据响应慢

当组织需要实时接收见解时，通常会发生这种情况，但是其系统是为批处理而设计的。因此有些数据现在仍无法使用，因为它们仍在收集或预处理中。

检查组织的ETL(提取、转换、加载)是否能够根据更频繁的计划来处理数据。在某些情况下，批处理驱动的解决方案可以将计划调整提高两倍。

（3）新系统采用旧方法

虽然组织采用了新系统。但是通过原有的办法很难获得更好的答案。这主要是一个业务问题，并且针对这一问题的解决方案因情况而异。最好的方法是咨询行业专家，行业专家在分析方法方面拥有丰富经验，并且了解其业务领域。

2、不准确的分析

（1）源数据质量差

如果组织的系统依赖于有缺陷、错误或不完整的数据，那么获得的结果将会很糟糕。数据质量管理和涵盖ETL过程每个阶段的强制性数据验证过程，可以帮助确保不同级别(语法、语义、业务等)的传入数据的质量。它使组织能够识别并清除错误，并确保对某个区域的修改立即显示出来，从而使数据纯净而准确。

（2）与数据流有关的系统缺陷

过对开发生命周期进行高质量的测试和验证，可以减少此类问题的发生，从而最大程度地减少数据处理问题。即使使用高质量数据，组织的分析也可能会提供不准确的结果。在这种情况下，有必要对系统进行详细检查，并检查数据处理算法的实施是否无故障

3、在复杂的环境中使用数据分析

（1）数据可视化显示凌乱

如果组织的报告复杂程度太高。这很耗时或很难找到必要的信息。可以通过聘请用户界面(UI)/用户体验(UX)专家来解决此问题，这将帮助组织创建引人注目的用户界面，该界面易于浏览和使用。

（2）系统设计过度

数据分析系统处理的场景很多，并且为组织提供了比其需要还要多的功能，从而模糊了重点。这也会消耗更多的硬件资源，并增加成本。因此，用户只能使用部分功能，其他的一些功能有些浪费，并且其解决方案过于复杂。

确定多余的功能对于组织很重要。使组织的团队定义关键指标：希望可以准确地测量和分析什么，经常使用哪些功能以及关注点是什么。然后摒弃所有不必要的功能。让业务领域的专家来帮助组织进行数据分析也是一个很好的选择。

4、系统响应时间长

（1）数据组织效率低下

也许组织的数据组织起来非常困难。最好检查其数据仓库是否根据所需的用例和方案进行设计。如果不是这样，重新设计肯定会有所帮助。

（2）大数据分析基础设施和资源利用问题

问题可能出在系统本身，这意味着它已达到其可扩展性极限，也可能是组织的硬件基础设施不再足够。

这里最简单的解决方案是升级，即为系统添加更多计算资源。只要它能在可承受的预算范围内帮助改善系统响应，并且只要资源得到合理利用就很好。从战略角度来看，更明智的方法是将系统拆分为单独的组件，并对其进行独立扩展。但是需要记住的是，这可能需要对系统重新设计并进行额外的投资。

5、维护成本昂贵

（1）过时的技术

组织最好的解决办法是采用新技术。从长远来看，它们不仅可以降低系统的维护成本，还可以提高可靠性、可用性和可扩展性。逐步进行系统重新设计，并逐步采用新元素替换旧元素也很重要。

（2）并非最佳的基础设施

基础设施总有一些优化成本的空间。如果组织仍然采用的是内部部署设施，将业务迁移到云平台可能是一个不错的选择。使用云计算解决方案，组织可以按需付费，从而显著降低成本。

（3）选择了设计过度的系统

如果组织没有使用大多数系统功能，则需要继续为其使用的基础设施支付费用。组织根据自己的需求修改业务指标并优化系统。可以采用更加符合业务需求的简单版本替换某些组件。

⑵ 大数据存在哪些问题

数据存储问题：随着技术不断发展，数据量从TB上升至PB，EB量级，如果还用传统内的数据存储方式容，必将给大数据分析造成诸多不便，这就需要借助数据的动态处理技术，即随着数据的规律性变更和显示需求，对数据进行非定期的处理。同时，数量极大的数据不能直接使用传统的结构化数据库进行存储，人们需要探索一种适合大数据的数据储存模式，也是当下应该着力解决的一大难题。

分析资源调度问题：大数据产生的时间点，数据量都是很难计算的，这就是大数据的一大特点，不确定性。所以我们需要确立一种动态响应机制，对有限的计算、存储资源进行合理的配置及调度。另外，如何以最小的成本获得最理想的分析结果也是一个需要考虑的问题。

专业的分析工具：在发展数据分析技术的同时，传统的软件工具不再适用。目前人类科技尚不成熟，距离开发出能够满足大数据分析需求的通用软件还有一定距离。如若不能对这些问题做出处理，在不久的将来大数据的发展就会进入瓶颈，甚至有可能出现一段时间的滞留期，难以持续起到促进经济发展的作用。

⑶ 工业大数据应用难点有

工业大数据应用难点有下面这些：

一是大数据技术的运用困难，存在数据不足、数据信噪比低以及数据分析难度高等问题；

二是大数据给信息安全带来新挑战，如工业大数据加大了隐私泄露的风险，对现有存储和安全措施提出了更高要求，以及大数据正在被运用到新的攻击手段中；

此一词语在2012年随着工业4.0的概念而出现，也和信息技术行销流行的大数据有关，工业大数据也意味着工业设备产生的大量数据有其潜在的商业价值。工业大数据会配合工业互联网的技术，利用原始资料来支援管理上的决策，例如降低维护成本以及提升对客户的服务。

工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。

其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。

⑷ 大数据时代的数据分析技术面临的挑战

数据分析是整个大数据处理流程的核心，大数据的价值产生于分析过程。从异构数据源抽取和集成的数据构成了数据分析的原始数据。根据不同应用的需求可以从这些数据中选择全部或部分进行分析。小数据时代的分析技术，如统计分析、数据挖掘和机器学习等，并不能适应大数据时代数据分析的需求，必须做出调整。

大数据时代的数据分析技术面临着一些新的挑战，主要有以下几点。

（1）数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音的增多。因此，在数据分析之前必须进行数据清洗等预处理工作，但是预处理如此大量的数据，对于计算资源和处理算法来讲都是非常严峻的考验。

（2）大数据时代的算法需要进行调整。首先，大数据的应用常常具有实时性的特点，算法的准确率不再是大数据应用的最主要指标。在很多场景中，算法需要在处理的实时性和准确率之间取得一个平衡。其次，分布式并发计算系统是进行大数据处理的有力工具，这就要求很多算法必须做出调整以适应分布式并发的计算框架，算法需要变得具有可扩展性。许多传统的数据挖掘算法都是线性执行的，面对海量的数据很难在合理的时间内获取所需的结果。因此需要重新把这些算法实现成可以并发执行的算法，以便完成对大数据的处理。最后，在选择算法处理大数据时必须谨慎，当数据量增长到一定规模以后，可以从小量数据中挖掘出有效信息的算法并一定适用于大数据。

（3）数据结果的衡量标准。对大数据进行分析比较困难，但是对大数据分析结果好坏的衡量却是大数据时代数据分析面临的更大挑战。大数据时代的数据量大，类型混杂，产生速度快，进行分析的时候往往对整个数据的分布特点掌握得不太清楚，从而会导致在设计衡量的方法和指标的时候遇到许多困难。

⑸ 大数据在安防领域主要有哪些应用难点在哪

一、安防大数据主要应用领域
（一）大数据是视频智能分析基础
在大数据应用时代，视频因其信息含量最高、数据量最大，分析运算最复杂而成为大数据时代采集分析传输存储应用最具挑战的国际技术难题！智能视频分析研究永无止境，分析算法必须以监控视频为资源，研究实时或历史监控视频中的目标特征提取、增强与行为分析等关键技术，才能推动监控视频应用模式从事后被动处置向事前主动预防转变。
（二）帮助实现智慧城市智能化
我国智慧城市建设面临的重大挑战之一，是城市系统之间由于标准问题无法有效集成，形成信息孤岛。因此，在大数据融合技术领域，一方面要加强大数据标准建设，另一方面要加强海量异构数据建模与融合、海量异构数据列存储与索引等关键技术研发，为给予底层数据集成的信息共享提供标准和技术保障。大规模数据在智慧城市系统流动过程中，出于传输效率、数据质量与安全等因素的考虑，需要对大规模数据进行预处理。大数据处理技术往往需要与基于云计算的并行分布式技术相结合，这也是目前国际产业界普遍采用的技术方案。大数据分析与挖掘技术为智慧城市治理提供了强大的决策支持能力。
（三）提高警务办事效率
互联网技术的飞速发展已经为构建一个大型全国性的专业报警运营服务平台提供了有力的技术支撑。通过这个报警平台，报警运营服务商手中会累积海量的用户数据，例如用户的身份信息、警情数据、消费记录、维修记录等，这些都是非常宝贵的资源。报警运营服务商可以在此基础上，应用大数据技术进行分析和挖掘，充分发挥大数据的商业价值。
公安如公安系统中的图侦技术，应用模式多样，思维活跃，围绕着“发现线索”的目的可衍生出多种的技战法，只有从这些具体的技战法中才能提炼出需求，真正告诉系统的设计者“我们要什么”。
那么，图侦里的大数据应用需要哪些？像商业大数据那样找规律的应用似乎还远了点，目前最实在的就是从海量视频数据里把有相同线索特征的图像给找出来，让干警发现出新的案件线索。至于“怎么找？”这就是由公安来提的应用模式了。因此，视频大数据的发展并不是简单的由技术厂商做主导，而是需要公安体制内既有刑侦实战经验，又有科技化功底的复合型人才，共同来参与视频大数据应用的发展。
（四）让智能家居“聪明”起来
智能家居会产生大数据，同时也是大数据的重要应用领域，不然它极有可能将停滞不前。家庭产生的大数据能让智能家居更“聪明”，但需要根据实际情况进行有效处理，而不是任何数据的“一锅端”，通过大数据与云计算技术的结合应用，智能家居系统能够第一时间对用户家庭中智能设备的数据、信息进行有效分析、记忆，并将得到的相应规律反过来应用于智能设备，提升智能家居的智能效果。
二、安防大数据应用难点
（一）数据整合问题
不同来源的大数据，分别存储于相互独立的系统中，将这些数据集中于统一的平台，是安防大数据实施的基础性工作，但行业、部门壁垒是最大障碍。即使只是公安内部的视频数据，各省、地市也互不相通，想采集集中也不是一件容易的事。即使集中后，如何找到这些不同类型数据之间的关系，从而挖掘出有价值的数据，也是难点。
（二）数据挖掘、分析算法的成熟度问题
对于安防数据中最重要的视频数据，对其进行智能视频分析和挖掘是很困难的事情。目前，除了车牌识别、人数统计等算法较为成熟外，对视频进行事件分析、人脸识别、摘要等技术都还没达到大规模的商用水平，这也极大地制约了安防大数据的实施。
（三）时效性问题
安防大数据的目的之一就是要解决现有安防系统内以事后查看、分析为主的数据(特别是视频数据)应用形式，还要增加以事前预警、实时处理，这对大数据处理技术的实时性要求很高。这种时效性就决定了视频安防大数据的高运算量、高传输带宽的要求。
（四）信息安全与用户隐私问题
安防行业，特别是公安行业对数据的安全性要求非常高，这也是造成数据的区域隔离的重要原因。同时，在利用安防大数据上，如何保护用户的隐私，也是一个非常重要的课题，目前主要采用数据脱敏的办法。当务之急就是将安防数据安全级别需要有明确的分级定义，不能一味强调安全而各自封闭，否则必将导致安防大数据分析成为无源之水。
（五）视频图像数据挖掘的难点
1.识别什么特征？一副图像或者一段视频可以有无数角度的标签属性去描述，什么才是我们需要的属性？这与我们需要得到的目的密切相关，这就需要公安图侦的人才来归纳终结。
2.识别算法开发难，由于是平面图像，因此特征的识别主要原理就是看图像区域中的轮廓、颜色、纹理与特征库进行比较。但是在同一个物体在不同监控角度的摄像头中显示出的轮廓都不相同，因此无法做到识别。
3.大规模数据处理难，即使做到了识别算法，但是如果要通过数据处理服务器的形式对大规模的视频进行结构化处理，这个建造成本巨大，其能源的耗费在中国这个夏季需要限电的情况里也不切实际。
（六）警务服务平台大数据难点：
1.如何将不同报警运营服务商之间的数据整合在一起？
2.我国多数报警运营网络尚未完成规模化建设，用户规模大、跨省市运营的网络很少，每家报警运营服务商的警情并发量不大，而且报警运营服务商之间普遍存在信息孤岛，很难通过大数据分析实现数据的增值。
3.大数据的挖掘是一个长期的过程，需要企业不断的尝试，挖掘出有意义的信息或规律，并将结果拿到市场上检验。
4.大数据自身也面临着挑战，数据的运用仍面临多种技术难关的束缚，大数据方面的人才比较缺乏，大数据的产品尚不成熟等问题都制约着大数据在报警运营服务领域的发展。
总结
针对这些问题和难点，个人就一个方面提出自己的见解，大数据的信息采集和监测。就目前来说，大数据跟互联网是一个互相关联的整体。那么，在数据挖掘方面，对论坛，贴吧，微博，微信的信息采集就变得十分必要了。数据挖掘以后，还要对数据进行筛选和处理。此时，信息的监测就发挥作用了。就目前来说，能把信息采集和信息监测结合起来，运用到实际中的企业不多，可以留意一下这家，两个字的，快乐的“乐”，思考的“思”，在这方面具备一定的积淀和实力。大数据是一个新的行业。因此要找具备一定技术的，才能应用于安防领域，并产生应有的效果。

⑹ 大数据面临的技术挑战

上周在大数据的趋势和特点中，说到了人类这次面临的问题不是问题无法解决，而是问题过于复杂。采用机械思维，其速度和效率已经赶不上新问题的产生。正是在这种分工越来越细，协作越来越紧密，问题越来越复杂的背景下，产生了大数据思维。大数据思维也由其独特的体量大、多样性和完备性，使得过去看来很复杂很难处理的问题变得可以解决了。

其实早在20世纪60年代就有研究学者提出采用人工智能的方法来解决社会问题。当时的人工智能方法还是局限于通过首先了解人类是如何产生智能，然后让计算机按照人的思路去做。吴军老师在《智能时代》中说到：“在人类发明的历史上，很多领域早期的尝试都是模仿人或者动物的行为，因为这是我们的直觉最容易想到的方法。” 但是经过十几年的发展，科学家们发现采用上面的思路去发展人工智能，似乎解决不了什么实际问题。很多科学家开始反思人工智能的发展，而在之后的20年左右的时间，在人工智能学术界的研究是处于低谷的。20世纪70年代，人类开始尝试智能的另一条发展道路，即采用数据驱动和超级计算的方法。即便在10年前，那时我还在念书，也曾接触过人工神经网络算法。很显然，当时对机器智能的概念大家都还是比较模糊的，人工智能也还没有被我们提高到现在的高度。

机器智能的概念在60多年就被提出来了，真正的突破却在具有了大数据的今天。为什么大数据的拐点会发生在今天？大数据到底面临何种技术挑战？

过去的10年，最容易看到的特征就是全球数据量呈爆炸式增长。大数据的第一个来源是电脑本身；第二个来源是传感器；第三个来源是将那些过去已经存在的、以非数字化形式储存的信息数字化。据2015年思科公司的统计数据显示，从2009~2015年的6年时间内，企业级数据增长了50倍。当然数据的爆炸式增长，离不开电脑硬件、软件、互联网、数据储存、数据处理等一系列配套技术的发展和支撑。大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。目前这些技术难题不一定有最佳的解决方案，甚至不存在什么绝对好的解决办法。

一、数据收集

传统的数据方法常常是先有一个目的，然后开始收集数据。比如，海王星的发现就是在人们发现天王星运动轨迹和牛顿力学预测出来的不一样之后，天文学家拍了很多星空的照片后发现的；心理学研究也是在有了一个明确的研究课题后，再通过实验的方法采集数据，如 “棉花糖测验”系列实验，以及关于认知失调的“追随者案例”等等。大数据则避免了采样之苦，因为大数据常常以全集（大数据的特征之一）作为样本集。

但是，如何收集到全集就是一件很有挑战的事情了。目前一些聪明公司，比如Google, Facebook, 网络，京东都是绕一个弯子，间接地去收集数据，然后利用数据的相关性，导出自己想要的结论。但是即便是这些如此成功的公司，仍然也有很多失败的案例。2010年，Google推出了自己的电视机顶盒Google TV，为了获取数据为进入电视广告做准备。但是，由于Google TV销售得很差，最终Google彻底地放弃了这产品。到目前为止，无论是Google过去的机顶盒，还是后来的Chromecast，苹果的Apple TV，除了统计一下收视率，计算一下可能的广告观众，并没有什么大的作为。数据收集是一个开放性的话题，不存在唯一性或最佳方法，目前仍然面临着很大的挑战。

二、数据储存

仅Google街景地图每天产生的数据量就有1TB，假如一份数据存三个拷贝，一年下来就1PB。即使使用当今最大容量的10TB硬盘，也需要用100个。因此，不能简单地依靠设备来解决数据储存的问题，而是需要技术解决方案来提高储存效率，保证不断产生出来的数据都能存得下。目前的数据储存手段主要是从如下2个方面考虑：去除数据冗余和便于使用。去除数据冗余可以简单理解为去除数据中的重复部分，比如同一份附件在所有的邮件中只储存一次。这样，在去除数据冗余的过程中，相应的数据读写处理就要改变。是否有比现在更有效率的储存格式或方式，仍然是大数据所面临的挑战。另外，便于使用的思路是从使用者的角度就去考虑数据的储存。大数据之前，数据在设计文件系统的数据储存格式时，主要考虑的是规模小、维度少的结构化数据。到了大数据时代，不仅数据量和维度都剧增，而且大数据在形式上也没有固定模式，因此需要重新设计通用、有效和便捷的数据表示方式和储存方式。

三、数据处理

大数据由于体量大、维度多，处理起来计算量巨大，其处理效率是一大技术挑战。并行计算是目前解决计算量巨大的重要手段，但仍然存在一些的问题。例如，任何一个问题总用一部分计算是无法并行计算的，这类计算占比越大，并行处理的效率就越低；再次，并行计算中无法保证每一个小任务的计算量是相同的，这样一来，并行计算的效率也会大打折扣，即完成了自己计算任务的服务器需要等待个别尚未完成的服务器，最终的计算速度取决于最后完成的子任务。

四、数据挖掘

如何从一堆杂乱无章的数据中挖掘出有价值的信息，是机器智能的关键，也是大数据的使命。数据在进行降噪处理之后，基本就可以直接使用了，接下来的关键一步就是机器学习。目前广泛使用的机器学习算法有人工神经网络算法、最大熵模型、逻辑自回归等。Google公司的AlphaGo的训练算法就是人工神经网络。机器学习的过程是一个不断迭代、不断进化的过程，只要事先定出一个目前，这些算法就会不断地优化模型，让它越来越接近真实的情况。寻找更优算法一直也是科学家们探索的难题。

五、数据安全

大数据应用的一个挑战还来自数据安全的担忧和对隐私的诉求。2014年爆出的索尼公司丢失数据时，造成的损失高达1亿美元。比商业数据丢失后损失更大的是医疗数据的被盗。在中国，除了在北京建立了大数据中心，还在贵阳建立了大数据灾备中心，而且正筹备在内蒙古再建立另一个数据灾备中心。而关于数据隐私，我想大家应该是深有感触，由于信息泄露而带来的骚扰电话以及电信诈骗，就发生在我们每个人身上。据《智能时代》中记载：“在美国的黑市上，一个医疗记录的卖家是商业数据的50倍左右”。可见，数据安全已然成为大数据发展的一大隐患和难题。

上述大数据5个方面的技术挑战并不是独立的，而是相辅相成、互相影响的。关于大数据的技术挑战在此仅谈谈个人的一点认识，希望对大家在这方面的思考有所帮助。下周我们继续聊，大数据给我们带来便利以及隐患。

⑺ 大数据分析中有哪些难点

1.很难取得用户操作行为完好日志

现阶段数据剖析以统计为主，如用户量、使用时间点时长和使用频率等。一是需要辨认用户，二是记录行为简单引起程序运转速度，三是开发本钱较高。

2.需要剖析人员足够的了解产品

产品有了核心方针，拆分用户操作任务和意图，剖析才会有意图，否则拿到一堆数据不知怎么下手。比方讲输入法的核心方针设为每分钟输入频率，顺着这个方针可以剖分出哪些因素正向影响(如按键简单点击)和反向影响(如模糊音、误点击和点击退格键的次数)核心方针。

3.短期内可能难以发挥作用

数据剖析需要不断的试错，很难在短期内证明方法的有效性，可能难以取得其他人物的支撑。

4.将剖析转化为有指导意义的定论或者规划

看过某使用的近四十个设置项的使用比例，修正皮肤使用率较高，而单个选项使用率不到0.1%，顺次数据可以调整设置项的层级关系，重要的选项放置到一级着重显现，低于5%的可以放置二三级。功能使用率的剖析是比较简单的切入点。

5.明确用户操作意图

功能对于用户而言，使用率不是越高越好。添加达到的方针的途径，用户考虑本钱添加，操作次数会添加，比方查找。在使用中使用查找可能阐明用户没有经过浏览找到想要的内容，如果用户查找热门内容，阐明使用展示信息的方法出现问题。

关于大数据分析中有哪些难点，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

⑻ 大数据的真正难点是什么

大数据真正的难点，是花费了巨额成本和大量精力，得到的数据没法转化成实际的效果。数据向大数据转化了，可是使用配合数据的整个行动框架没有变化，或者还没法跟上大数据的变化，那就形成了错位。所以目前用的最好的大数据都是高价值实时应用场景下有明确对应关系的情况，比如安全领域、物流内部管理领域等。

⑼ 大数据分析和数据监测为什么是难点

1、信息碎片化
在互联网上传播产生的信息数据量是海量的，且舆论话内语权分散，各类容数据随手可得
2、技术更不上
大数据技术更新迭代快速，全网的数据挖掘及分析对技术要求极高
3、人力物力有限
仅靠人工搜索的方式收集、汇总、分析，难度系数堪比大海捞针
难点虽多，但也有很多方式方法可以解决，很多政企机构会借助一些大数据监测分析系统，运用大数据技术，实现分析与监测的目的。我个人推荐几家市面上大数据系统做的比较好龙头公司，新浪舆情通、蚁坊、灯塔舆情等。舆情通我用过，客服很耐心解答。

⑽ 工业大数据应用难点有哪些

工业大数据应用难点有：

一是大数据技术的运用困难，存在数据不足、数据信噪比低以及数据分析难度高等问题。

二是大数据给信息安全带来新挑战，如工业大数据加大了隐私泄露的风险，对现有存储和安全措施提出了更高要求，以及大数据正在被运用到新的攻击手段中。

目前，工业大数据在产品创新设计、产品故障诊断与预测、供应链的分析和优化、产品销售预测与大数据营销、生产计划与排程、产品质量管理与分析等场景有广泛的应用。“数据是工业互联网的血液。”何友如此描述大数据与工业互联网的互为动力。

不过，由于工业大数据数据价值密度高，数据类型繁多，多源异构的机构化数据和非结构化数据并存，数据处理实行性要求也非常高，数据关系和关联性异常复杂等特征，企业如何从数据统计分析能力转变为大数据分析、预测和决策能力，促进传统工业升级改造和产业整合，是目前要解决的核心关键问题。