① 大数据处理_大数据处理技术
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。
大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。
一、大数据采集技术
数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型，开发数据质量技术。
互联网是个神奇的大网，大数据开发和软件定制也是一种模式，这里提供最详细的报价，如果你真的想做，可以来这里，这个手技的开始数字是一八七中间的是三儿零最后的是一四二五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面的内容，如果只是凑热闹的话，就不要来了。
大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术，大数据获取、存储滚掘、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。
二、大数据预处理技术
主要完成对已接收数据的辨析、抽取、清洗等操作。1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。2)清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。
三、大数据存储及管理技术
大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。
开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数据库，分为历备吵：键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。
开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。
四、大数据分析及挖掘技术
大数据分析技术。改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。
数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据肢侍挖掘涉及的技术方法很多，有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分，可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析
(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法，另外还有面向属性的归纳方法。
从挖掘任务和挖掘方法的角度，着重突破：
1.可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。
2.数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很高的处理速度。
3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。
4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。
5.数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。
六、大数据展现与应用技术
大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。
② 大数据面临的技术挑战
上周在大数据的趋势和特点中，说到了人类这次面临的问题不是问题无法解决，而是问题过于复杂。采用机械思维，其速度和效率已经赶不上新问题的产生。正是在这种分工越来越细，协作越来越紧密，问题越来越复杂的背景下，产生了大数据思维。大数据思维也由其独特的体量大、多样性和完备性，使得过去看来很复杂很难处理的问题变得可以解决了。
其实早在20世纪60年代就有研究学者提出采用人工智能的方法来解决社会问题。当时的人工智能方法还是局限于通过首先了解人类是如何产生智能，然后让计算机按照人的思路去做。吴军老师在《智能时代》中说到：“在人类发明的历史上，很多领域早期的尝试都是模仿人或者动物的行为，因为这是我们的直觉最容易想到的方法。” 但是经过十几年的发展，科学家们发现采用上面的思路去发展人工智能，似乎解决不了什么实际问题。很多科学家开始反思人工智能的发展，而在之后的20年左右的时间，在人工智能学术界的研究是处于低谷的。20世纪70年代，人类开始尝试智能的另一条发展道路，即采用数据驱动和超级计算的方法。即便在10年前，那时我还在念书，也曾接触过人工神经网络算法。很显然，当时对机器智能的概念大家都还是比较模糊的，人工智能也还没有被我们提高到现在的高度。
机器智能的概念在60多年就被提出来了，真正的突破却在具有了大数据的今天。为什么大数据的拐点会发生在今天？大数据到底面临何种技术挑战？
过去的10年，最容易看到的特征就是全球数据量呈爆炸式增长。大数据的第一个来源是电脑本身；第二个来源是传感器；第三个来源是将那些过去已经存在的、以非数字化形式储存的信息数字化。据2015年思科公司的统计数据显示，从2009~2015年的6年时间内，企业级数据增长了50倍。当然数据的爆炸式增长，离不开电脑硬件、软件、互联网、数据储存、数据处理等一系列配套技术的发展和支撑。大数据实际上是对计算机科学、电机工程、通信、应用数学和认知科学发展的一个综合考量。目前这些技术难题不一定有最佳的解决方案，甚至不存在什么绝对好的解决办法。
一、数据收集
传统的数据方法常常是先有一个目的，然后开始收集数据。比如，海王星的发现就是在人们发现天王星运动轨迹和牛顿力学预测出来的不一样之后，天文学家拍了很多星空的照片后发现的；心理学研究也是在有了一个明确的研究课题后，再通过实验的方法采集数据，如 “棉花糖测验”系列实验，以及关于认知失调的“追随者案例”等等。大数据则避免了采样之苦，因为大数据常常以全集（大数据的特征之一）作为样本集。
但是，如何收集到全集就是一件很有挑战的事情了。目前一些聪明公司，比如Google, Facebook, 网络，京东都是绕一个弯子，间接地去收集数据，然后利用数据的相关性，导出自己想要的结论。但是即便是这些如此成功的公司，仍然也有很多失败的案例。2010年，Google推出了自己的电视机顶盒Google TV，为了获取数据为进入电视广告做准备。但是，由于Google TV销售得很差，最终Google彻底地放弃了这产品。到目前为止，无论是Google过去的机顶盒，还是后来的Chromecast，苹果的Apple TV，除了统计一下收视率，计算一下可能的广告观众，并没有什么大的作为。数据收集是一个开放性的话题，不存在唯一性或最佳方法，目前仍然面临着很大的挑战。
二、数据储存
仅Google街景地图每天产生的数据量就有1TB，假如一份数据存三个拷贝，一年下来就1PB。即使使用当今最大容量的10TB硬盘，也需要用100个。因此，不能简单地依靠设备来解决数据储存的问题，而是需要技术解决方案来提高储存效率，保证不断产生出来的数据都能存得下。目前的数据储存手段主要是从如下2个方面考虑：去除数据冗余和便于使用。去除数据冗余可以简单理解为去除数据中的重复部分，比如同一份附件在所有的邮件中只储存一次。这样，在去除数据冗余的过程中，相应的数据读写处理就要改变。是否有比现在更有效率的储存格式或方式，仍然是大数据所面临的挑战。另外，便于使用的思路是从使用者的角度就去考虑数据的储存。大数据之前，数据在设计文件系统的数据储存格式时，主要考虑的是规模小、维度少的结构化数据。到了大数据时代，不仅数据量和维度都剧增，而且大数据在形式上也没有固定模式，因此需要重新设计通用、有效和便捷的数据表示方式和储存方式。
三、数据处理
大数据由于体量大、维度多，处理起来计算量巨大，其处理效率是一大技术挑战。并行计算是目前解决计算量巨大的重要手段，但仍然存在一些的问题。例如，任何一个问题总用一部分计算是无法并行计算的，这类计算占比越大，并行处理的效率就越低；再次，并行计算中无法保证每一个小任务的计算量是相同的，这样一来，并行计算的效率也会大打折扣，即完成了自己计算任务的服务器需要等待个别尚未完成的服务器，最终的计算速度取决于最后完成的子任务。
四、数据挖掘
如何从一堆杂乱无章的数据中挖掘出有价值的信息，是机器智能的关键，也是大数据的使命。数据在进行降噪处理之后，基本就可以直接使用了，接下来的关键一步就是机器学习。目前广泛使用的机器学习算法有人工神经网络算法、最大熵模型、逻辑自回归等。Google公司的AlphaGo的训练算法就是人工神经网络。机器学习的过程是一个不断迭代、不断进化的过程，只要事先定出一个目前，这些算法就会不断地优化模型，让它越来越接近真实的情况。寻找更优算法一直也是科学家们探索的难题。
五、数据安全
大数据应用的一个挑战还来自数据安全的担忧和对隐私的诉求。2014年爆出的索尼公司丢失数据时，造成的损失高达1亿美元。比商业数据丢失后损失更大的是医疗数据的被盗。在中国，除了在北京建立了大数据中心，还在贵阳建立了大数据灾备中心，而且正筹备在内蒙古再建立另一个数据灾备中心。而关于数据隐私，我想大家应该是深有感触，由于信息泄露而带来的骚扰电话以及电信诈骗，就发生在我们每个人身上。据《智能时代》中记载：“在美国的黑市上，一个医疗记录的卖家是商业数据的50倍左右”。可见，数据安全已然成为大数据发展的一大隐患和难题。
上述大数据5个方面的技术挑战并不是独立的，而是相辅相成、互相影响的。关于大数据的技术挑战在此仅谈谈个人的一点认识，希望对大家在这方面的思考有所帮助。下周我们继续聊，大数据给我们带来便利以及隐患。
③ 运营商发展大数据的核心价值在于商业化
运营商发展大数据的核心价值在于商业化
近年来，电信运营商利润率增幅放缓甚至下降，传统话音业务收入增长乏力，日趋边缘化、管道化；数据业务占比迅速增长，但量收的剪刀差持续扩大，投入多回报少。
在运营商转型路上，大数据技术的深入应用与商业模式的开发大有可为，可以说是运营商规避同质化竞争，打造智能数据管道，寻找差异化经营“蓝海”的必由之路。大数据的技术架构寻求高性能与低成本的统一，可以降低电信运营商庞大的IT资本开支压力。大数据的商业应用促使电信运营商从单纯提供网络资源、前向收费方式转变为基于网络资源和依据海量数据资源提供服务的灵活多样的混合模式，是一种新的商业模式。
国内运营商大数据应用受限
国内电信运营商在大数据应用方面主要受到了以下方面的限制。
第一，数据采集散乱、深度不足：电信运营商拥有海量数据的来源，但采集渠道散乱，通常分级、分地区、分系统建设，整体规划不足，数据标准化程度低，汇聚困难，无法形成有效的数据资产。
第二，数据分析能力不足：电信运营商建有以数据仓库为核心的经营分析系统，通常采用小型机加高性能存储架构建设，针对传统话单日志等结构化数据设计，还不具备非结构化数据与流数据的分析处理能力。
第三，数据商业应用不足：电信运营商大量数据尚没有充分发掘数据应有的价值，智能管道的建设正处在初期阶段。现有分析系统仅对内部提供服务，缺乏对外数据开放平台，大量数据未能有效进行商业利用。
电信运营商大数据发展探析
（1）大数据的政策支撑
电信运营商应积极寻求政府的支持，推动政府为大数据产业发展提供积极的政策支撑与引导、对关键技术的研发提供专项财政资金支持、对重点工程项目的实施提供支持与保障。电信运营商应高度重视大数据信息安全，推动政府部门牵头启动大数据立法，解决大数据信息权属与隐私保护问题；制定大数据技术标准与运营标准，规范大数据安全体系。通过政策支撑保障大数据产业的可持续发展。
2012年10月，中国计算机学会和中国通信学会均成立了大数据专家委员会，从行业学会的层面来组织和推动大数据的相关产学研用活动。运营商可以依托该平台推动企业内部大数据的发展。
（2）大数据技术架构与算法的研发
根据2012年美国市场调查咨询公司（Gartner）发布的新兴技术曲线，大数据技术正处于“期望膨胀期”，距离真正成熟尚需2~5年。电信运营商应抓住机遇加强技术研发，在开源技术的基础上，发展适合运营商的大数据技术；同时应积极对技术标准做出贡献，掌握技术主动权。在技术的拓展可主要集中在三个方面：（a）大数据的采集与传输技术。采集技术是指基于智能管道和物联网的大数据获取技术和算法；大数据传输技术研究应注重海量数据传输的安全可靠性，解决调度与控制问题。（b）大数据的存储与分析技术。存储技术主要指面向海量数据文件的有效存储与读取能力、大数据的新型表示方法和去冗降噪算法；分析技术的拓展方向应包括数据可用性和可计算性，计算复杂性问题，研究求解算法，进行高效处理等。（c）大数据的隐私安全技术。在大数据时代，如何保护用户隐私安全不仅是法规层面需要解决的问题，也是电信运营商在技术层面亟待解决的问题。
（3）大数据支撑运营中心
运营商要充分发挥大数据的价值，首要条件是具备采集、融合、存储、分析海量数据的能力。电信运营商可以在现有经分系统或数据仓库的基础上，针对目前数据采集散乱、采集深度不足、分析能力不足的问题，构建数据集中、平台统一的省级或全国级大数据支撑运营中心，为大数据的应用与商业化提供精确支撑。大数据支撑运营中心可以设置如下逻辑架构。
数据采集层：通过建设数据采集聚合网关，汇聚跨地区、跨系统的采集的丰富数据源。
数据融合层：建设海量结构化数据、非结构化数据以及流数据处理能力，建立数据标准化体系，进行统一处理和存储。
数据应用层：通过构建不同的数据挖掘与分析模型，融合结构化数据，形成数据仓库，对外提供统一服务能力。
资源管理层：提供统一监控、资源管理与运营等功能。
（4）大数据应用与商业化
大数据应用与商业化是大数据发展的核心价值与落脚点。电信运营商拥有极其丰富的数据资源，相比互联网公司更具天然优势。对大数据进行全面、深入、实时的分析和应用，以客户体验为核心发展流量经营，是电信运营商应对新形势下挑战避免沦为哑管道的关键。
通过大数据助力业务创新，提供市场营销与客户服务的精准支撑能力。在互联网社会中，拥有数据，就拥有了了解用户行为的基础，从足够多数据的叠加中可以探知一个人的过往行为，同时可以精准的预测出其未来的需求。通过对海量的行为和内容数据处理，可以获得用户的时间、位置、业务、终端等基础信息，分析出用户的身份、兴趣、社交圈等，这样可以开发出很多新的增值业务。
通过大数据提升企业管理水平，提供透明管控与科学运营的精准支撑能力。运营商可以融合市场、财务、网络等多个系统产生的海量数据，将相关联的数据进行处理分析，有利于运营商更全面、更准确、更快速地获得企业运营数据，为投资决策和网络优化方案提供更多视角。
通过大数据发展开放合作平台，开辟新的商业模式，助力电信运营商转型。电信运营商可以通过大数据支撑运营中心发展开放合作平台，为广大开发者提供海量数据资源，发挥大数据的价值，将数据作为资源，进而提升的运营商利润增长点。
大数据技术的发展及规模商用，使得电信运营商能够充分挖掘管道内容，创造新的业务增长模式，应对“去电信化”的趋势，转型为综合信息服务提供商，成为未来大数据时代中最大的赢家。但在推动商业化应用的过程中还应全面认识大数据的内涵，避免陷入单纯的计算能力和存储能力建设，要清醒认识大数据发展的成熟度，客观分析用户的应用需求，避免过度建设
④ 大数据预处理有哪些技术及方法呢
1）数据清理
数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点，并且解决不一致性来进行“清理数据”。
2）数据集成
数据集成过程将来自多个数据源的数据集成到一起。
3）数据规约
数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。
4）数据变换
通过变换使用规范化、数据离散化和概念分层等方法，使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。
1）缺失值
对于缺失液蔽消值的处理，一般是能补的就想办法把它补上，实在补不上的就丢弃处理。
通常的处理方法有：忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。
2）噪声数据
噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。
3）数据清理过程
这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。
数据清理的原理是通过分析“无效数据”产生的原因和存在形式，利用现有的技术手段和方法去清理，将“无效数据”转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。
常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。
4）模型构建数据统计分析
数据统计为模型构建提供基础，只有通过数据统计分析探索到了数据中隐藏的规律，深度学习才有意义，人工智能才有可能。
数据统计又包括数据分析与结果分析，基本的分析方法有：对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。
高级的分析方法有：主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的，往往是混合使用的，然后再通过进一步闹知的分析对比从中挑选某些组合模型。
5）数据可视化
数据可视化，就是通过一些可视化图形或者报表形式进行并慧展示，增强对分析结果的理解。再针对结果进行进一步的数据再分析，使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。
⑤ 大数据处理技术之冗余消除
我们在分析数据的时候，需要对数据进行整理，这样就能够方便数据分析工作。当然，数据加工是数据分析工作之前的工作，而在大数据处理中有很多数据整理的技术，其中最常见的就是冗余消除，那么什么是数据冗余呢？在这篇文章中我们就详细地给大家解答一下这个问题。
首先我们说一下数据冗余，其实数据冗余就是指数据的重复或过剩，这是许多数据集的常见问题。数据冗余无疑会增加传输开销，浪费存储空间，导致数据不一致，降低可靠性。所以许多研究提出了数据冗余减少机制，比如说冗余检测和数据压缩。这些方法能够用于不同的数据集和应用环境，提升性能，但同时也带来一定风险。举一个例子，数据压缩方法在进行数据压缩和解压缩时带来了额外的计算负担，因此需要在冗余减少带来的好处和增加的负担之间进行折中。而由广泛部署的摄像头收集的图像和视频数据存在大量的数据冗余。在视频监控数据中，大量的图像和视频数据存在着时间、空间和统计上的冗余。视频压缩技术被用于减少视频数据的冗余，许多重要的标准已被应用以减少存储和传输的负担。
而对于普通的数据传输和存储，这就涉及到了一个技术，那就是数据去重技术，数据去重技术是专用的数据压缩技术，用于消除重复数据的副本。在存储去重过程中，一个唯一的数据块或数据段将分配一个标识并存储，这个标识会加入一个标识列表。当去重过程继续时，一个标识已存在于标识列表中的新数据块将被认为是冗余的块。该数据块将被一个指向已存储数据块指针的引用替代。通过这种方式，任何给定的数据块只有一个实例存在。去重技术能够显著地减少存储空间，对大数据存储系统具有非常重要的作用。
在上面的内容中我们给大家介绍了很多数据预处理的方法，其实还有一种方法就是对特定数据对象进行预处理的技术，比如说特征提取技术，在多媒体搜索和DNS分析中起着重要的作用。这些数据对象通常具有高维特征矢量。数据变形技术则通常用于处理分布式数据源产生的异构数据，对处理商业数据非常有用。
通过这篇文章我们不难发现数据处理的技术是十分的复杂，不过这些技术都是能够更好地帮助我们进行数据冗余消除工作。所以说我们在进行清除冗余数据之前一定要多多掌握清除冗余的方法。这样才能够为后续的数据分析工作做好基础。