大数据热起来之后

『壹』 大数据时代的到来会为社会发展带来哪些影响

对社会管理提出了更高的要求、考验政府的危机应急能力和让个人隐私和国家机密更容易被泄露和窃取。

1、大数据的大众性对社会管理提出了更高的要求

在大数据时代，各类信息大规模的自由流动使得民众参与社会管理和政治事务的热情很容易被点燃，而这些海量的数据鱼目混珠，其中有很多假信息、伪信息和谣言，这对信息的监管提出了更高的要求。

2、大数据的即时性考验政府的危机应急能力

大数据时代，数据的传播不受时间和空间的限制，产生后便可即时传播，使得一旦发生社会事件，信息会通过各种渠道在第一时间传播到公众中，而公众的情绪也能第一时间呈现在庞大的数据洪流中，这让个别事件在快速传播之后会从局部事件迅速变成公众事件。

利用大数据技术，在发生一起公共事件后，通过开放式的软件平台，人人都可能实时地将自己所看、所听及所知的具体细节上传。

在这一人人参与的过程中，人们的心理也会不知不觉发生变化，形成一种共同意识，因为他们在参与的同时，也是在进行一种公开的表达。一个能够进行公开表达的人群就构成了德国政治哲学家哈贝马斯所说的“公共领域”。

3、大数据技术让个人隐私和国家机密更容易被泄露和窃取

大数据时代的到来使得各类信息的公开性和可获得性空前增加，但这并不意味着任何信息都可以被轻率地使用。

在不断进步和革新的大数据技术面前，个人的隐私面临越来越容易泄露的风险，因为日常的电话记录、邮件往来、经济消费、交通出行、甚至是医疗档案等个人信息都在逐渐实现数据化管理和存储，而这些数据都并非绝对安全。

(1)大数据热起来之后扩展阅读

在大数据时代，鉴于离散型的文献和文献检索方法已无法满足社会科学研究者对专题性、指向性强的学术文献的需求，文献信息服务机构应推进集成式检索，优化数据挖掘技术、知识发现技术，提供定制化、个性化、知识化服务。

尤其是建立面向科技创新基地、科研院所、课题组乃至个人的学科化服务机制，进一步拓宽文献信息服务范围，提升服务层次，加快学术交流和信息、知识的传播速度，提高文献信息资源的利用率和共享率，使文献信息服务机构的服务更直接、更有针对性，更好地服务于创新研究。

对大数据的探索只是刚刚开始，科学认识和把握大数据与经济社会发展的内在关系、与信息和知识管理的内在关系，可能是包括文献信息工作者在内的整个学术界在今后相当长一段时间的重要课题。

因此，文献信息工作者不能停留在低层次、低水平重复的传统内容生产模式上，而应适应大数据时代的新形势，推进知识生产过程的有序化、结构化。

人类正处在一个强调知识和信息的时代。培根曾提出“知识就是力量”，后来学术界又提出“信息就是力量”。现在，又有学者提出“共享知识就是力量”，强调把信息管理、信息共享提升到知识管理和知识共享的阶段。

利用互联网来构建知识社会，在网络环境下实现知识交流与共享，这体现了时代的进步，有着丰富的时代内涵。在大数据时代，我们应做好数据管控，把“共享知识就是力量”的理念贯彻到知识服务实践中。

『贰』 大数据培训学大数据以后可以做什么

在国内，与大数据相关的岗位主要分为以下几类：

数据分析师：运用工具，提取回、答分析、呈现数据，实现数据的商业意义，需要业务理解和工具应用能力
数据挖掘师/算法工程师：数据建模、机器学习和算法实现，需要业务理解、熟悉算法和精通计算机编程
大数据工程师：运用编程语言实现数据平台和数据管道开发，需要计算机编程能力
数据架构师：高级算法设计与优化;数据相关系统设计与优化，有垂直行业经验最佳，需要平台级开发和架构设计能力

『叁』 大数据应用方向思考

大数据应用方向思考
一、警惕大数据过热
1.1过热产生盲目性
国内大数据的宣传早已过热，很多区县级政府也在考虑成立大数据局，政府对大数据热几乎没有抵抗力，企业没有紧跟就对了，在大数据高潮中反省政府的大数据行为、冷静一下头脑是有益的，毕竟大数据应用是一个经济问题，一窝蜂地大数据会使人犯“大炼钢铁”一类的错误。
1.2大数据应用效益存在问题
大数据最积极的推动者是政府，但是政府工作如何从大数据应用中获益一直没有清晰的答案，有效的大数据应用集中于互联网企业和金融领域并非政府工作，迄今一本像样的政府大数据应用案例都编写不出来，这种情况下推力政府大数据应用会带有很大的盲目性，这是技术导向而不是问题导向，技术导向必然会造成浪费。
1.3大数据不是包治百病的神药
现在对大数据的宣传已经远远胜过对城市问题的探讨，问题还没搞清药方就先开出来了，大数据药方再灵也不可能解决自己都没有诊断清楚的问题。任何技术都有其长处和短处，大数据也是一样，都有其能解决与不能解决的问题，各地政府首先要明确要问题是什么，然后再审视大数据技术能否发挥作用，不能反过来先定大数据再去找问题，政府工作明确目标永远比搞清技术更重要。
二、大数据源自互联网的推动
2.1大数据是如何产生的?
任何有社会影响力的新名词都不是望文生义可以解释的，这些名词都被赋予了成语含义，“大数据”便是其一。历史上超大规模的数据很多却不被称为大数据，是因为单纯数据量增长并没有形成巨大社会影响力。
大数据概念是大的数据量与现代信息技术环境相结合涌现的结果，因此引发了巨大的效益机会，“大数据”一词的发明与宣传是为了抓住这个新机会。
2.2没有互联网便没有大数据
任何资源的价值展现都离不开特定的环境，互联网前的海量数据因缺少规模化的社会应用而不为人们重视，互联网创造了大数据应用的规模化环境，大数据应用成功的案例大都是在互联网上发生的，互联网业务提供了数据，互联网企业开发了处理软件，互联网企业的创新带来了大数据应用的活跃，没有互联网便没有今天的大数据产业。
2.3大数据是“大智移云物”的共同产物
如果没有汽车与高速公路石油产业不会那么重要，同样，没有互联网、云计算、物联网、移动终端与人工智能组合的环境大数据也没那么重要。大数据的价值并非与生俱来而是应用创新之结果，价值是由技术组合创新涌现出来的。离开环境的支持大数据毫无价值，就像离开了身体的手不再有手的功能一样。
三、传统大数据思维局限于支持决策
3.1传统的大数据应用理念
人们对事物的想象力很容易受所用词汇的暗示，“大数据”容易暗示人们关注数据规模而忽略信息技术背境的巨大变化所涌现的新机会。政府官员的工作经历很容易把大数据应用想象为只是统计应用在数量上的升级，大数据的作用是提取信息，信息的作用是改进决策，数据多意味着信息多，信息越多决策就越准确。在不少干部的理解中，部门数据整合起来就是大数据。
3.2两种数据使用方向：支持决策与支持操作
在政府的工作中，数据对领导层的作用主要是改进决策，但基层工作人员不需要决策，数据是用来直接操作的。政府公共服务业务主要是操作问题，服务是规范的数据处理，基层工作人员只是按章办事不需要决策分析。使用信息技术是为了提高操作服务的效率。发改委等十部门提出的“一号一窗一网”的服务要求所要解决的只是提高操作的效率。改进决策与改进操作是大数据两种不同的使用方向。
3.3专家(人脑)与系统(电脑)使用大数据的特点
支持决策的数据应用是面向专家(包括领导)的，专家需要从数据中提取信息，以信息支持决策，从数据中领悟信息是人脑独有的本领，但不同人信息领悟力并不一致，同样的数据不同人领悟的信息不同，对决策的影响也不同，应用结果的不确定性是专家使用大数据的特点。。
支持操作的数据应用不能有不确定性，操作系统的数据应用是由系统控制的，操作按确定的规则进行，没有自由量裁的可能，数据应用结果由软件决定，这种应用是电脑在使用数据，电脑不懂信息只会严格依数据操作，这种使用数据的模式保证了大规模业务行为的一致性。
3.4政府不能忽略操作型大数据应用
政府工作存在着两种大数据应用：支持决策与支持操作，但是在多数政府官员只想着大数据支持决策而想不到改进服务操作更有效益。大部分的政府服务的精细化改进并不是决策层次上改进，而是操作层次上的改进，政府提出的“一号一窗一网”式服务关键是提高操作的效率，实践证明操作的优化的改进空间更大，大数据在提高政府决策水平上的成效往往不如提高操作效率成效明显。
四、大数据决策的局限性
4.1大数据小数据的不同来源
以数据量来划分大数据与小数据会忽略两种数据更实质的差别，从数据产生的过程看，小数据是经人触摸过的数据，包括人工填报或更新、核对等。大数据是机器自动记录的、未经人触摸过数据。
小数据来自业务流程中的人工填报、统计调查等渠道，统计调查是可以根据决策信息的需要专门设计的，为降低成本统计经常采用抽样调查的方法。
大数据来自自动化业务运行的副产品，出于成本的考虑，政府不大可能专为收集信息而设计大数据收集链，为决策服务大数据只能利用业务系统产生的数据副产品，大数据的收集成本是由业务系统承担的。大数据的来源受到业务系统种类的限制，不是所有的信息需求都能找到恰当的数据源。
4.2大数据适合小决策而不适合大决策
大数据适合在狭窄范围内对具体事务决策而不适合于大范围的决策。因为大数据的形成包含着先天的局限性，很多影响重大决策的信息恰恰是无法数字化的，例如国内外形势、技术创新、队伍士气、重大事件(类似美国9.11事件)都无法数字化，可数字化的现象只是小部分，以为靠数据决策就能更全面也是一种误解。政府重大决策需要考虑各方面的平衡，局部领域的大数据仅适合局部领域的决策，不适合面向全局的政府决策，精细化与全面性是不可得兼的。
4.3改进政府操作的大数据应用
政府的大数据应用不能只关注决策应用，改进操作的大数据应用往往能够获得更好的效益。政府对公众的服务主要使用的还是以小数据为中心的数据库，但是融入现场服务数据的应用可以将服务提高到大数据的层次上并增加智能化的应用。对政府基层工作人员的支持现场化、连机化，通过云平台与实时通信能显著提高一线人员的工作效率，是提高政府基层服务的智能化的重要措施，以改进服务操作效率的智能大数据应用会有更大的成效。
五、没有人脑参与系统才能高效与智能
5.1人脑使用数据模式的效率制约
为人脑决策使用的大数据应用模式存在两点不足：一是效率上不去，大数据分析结果一旦交付大数据应用就结束了，无法形成连续服务型业务，信息的进一步应用是领导的事情，与大数据处理无关了，人脑决策的慢节奏抵消了大数据快处理的价值。
其次是大数据信息决策的效果的不确定性，决策质量与领导人的知识、思维方式、决策风格密切相关，决策效果又与执行团队的能力相关，涉及的不确定因素太多。人脑使用数据的模式无法实现数据应用效果的确定性。
5.2电脑使用数据模式的效率优势
电脑使用数据的模式排除了人脑的参与，系统完全是由事先编写的软件直接处理数据，排除了人脑介入有两点好处：一是运行速度快，信息技术的速度优势得以充分发挥;二是保证了结果的确定性，系统的行为是可预测的，这将有利于系统可成为可组合、可叠加的功能模块，能够被集成为更复杂的系统。
5.3智能大数据应用可形成连续性业务
排除人脑参与的数据应用模式是信息技术的自动化应用，这种模式可综合使用各种技术资源(包括云平台、物联网、移动终端、人工智能等等)建立高速、流畅连续型服务，进入智能服务的新阶段，常见的互联网搜索、电子商务、移动支付、摩拜单车、蚂蚁金服无一不是这类的智能大数据应用，这种持续的智能大数据服务更受公众欢迎、社会影响力也更大。
六、智能大数据应用的发展空间
6.1所有的智能应用都是大数据应用
大数据是机器与机器对话的语言，只有机器与机器的高速对话才能产生如此规模的大数据。物联网、云平台、宽带网、移动终端等设施要发挥作用都要依赖机器与机器的对话，随着信息技术的大发展，机器与机器的对话速度越来越快、范围越来越广、规模越来越大，系统也越来越智能化，所有的智能数据应用都属于大数据的应用范围。
6.2智能化的作用是提高执行的效果
虽然大数据可以用于改进决策，但智能化的目标是提高执行的效果。计算机系统的作用是使规范性、可重复的工作做的更快。对于需要创造性的、非重复性的工作信息技术是依然无能为力的，人们发现几十年来计算机对于人脑决策能力的提高始终不大，智能化应用机会还是集中在对规范业务的改进，规范业务是确定性的服务，远比充满不确定性的决策业务更能让计算机发挥作用。
6.3操作型大数据应用的智能化趋势
以提高执行效率为目标的大数据应用将向智能化发展，以互联网为基层的现代信息技术的大发展已经为服务的智能化创造力良好的条件，早期由于通信与网络能力的限制只能在一台设备上存储自动处理系统被称为自动化处理阶段，今天自动处理系统可以综合应用网络通信、云平台数据与软件、物联网感知数据与机器学习来实现更有效的自动管理，则被称为智能化服务阶段，排除了人脑参与的大数据应用进入智能化服务没有任何障碍，大数据应用智能化成为必然趋势。
七、智能大数据应用的活力
7.1 鲜活的数据
智能化应用中的大数据资源与信息决策中的数据资源的重大不同在于前者是动态形成的，其数据环境是不断变化、不断更新的，很多数据是在运行中自动生成的，数据资源与智能系统共生，这种数据资源很难转让，数据与服务系统是统一的生命体不能单独存在的，离开了系统的数据可以用来分析但失去了原来的意义，如同离开了人体的手再也没有原来的功能了。
7.2 实时的处理
在智能系统中的大数据应用是实时处理，面向信息决策中的大数据应用是批处理。实时处理能够确保及时性，这对于提高服务效率、保持业务的连续性很重要，现在强调“一号一窗一网”式的为民办事离不开对数据的实时处理。而信息决策类大数据应用则并不需要这种高效。
7.3持续高效的服务
智能化的大数据应用排除了人脑的干预，全部流程都是由电脑对电脑一气呵成，这样就能够达到很高的运行效率，而这是智能化系统巨大的优势，也是智能服务系统得以生存的原因，不论是搜索、购物还是其它自动化的服务，人的耐心都是很有限的，处理慢一点人们就会弃之而去。在信息决策大数据应用的结果是供人脑一次性使用的，处理速度就不那么重要了。
7.4不断积累的智慧
能够不断积累智慧的业务更有活力，易于修改是以软件为基础的业务的极大优点，这使得软件系统成为积累智慧最方便的工具，信息系统的高速发展也得益于系统智慧积累的能力。一项可持续的智能化业务系统始终处于不停的改进、完善与扩展之中，不断推出新版本的过程是智慧积累的过程，智慧的不断积累增添了系统的服务能力与可持续性。
信息决策大数据应用则不具有这一优势，其业务不连续很难推出一个又一个的新版本，智慧积累效率就慢多了。
八、小数据服务决定大数据中心的生存
8.1数据资源的时效性
数据资源像蔬菜一样有保鲜期，极少有越老越值钱的数据。数据集中存储很容易，由此而来的数据质量维护却是一大难题。数据生成得快贬值也快，很多数据往往还来不及处理数据就失效了，反而是那些变化稍慢、稳定期稍长的数据容易得到较多用户且服务也容易开展，这类数据大部分是小数据。
不同的数据使用方式对数据质量有不同的要求，面向操作的应用则对数据质量非常敏感，例如证照库若不能及时更新就无法使用。信息决策类应用对数据的敏感性会差一些，大数据中心应当使数据的时效性与应用需求同步，要根据需求的价值有重点有选择地组织好数据质量的维护。
8.2大数据交易中心的困难
大数据交易中心与成为建设热点，在大数据应用刚刚开始，人们还没搞清大数据交易是什么概念时就建交易中心实在太早了。
实时服务的智能大数据应用的数据是鲜活的、是服务中自动生成的动态数据，要交易的是动态数据流还是截取的静态数据，动态的大数据交易很难，不仅谈判难处理也难，用户需要建立动态数据的实时处理系统。
静态的大数据交易更可行一些，但数据资源与应用需求并不容易匹配，这将会限制交易数的增长，另一困难是隐私权保护问题，数据需要脱敏，未脱敏的数据交易会受到限制，交易中心将长期面对交易稀缺的局面，经营很不容易。
8.3小数据服务需要补课
发达国家是在小数据充分应用之后才开始应用大数据，国内是在小数据应用还很不足时跨越式应用大数据。小数据应用补课是各地大数据中心必须重视的问题。要看到越是简单的东西应用面越广，小数据的应用空间比大数据大得多，尤其是整合后的小数据服务，极可能成为的数据中心最火的业务。
政府服务的精细化依赖的主要是小数据，把小数据的整合服务做好，大数据中心的工作即完成了90%，千万不能轻视小数据服务，大数据中心的立身之本恰恰是小数据整合服务。
8.4大数据中心的经济价值
大数据中心的生存本质上是一个经济问题，人们想做交易中心也是希望能够在经济上更节约、更有效益，但是效益的基础是应用规模，只有大量重复性、相似性的工作才有可能利用平台与工具来提高服务效率创造用户价值，目前小数据服务更能够满足规模经营的条件。
政府公共服务的支柱还是小数据，单独成规模的大数据服务不多，各种数据资源的综合使用会有更大的创新机会，地理数据与政府服务相结合、推动政府服务的连线化动态化可能提升用户价值，大数据中心要发展必须全力创造用户价值，唯有用户价值才能支撑大数据中心生存。
九、拓展视野，推动大数据应用创新
9.1理念创新，积极宣传智能大数据应用
首先要拓展大数据应用理念，不能将大数据应用局限在政府信息决策的狭窄领域之中，而要看到智能大数据应用的广泛空间，将智能大数据应用与大众创业万众创新结合起来，将一切智能化应用都归入大数据应用的范围，大数据概念越广阔应用越繁荣。
利用大数据改善政府决策是大数据应用的重要方面，过去已强调得很多了，现在需要强调的是政府公共服务的智能化、精细化。大数据不仅能改善决策还能改善服务，改善服务有着更广阔的发展空间，公众的获得感更好。
9.2为大数据应用创造良好的基础环境
对大数据应用最给力的推动是提供优良的通信环境和完善的信息基础设施。大数据应用的基础是超强的通信能力，通信能力影响全社会大数据应用的成本，包括用户的时间成本与服务商的开发与服务成本，降低通信成本是对大数据应用创新极大的支持，土壤肥沃庄稼才能茂盛。
政府数据开放是推动大数据应用的措施之一，可为大数据应用带来示范效果，政府要鼓励企业利用政府大数据开展增值服务，使更多缺乏大数据处理能力的公众也能从政府数据开放中获益。
9.3鼓励社会大数据应用的自组织创新
大数据应用是一项创新，政府不能只从政府决策的视角来引导大数据应用方向，而要从方便公众受益的视角推动智能化的大数据应用，要鼓励社会各界智能化大数据应用的合作与自组织创新，好服务都是各种应用技术组合创新的结果，政府宜推动智慧城市大数据应用的互操作，降低不同技术合作创新的成本来促进应用创新的繁荣。

『肆』 现在的大数据、AI 这么火，会不会像曾经的 Android 和 iOS 一样，五年后也回归平淡

先给结论，只是会搭集群，会用MLLib，会用Tensorflow的大数据或者从业者，不管五年后行业本身会不会回归平淡（大数据很可能会，AI应该没那么快），个人职业发展无法避免变平淡。到时候这样的人就要困惑是否跟随下一个热点了。

类比一下大数据，应用开发或者数据库领域。如何配置Hadoop，架设集群；如何使用某个UI库做出炫酷的界面效果；使用什么参数可以调整某数据库缓存大小等等，都是术。

那什么是“道”？

比如，“一部小说如何谋篇布局”，是道。如果你是一个作家，那么无疑这是比遣词造句更影响你职业生涯的技能。

同样，作为一个程序员，了解系统背后的原理，比熟悉一门语言一个框架对你职业发展会有更深远的影响。

如果你做大数据，那你是否知道分布式系统的一致性保证有些什么不同的设计和取舍？容错又该如何实现？如果你做数据库，又是否知道不同索引的数据结构有什么样的特性？抑或优化器背后的原理是什么？或者你做业务逻辑开发，那你是否通晓了逻辑背后的业务流程以及相关的行业知识？

--------------------------------------------------------------------------------

术的特点是容易过时，或者附加值越来越小。如何使用工具在每天都有新发明的计算机领域无疑是非常容易过时的，公司也不会为使用工具的经验投资太多钱，毕竟够用就行。

诚然术是你必备的技能：不会写代码，不熟悉语言，根本找不到工作。但是并不是你修炼的方向：公司并不会因为你精通一个语言的各种细节而特别青睐你。公司的确是招人写程序的，但是公司并不仅仅是招人“写程序”。

道是我们在领域内不断精进成长的根本：只有了解背后的原理，你才可能在每天都有新系统新语言新框架诞生的科技领域存活；某个框架你并没有摸过，但是你知道哪些指标和特性是选择取舍的依据；某个系统你才听说，但是看了架构设计，你就知道它在你的使用场景下会有什么样的表现，可能会有什么样的坑；再或者你看了某个论文，发现它的原创性设计能改进在你们现有的系统解决之前无法解决问题等等。这样的你，往往比只是对语言熟悉，API精通的码农更受欢迎和尊重。

有人可能会说，你看那些大神程序员，哪个不是对某些语言滚瓜烂熟。是的，我们看到的码农大神们，往往写的一手好C++，精通Go的上上下下左左右右，但那并不是因为他们专门修行这门语言，而是因为他们在不断研习“道”的路上，顺便磨练了“术”。为了更好的性能，为了实现构思的新设计，他们必须更熟悉所用的语言。

『伍』 大数据未来的前景怎么样

大数据的未来发展前景是值得肯定的，但是现在大数据人才出现了供不应求的情况。大数据行业就业市场较为活跃的地区主要集中在京津冀、长三角、珠三角、成渝等区域，但是从目前招聘数据来看，大数据人才还是不能满足市场的需求，因此现在学大数据未来的发展前景是非常好的。

大数据作为一门基础科学，无论在数据开发及分析还是在物联网和人工智能算法训练领域，都有着强大的需求。随着数据规模不断增大，企业需求持续增长，大数据人才成了刚性需求。

大数据的就业领域是很宽广的，不管是科技领域，还是食品产业，零售业等等，都是需要大数据人才进行大数据的处理，以提供更好的用户体验，因为未来大数据人才就业面很广，就业机会很多，发展前景也是非常好的。

2大数据工程师的薪资待遇
大数据工程师职业发展路径分为5个阶段，每个阶段对应职位对应的薪资待遇是不一样的：

有一年工作经验的实习工程师月工资在6000以上；

有1-2年工作经验的助理工程师，月收入在13000-15000左右；

有3年左右工作经验的大数据工程师，平均每个月能赚到20000左右；

有5年左右工作经验的高级大数据工程师，月收入一般都在30000左右；

有10年以上工作经验的首席工程师，月薪都是大于50000的。