大数据社会调研报告

① 大数据的产生与发展现状研究

摘 要：大数据的产生给未来信息技术带来新的机遇与挑战。大数据对数据处理的有效性、实时性提出了更高要求，需要根据大数据的特点对当前数据处理技术实施变革，从而形成更有益于大数据采集、存储、处理、管理、分析、共享的新兴技术。本文从大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。

关键词 ：大数据 物联网 信息处理 海量计算

一、大数据的产生与发展现状

随着物联网、云计算等信息技术的飞速发展，大数据技术(Big Data)也越发进入人们的视线。大数据是用传统方法或工具很难处理或分析的数据信息。目前，人们对大数据的理解还不够全面和深入，关于大数据的含义也没有一个统一的定义。亚马逊大数据科学家John Rauser认为：大数据是超过任何一台计算机处理能力的庞大数据量。Informatica 的中国区首席顾问但彬指出：大数据是海量数据与复杂类型的数据的结合。而维基网络则把大数据定义成诸多大而复杂的、难以用当前数据库处理的数据集合。

大数据研究受到国内外学术界和工业界的广泛关注，已成为当今信息时代全世界讨论的热点。2008年，Nature杂志就推出大数据专刊，计算社区联盟也在同一年发表了报告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，报告阐述了解决大数据问题所需的关键技术以及所面临的挑战。美国奥x政府于2012年3月在白宫网站发布了《大数据研究和发展倡议》，提出了通过收集、处理海量、复杂的数据信息，从而提升能力，加快科学和工程领域的创新步伐，转变学习教育模式，强化美国本土的安全”。2011年1月，微软公司同惠普公司合作开发了一系列能够提升生产力，同时提高决策速度的设备。此外，欧盟委员会也提出驾驳大数据浪潮的战略思路，日本发布的《面向 2020 的 ICT综合战略》也提出需要构造大量丰富的数据基础。

近年来，我国也积极开展对大数据的研究。2011年10月，工信部确认京沪深杭等 5 城市为“云计算中心”试点城市。2012年6月，中国计算机学会青年计算机科技论坛也举办了“大数据时代，智谋未来”学术报告研讨会。大数据及其科学研究方法涉及应用领域很广，并将与国计民生密切相关的科学决策、金融工程以及知识经济领域紧紧接合。

二、大数据的特点

目前，企业界和学术界都一致认为，大数据具有4个“V”特征，即：容量(Volume)、种类(Variety)、速度(Velocity)和至关重要的`价值(Value)。

(1) 容量(Volume)巨大。海量的数据集从TB 级别提升到PB 级别。

(2) 种类(Variety)繁多。大数据数据源有多种，数据格式和种类不同于以前所规定的结构化数据范畴。

(3)价值(Value)密度低。如视频的例子，在不间断连续监控的过程中，可能有意义的数据仅有一两秒。

(4)速度(Velocity)快。包含大量实时、在线数据处理分析的需求1秒钟定律。

三、大数据应用的领域

大数据产业的发展将推动全球经济由粗放型向集约型转变，这将对提升企业整体竞争力和政府监管能力具有意义深远的影响。

商业作为大数据的重要应用领域。沃尔玛公司通过对消费者购物行为等一系列非结构化数据的分析，了解不同顾客的购物习惯，公司从所销售的数据进行分析，从而选出适合在一起搭配出售的商品;淘宝也针对买家开设了大数据平台，为客户量身打造了一整套完善的网购体验产品。

大数据在金融业也起到了至关重要的作用。美国Equifax公司利用大数据技术，通过对其的数据库中与财务有关的记录海量信息进行索引处理和交叉分享，从而得到客户的个人信用等级，以推断出客户的支付需求与能力。

随着大数据在医疗与生命科学研究过程中的广泛应用和不断扩展。2010年，中国公布的《十二五规划》指出：要重点建设国家级、省级和地市级三级医疗卫生信息平台，建设电子病历和电子档案两个最为基础的数据库。各级医院也将在医疗信息仓库、数据中心等领域加大投入，医疗数据信息的存储将愈加被关注，医疗信息中心的关注焦点也将由传统的计算领域转为存储领域。

除此之外，大数据在制造业领域也有着广阔的应用。制造业企业积累了广泛的数据信息，在开展对业务数据进行技术管理的同时，企业需要通过大数据处理技术来帮助决策者从数据库储存的海量信息中找到有价值的信息，并且对其进行分析处理，从而增强决策的正确性、规避风险。

四、大数据所面临的挑战

大数据技术使人们能够更好地利用之前不能使用的各个数据类型，找出被忽略的信息，促进企业组织更加高效、智能。但随着对大数据研究的不断深入，人们也更加意识到当大数据技术向人们敞开“方便之门”的同时，也带来了众多的挑战：

(1)大数据需要更为专业化的管理技术人才。

(2) 大数据的合理利用需要解决容量大、类别多和时效性高的数据处理问题。

(3)大数据的利用对信息安全提出了更高要求。

(4)大数据的集成与管理问题。

这些挑战已成为关系到未来大数据发展的重要因素，同时也成为未来引领大数据发展的推动力。

五、结束语

大数据已经逐步渗透到人们工作生活的诸多领域中，对于大数据的研究也在不断的深化。本文针对大数据的产生与发展、特征、主要应用以及大数据所带来的挑战等方面进行阐述与分析。大数据的发展还处于初级阶段，还有更为广阔的空间需要人们不断开拓，如何合理地利用大数据、更加高效地处理大数据来为人们服务仍需要广大研究者不断地研究和探索。

参考文献：

[1]刘智慧，张泉灵.大数据技术研究综述[J].浙江大学学报，2014，46(6)：957- 972.

[2]严霄凤，张德馨.大数据研究[J].计算机技术与发展，2013，23(4)：168-172.

[3]刘俊.基于大数据流的Multi-Agent系统模型研究[J].计算机技术与发展， 2007，17(5)：166-169.

② 澶ф暟鎹璋冪爺鎶ュ憡

澶ф暟鎹瀹¤¤皟鐮旀姤鍛
鑳℃辰鍚涘¤￠暱鏇惧氭″己璋冩寚鍑猴紝瑕佺Н鏋佹帹杩涘ぇ鏁版嵁瀹¤★紝鍧氭寔绉戞妧寮哄★紝閫氳繃淇℃伅鍖栥佹暟瀛楀寲锛屽姫鍔涙彁楂樺¤＄洃鐫ｇ殑璐ㄩ噺鍜屾晥鐜囥傛柊褰㈠娍涓嬶紝瀹¤″伐浣滅壒鍒绂讳笉寮澶ф暟鎹鐨勬敮鎾戯紝鍒╃敤澶ф暟鎹杩涜屽¤★紝鎴栧皢鎴愪负瀹¤℃満鍏冲簲瀵瑰嶆潅绀句細缁忔祹绠＄悊褰㈠娍銆佹彁鍗囧¤″伐浣滆川閲忕殑閲嶈佹墜娈点備互鈥滈噾瀹″伐绋嬧濅负鍩虹鐨勫¤′俊鎭绯荤粺缁忚繃澶氬勾鐨勫缓璁惧彂灞曪紝鐩鍓嶆ｉ愭ュ缓绔嬪拰瀹屽杽銆傚悓鏃讹紝鍦ㄦ斂搴滃悇閮ㄩ棬涓绀句細淇濋殰澶ф暟鎹鏃㈠叿鏈夎緝楂樼殑瀹屾暣鎬э紝涔熷吋鍏疯緝楂樼殑鍑嗙‘鎬с傝繖浜涘緱澶╃嫭鍘氱殑鏉′欢锛屼笉浠呬娇瀹¤″光滃ぇ鏁版嵁鈥濈洃鐫ｇ＄悊鎴愪负鍙鑳斤紝鏇翠负瀹炴柦浠モ滃ぇ鏁版嵁鈥濅负鍩虹鐨勫¤♀滃叏瑕嗙洊鈥濆犲畾浜嗗熀纭銆
涓銆佸ぇ鏁版嵁鎶鏈鍦ㄨ储鏀垮¤℃柟闈㈢殑杩愮敤
锛堜竴锛夎繍鐢ㄥぇ鏁版嵁寮灞曡储鏀垮¤℃槸鏃朵唬鍙戝睍鐨勫繀鐒惰佹眰銆傚ぇ鏁版嵁涓嶄粎鏄淇℃伅鎶鏈鐨勯噸澶ц繘姝ワ紝鏇存槸鍙戝睍鐞嗗康鐨勯噸澶у垱鏂帮紝瀵圭粡娴庣ぞ浼氬彂灞曡捣鍒伴噸瑕佷綔鐢锛屽逛笌鏁版嵁瀵嗗垏鐩稿叧鐨勫¤″伐浣滀篃蹇呭皢浜х敓娣卞埢褰卞搷銆傚綋鍓嶏紝璐㈡斂銆佺◣鍔°佷汉姘戦摱琛岀瓑閮ㄩ棬鏅閬嶈繘琛屼俊鎭绯荤粺寤鸿撅紝璐㈡斂閮ㄩ棬寮灞曠殑鈥滈噾璐㈠伐绋嬧濊嗙洊璐㈡斂鏀舵敮绠＄悊鐨勪笟鍔″簲鐢ㄧ郴缁燂紝娑电洊浜嗛勭畻绠＄悊銆佸浗搴撻泦涓鏀朵粯绛変笟鍔★紝瀵硅储鏀块儴闂ㄧ殑瀹¤″崟浣嶄俊鎭鍖栫殑鍙戝睍锛岃揩鍒囪佹眰杩愮敤澶ф暟鎹寮灞曡储鏀垮¤°
锛堜簩锛夎繍鐢ㄥぇ鏁版嵁寮灞曡储鏀垮¤℃槸鎺ㄥ姩瀹屽杽鍥藉舵不鐞嗙殑杩鍒囬渶瑕併傝储鏀垮¤＄殑鑼冨洿绐佺牬浜嗕紶缁熺殑璐㈡斂鏀舵敮姒傚康锛屽泭鎷浜嗘斂搴滄ф敹鏀鐨勫叏閮ㄥ唴瀹广傚叏鍙ｅ緞棰勭畻鐨勫℃煡鐩戠潱浠樿稿疄鏂斤紝濡備綍鍦ㄦ湁闄愮殑鏃堕棿鍐呮煡鎵惧拰鍙戠幇闂棰橈紝杩愮敤澶ф暟鎹寮灞曡储鏀垮¤℃垚涓烘帹鍔ㄥ畬鍠勫浗瀹舵不鐞嗙殑杩鍒囬渶瑕併
锛堜笁锛夎繍鐢ㄥぇ鏁版嵁寮灞曡储鏀垮¤℃槸璐㈡斂绮剧粏鍖栫＄悊鐨勮佹眰銆傚湪绮剧粏鍖栫＄悊瑕佹眰涔嬩笅锛岃储鏀块勭畻瀹℃煡銆侀勭畻鎵ц屽樊寮傚垎鏋愩侀勭畻涓庡喅绠楃殑瀵规瘮鍒嗘瀽閮芥槸浣跨敤绯荤粺澶ф暟鎹鏉ュ畬鎴愮殑銆傜浉搴斿湴锛岃储鏀块勭畻鎵ц屽¤¤佸疄鐜板叏鍙ｅ緞鍒嗘瀽锛屽繀椤讳娇鐢ㄧ郴缁熸暟鎹銆傚傚埄鐢ㄥ浗搴撴敮浠樼郴缁熺殑鏁版嵁锛岄氳繃瀵规寚鏍囨潵婧愩佽祫閲戞ц川銆佽祫閲戞祦鍚戠殑璺熻釜鍒嗘瀽锛屽疄鐜版墍鏈夎储鏀胯祫閲戝叏杩囩▼璺熻釜瀹¤°傦紙鍥涳級澶ф暟鎹瀹¤＄幇鍦ㄧ殑杩愮敤鎯呭喌銆傛寜鐓^鐨勮佹眰锛屽缓绔嬩簡璐㈡斂鏁版嵁瀹氭湡鎶ラ佹満鍒讹紝姣忓崐骞存敹闆嗕竴娆¤储鏀挎暟鎹锛屽苟瀵规敹闆嗙殑鏁版嵁杩涜屾暣鐞嗭紝鐢熸垚瀹¤′汉鍛樺彲浠ヤ娇鐢ㄧ殑鏍囧噯琛ㄣ傝储鏀跨戣仈鍚堜俊鎭绉戯紝瀵归勭畻缂栨姤绯荤粺銆侀勭畻鎸囨爣绯荤粺銆侀潪绋庡緛绠＄郴缁熴佸喅绠楃紪鎶ョ郴缁熺瓑鐨勮储鍔″拰涓氬姟鏁版嵁锛岄泦涓杩涜屽氱郴缁熷叧鑱斻佸ぇ鏁版嵁姣斿广傚皢鏁版嵁鍒嗘瀽褰㈡垚鐨勫¤′腑闂磋〃鍜岀枒鐐硅〃浣滀负閲嶇偣杩涜屽¤★紝鎻愰珮浜嗘晥鐜囧拰澧炲己鎸囧兼с傚¤＄粨鏉熷悗锛屽己鍖栫粡楠屾荤粨锛屽舰鎴愭暟鎹閲囬泦杞鎹㈡寚鍗楋紝褰掗泦鏁寸悊褰㈡垚璐㈡斂澶ф暟鎹瀹¤℃ā鍨嬫柟娉曚綋绯昏〃锛屼负杩涗竴姝ユ繁鍖栧ぇ鏁版嵁瀹¤＄Н绱缁忛獙銆
浜屻佺ぞ淇濆¤″ぇ鏁版嵁淇℃伅绠＄悊鐜扮姸
涓夈佸ぇ鏁版嵁瀹¤″彂灞曟柟鍚 闈㈠瑰ぇ鏁版嵁鏃朵唬瀵瑰¤″伐浣滃甫鏉ョ殑鎸戞垬锛屽¤℃柟寮忓拰閫斿緞灏嗗疄鐜颁互涓嬪洓涓鏂归潰鐨勮浆鍙樸
锛堜竴锛夊簲鐢ㄥぇ鏁版嵁鍒嗘瀽鎶鏈锛屽疄鐜板¤℃柟娉曚粠鏁版嵁楠岃瘉鎬у垎鏋愬悜鏁版嵁鎸栨帢鎬у垎鏋愯浆鍙樸
浼犵粺鐨勮＄畻鏈哄¤★紝鏄閫氳繃鐢靛瓙鏁版嵁閲囬泦杞鎹㈠规暟鎹杩涜岄獙璇侊紝閫氳繃鏋勫缓鏌ヨ㈠垎鏋愩佸氱淮鍒嗘瀽绛夋柟娉曟ā鍨嬭繘琛屾暟鎹鍒嗘瀽锛岃屽簲鐢ㄥぇ鏁版嵁鍒嗘瀽鎶鏈锛屽垯鑳藉熶娇瀹¤℃暟鎹鍒嗘瀽閫愭ョ敱浼犵粺鐨勯獙璇佹у垎鏋愬悜鎸栨帢鎬у垎鏋愯浆鍙樸傛寲鎺樻у垎鏋愭槸鎸囬噰鐢ㄥぇ鏁版嵁澶勭悊鎶鏈锛屽埄鐢ㄦ暟鎹浠撳簱銆佹暟鎹鎸栨帢鍜屾ā鍨嬮勬祴宸ュ叿杩涜屽¤″垎鏋愶紝浠庡ぇ閲忔暟鎹涓鍙戠幇钑存兜鐨勬暟鎹妯″紡鍜岃勫緥銆
锛堜簩锛夊簲鐢ㄥぇ鏁版嵁鍒嗘瀽妯″紡锛屽疄鐜板¤℃柟寮忎粠鍙戠幇闂棰樺悜椋庨櫓棰勮﹁浆鍙樸
浼犵粺瀹¤″伐浣滀互鍙戠幇闂棰樹负涓伙紝瀵圭粡娴庡舰鍔胯繘琛岄勬祴鍒嗘瀽锛屽洜鑰岄』绛夊埌鐩稿叧浜嬩欢鍙戠敓骞朵笖褰㈡垚涓瀹氳勬ā鍚庯紝鍐嶆牴鎹鎼滈泦鍒扮殑瓒冲熸暟鎹杩涜屽垎鏋愮爺绌讹紝鍏锋湁婊炲悗鎬с傝屽ぇ鏁版嵁鎶鏈鍙閫氳繃瀵硅法棰嗗煙鐨勫ぇ瑙勬ā缁忔祹銆佺ぞ浼氳屼负鏁版嵁杩涜屽垎鏋愶紝瀵圭粡娴庣ぞ浼氱浉鍏冲紓甯稿姩鎬佸疄鐜版棭鏈熷叧娉锛屽埄鐢ㄥ叾瀵瑰紓甯告暟鎹鐨勬晱鎰熸у疄鐜版棭鏈熼勮︺傚¤″彲浠ヨ繍鐢ㄥぇ鏁版嵁鐩稿叧鎶鏈锛屽瑰畯瑙傜粡娴庣ぞ浼氶庨櫓闂棰樺睍寮鍒濇ュ垎鏋愩傦紙涓夛級搴旂敤澶ф暟鎹瀹¤′綔涓氬钩鍙帮紝瀹炵幇鍗曟満瀹¤″悜浜戝¤¤浆鍙樸

③ 调研报告大数据分析怎么做

1、明确思路

明确数据分析的目的以及思路是确保数据分析过程有效进行的首要条件。它作用的是可以为数据的收集、处理及分析提供清晰的指引方向。可以说思路是整个分析流程的起点。首先目的不明确则会导致方向性的错误。当明确目的后，就要建分析框架，把分析目的分解成若干个不同的分析要点，即如何具体开展数据分析，需要从哪几个角度进行分析，采用哪些分析指标。

2、收集数据

收集数据是按照确定的数据分析框架收集相关数据的过程，它为数据分析提供了素材和依据。这里所说的数据包括第一手数据与第二手数据，第一手数据主要指可直接获取的数据，第二手数据主要指经过加工整理后得到的数据。

3、处理数据

处理数据是指对收集到的数据进行加工整理，形成适合数据分析的样式，它是数据分析前必不可少的阶段。数据处理的基本目的是从大量的、杂乱无章、难以理解的数据中，抽取并推导出对解决问题有价值、有意义的数据。数据处理主要包括数据清洗、数据转化、数据提取、数据计算等处理方法。

4、分析数据

分析数据是指用适当的分析方法及工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程。由于数据分析多是通过软件来完成的，这就要求数据分析师不仅要掌握各种数据分析方法，还要熟悉数据分析软件的操作。而数据挖掘其实是一种高级的数据分析方法，就是从大量的数据中挖掘出有用的信息，它是根据用户的特定要求，从浩如烟海的数据中找出所需的信息，以满足用户的特定需求。

5、展现数据

一般情况下，数据是通过表格和图形的方式来呈现的，我们常说用图表说话就是这个意思。常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等，当然可以对这些图表进一步整理加工，使之变为我们所需要的图形。

6、撰写报告

数据分析报告其实是对整个数据分析过程的一个总结与呈现。通过报告，把数据分析的起因、过程、结果及建议完整地呈现出来，供决策者参考。一份好的数据分析报告，首先需要有一个好的分析框架，并且图文并茂，层次明晰，能够让阅读者一目了然。另外，数据分析报告需要有明确的结论，没有明确结论的分析称不上分析，同时也失去了报告的意义，因为我们最初就是为寻找或者求证一个结论才进行分析的，所以千万不要舍本求末。最后，好的分析报告一定要有建议或解决方案。

④ 大数据发展背景及研究现状

2015年左右，大数据相关政策规划密集出台，同期为大数据企业新增数量顶峰时期。近年来，我国大数据产业迎来新的发展机遇期，产业规模日趋成熟。大数据产业主体从“硬”设施向“软”服务转变的态势将更加明显，面向金融、政务、电信、医疗等领域的大数据服务将实现倍增创新。

大数据企业数量持续增长，增速与政策出台密切相关

根据IT桔子统计，大数据企业的快速增长阶段出现在2013-2015年，增长速度在2015年达到最高峰。2015年后，市场日趋成熟，企业新增开始趋于放缓，大数据产业逐渐走向成熟。

—— 以上数据及分析均来自于前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。