youtube大数据

『壹』 视频网站数据储存怎么解决

近日，视频网站YouTube宣布，其全球视频日播放量已经超过10亿小时的里程碑，每分基御晌钟新上传视频400小时，相当于1天有65年时长的节目内容更新。这无疑是一个非常庞大的数据，穷我们一生不吃不喝，也不过能看完其一天的视频上传量。

这还仅仅是YouTube一家视频网站，全球范围内所有的视频网站加起来，其数据量已经大到我们无法想象，那么问题来了，这么多的视频，是如何存储的，那得多少硬盘来装啊？

海量硬盘加压缩去重来解决大量数据存储

首先说明一个问题，来普及一下数据量级的问题。1MB=1024KB，1GB=1024MB，1TB=1024GB，1PB=1024TB，1EB=1024PB，1ZB=1024EB，1YB=1024ZB，1BB=1024YB，1NB=1024BB，1DB=1024NB。其中搏锋我们手机拍摄一张照片约3M，一个高清电影约2G，1TB的硬盘，可以存储500部高清电影。

很多大型网站其实是有自己的专属机房，也就是现在动辄占地几千亩的大型数据中心。如网络已经在山西阳泉建了云计算中心了，占地2000多亩，基本都是存储。我们日常用的网络网盘，里面的数据都存储在了网络的机房里。

大型的企业网站如爱奇艺、腾讯等公司，都有专有机房，这些机房内具有大量硬盘。毕竟相对来说，硬盘的价钱真实是太低了。想想我们只需求四百块钱就能购置1T的硬盘资源，对于大型公司来说，完整有准备大量硬盘的实力。

在用户上传文件或者视频之后，一般会有专门的转码紧缩效劳器。用来把上传的文件进行压缩，所以有时可以看到，本人上传的高清视频，在停止查看时，明晰度并不是很高，这是由于停止压缩的效果。

而在真正保管到硬盘之前，需求对上传的文件去重。检测硬盘中是会否曾经有相关的文件了。假如有的话就直接指定过去了。这也就是为什么很多网盘上面，会有秒传的功用，好几G的文件，几面就能上传完成就是这个原理。

缓存热点数据来保证数据高效分发

对于视频网站来说，绝大部分视频都是冷门资源，用户观看带有非常强的选择性。如当前正在热播的《人民的名义》，在一定的时间段类，可能用户都去看这部电视剧，对于这种热点数据，存储上主要运用散布式存储加散布式文件系统，保证高并发高带宽，存储底层会选用分层技术。

很多视频点击量爆高，此时系统会判别此类数据，并存储到大容量缓存中，外加外置UPS维护，那么当视频没人看的时分，就自动迁移到廉价的7200转或5400转的HDD存储层中。如今的硬盘最大做到60TB了，企业级大容量氦气盘曾经有10TB、12TB了。特别老的视频文件且为普通用户上传的会被后台剖析平台挑选出来删除来释放空间。

可能热点数据在视频网站庞大的存储资源库中，只占据了不到1%的比重，这个时候，网站只需要将高质量带宽分配给这些热点数据即可，并不会明显影响到用户的实际使用。如《人民的名义》现在是绝对热点，可能有1000万人同时观看；而BBC纪录片《地球拆枝脉动》在刚推出时是绝对热点，现在随着大家都看过了，每天只有很小一部分人观看。网站根据数据请求量，来酌情分配带宽，并会将热点数据缓存起来，甚至分发到离你家很近很近的机房，这样速度会很快，保证优良的用户使用体验。

可以理解为，有很多货物需要运输，但网民经常购买的物品带有一定的规律性，比如冬天北京雾霾天的时候，买空气净化器的人非常多，这个时候，网站会在仓库里放很多空气净化器，一旦有人购买就可以直接运输出去；而到了春天空气非常好，买空气净化器的人锐减，仓库就会只放很少的库存。通过对于热点的把控，可以高效地提升整个系统的运行效率和用户体验。

总结起来就是，网站会持续购买大量硬盘来存储源源不断的数据，但数据毕竟是有限的，通过压缩、去重等手段，可以有效减轻存储压力；再通过对于热点内容的缓存，来提升用户的实际使用体验。大数据时代，大家都知道数据就是金钱，和未来可以赚到的钱相比，眼前几百块钱一个的硬盘，网站还是舍得花钱买的。

『贰』 网红成长的免费分析工具：别低估你 Youtube 影片价值

在这个影音世代有许多免费平台，能尽情上传影片秀自我，也衍生出网红、KOL、Youtuber等不同型态的自媒体，想了解自己辛苦经营的 Youtube 频道价值多少，透过 NoxInfluencer 免费分析工具平台就能轻松办到：Youtube频道价值预估、Youtube网红排行榜、Youtube热门影片排行、Youtube网红即时粉丝量、Youtube影片效果分析与Youtube网红频道对比。

NoxInfluencer 平台，网红必备Youtube 频道分析工具

拍影片梗想半天、花大把时间剪辑，结果点阅率却不尽理想，想下广告增加触及率或找其他网红合作，却不知其门而入，担心把钱花在错的地方，这是网路时代所有人最烦恼的事。网路世代最大优势为，有各式各样平台可尽情使用，不过一旦大家开始投入，想在茫茫网海中被别人关注到，不仅内容要更费巧思，就连上线后的分析也要确实做到。NoxInfluencer为针对Youtube频道设计的免费平台，提供丰富多元的分析工具，更重要的是使用简易，只要把影片网址复制贴上、或输入关键字，就能即裤衡时查看与分析各种Youtube频道资料，方便使用者随时做出调整与优化。

NoxInfluencer 最大优势在于，采用升级过的大数据资料与AI人工智慧技术，能即时关注使用者资料，并提供详细的分析对比结果，让Youtuber能更了解目前经营频道的情况，最棒的是NoxInfluencer完全免费，除了网红也适合广告主或经纪公司使用。接着不罗嗦，以下赶紧来看看NoxInfluencer如何使用吧！

▲先瞧瞧NoxInfluencer基本介面，首页可见到该平台强调六大功能，包括有Youtube频道价值预估、Youtube网红排行榜、Youtube热门影片排行、Youtube网红即时粉丝量、Youtube影片效果分析与Youtube网红频道对比。

▲NoxInfluencer介面设计简易直觉好用，不过要提醒预设为英文版，若你的英文不好，建议从页面右上方设定切换为繁体中文，总共支援10种语言可给大家选择。

输入网址一键分析 就能告诉你频道值多少钱

接着立刻来体验，我们以瘾科技友台「怎么好意思」Youtube频道测试，把网址贴上NoxInfluencer首页的栏位中，接着按右方「搜寻」键。随即会另开新分页显示「怎么好意思」Youtube频道详情数据与分析报告，重点资讯包括有粉丝数、总观看量、平均观看量、Nox评级、每日粉丝数变化、每日总观看量变化、YouTube网红预估价值与网红活跃度。其中较有趣的是，「怎么好意思」Youtube频道预估价值每月有$24~$39美金，这是NoxInfluencer团队经频道数据、影片表现、互动/粉丝情况…等多项综合因素，结合当地情况所分析出的结果。

▲接着立刻来体验，我们以瘾科技友台「怎么好意思」Youtube频道测试，把网址贴上NoxInfluencer首页的栏位中，接着按右方「搜寻」键。

▲随即会另胡岩做开新分页显示「怎么好意思」Youtube频道详情数据与分析报告。

▲以上这些分析结果可说是NoxInfluencer精髓，包括粉丝数、总观看量与平均观看量，都会同时告诉你目前全球即时与地区排名，其中「即时粉丝量」也是重要参考指标，下方会以时间轴方式显示即时粉丝量，若呈一直线代表粉丝量无增减，建议发布新片时测试此功能会比较有感。

▲另外，往下滑还会告诉你相似&相关度高的YouTube网红频道，以及与本YouTube网红频道有关的标签，这些都可以做为日后发布影片参考依据。

▲YouTube网红频道分析及品质评级部份，可针对粉丝数/观看量&频道增长情况、YouTube影片表现&粉丝互动情况、影片发布频次进行分析。

▲也有浏览受众粉丝的数据展现与分析，包括男女粉丝比例、或受众粉丝的地理位置分布，皆可透过图表方式一探究竟，哇…没想到黛西竟然有日韩粉丝呢！

▲刚刚是针对整个「怎么好意思」Youtube频道的分析报告，若你只想了解特定影片成效，建议直接枣培利用YouTube影片效果分析工具，我们挑选日前反应不错的「便利商店食物组出米其林口味美食！？/魔幻组合实测 (7-11、全家、OK便利超商)」这支有趣影片做测试。

▲大约花两秒钟就出现详细分析报告，该影片上线一周有将近1,500观看量，不过重点来了，影片预估价值竟有$69~$77美金（单支影片价值低于整个频道还算合理），最右边还有粉丝互动率为9.8%。再往下看影片观看深度，得到的平均观看率为814.9%，这可说是破表级的好表现，虽然整体观看量没冲很高，但想必大家都很仔细看过好几遍，只能说黛粉们真的很死忠呢！

▲影片标签列可观察该标签近30天内在YouTube上的热度变化，同时也可以参考与该标签最相关的5个延伸内容，像是「7-11」、「便利商店」…等都是热门标签，相较下「魔幻组合」显得有点冷清，这些都能做为下次修正标题的依据。

支援频道交叉对比功能 全球百大网红任你筛选

Youtube网红频道对比也是NoxInfluencer重点功能，顾名思义能一键对比特定几位网红，我们这里就挑选目前YouTube粉丝排名Top3网红，透过多项数据进行交叉对比。分析报告结果显示详细对比资讯，包括频道粉丝变化&频道成长轨迹、YouTube网红历史数据总览、YouTube频道影片内容更新频率、社群媒体丰富度…等。

▲可挑选目前 YouTube 粉丝排名Top3或是本周 YouTube 增长最快的Top3网红，透过多项数据进行交叉对比。

▲以台湾热门的网红TGOP、阿滴英文与蔡阿嘎进行交叉对比，分析报告结果显示详细对比资讯，包括频道粉丝变化&频道成长轨迹、YouTube网红历史数据总览、YouTube频道影片内容更新频率、社群媒体丰富度…等，由于资料量相当庞大，建议网友点进这里直接用看的会比较清楚，若你是想投放广告的厂商，这些都是很值得参考的数据。

▲ NoxInfluencer 一大特点为，提供海量的Youtube网红数据让使用者参考，你可以查看粉丝最多、最具潜力、涨粉最快…等各种项目的Top 100网红，或是各热门区域Top 250网红，当然也可针对不同影片类型筛选排名依据。【 图为台湾YouTube网红频道排行榜】

▲另外也提供值得参考的反指标，例如可以查看台湾掉粉最快的Top 100网红，弄清楚从网友不爱看的影片类型，之后拍片就不怕重蹈覆辙。

小结

NoxInfluencer针对 Youtube 频道提供强大的分析工具，不仅免费且使用简单，为一套能帮助发展中或刚起步网红的平台，与同类型的YouTuber做比较分析。另外如果你像文中「 怎么好意思 」频道才刚开始经营，想达到百万粉丝的境界，势必还要花好长一段时间，其实不一定要土法炼钢，NoxInfluencer目前提供不错的媒合机制，若你是创作方，只要注册会员，就有机会与全球知名广告主一起合作，透过赚取佣金来提高知名度；反过来若你是广告主或代理商，也能透过免费发布推广任务，为产品匹配最理想的受众群体。

『叁』 大数据分析需要什么样的python能力呢

什么是大数据？抄

大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。

为什么选择Python？

Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。

现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。

数据分析流程

一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照分享的这个流程，每个部分需要掌握的细分知识点如下：

以上我的回答希望对你有所帮助

『肆』 大数据专业能做什么工作呢美国留学生大数据专业好就业吗

在美国，计算机科学毕业生的收入是所有其他工作收入中位数的两倍多。大数据专业的美国留学生好找工作吗？

从事大数据工作需要哪些重要技能？处理大数据，需要学习Java、C、Python或Scala等编程语言，以及统计学、线性代数、离散数学等数学概念。完成这项操作后，你必须熟悉大数据平台链袭(如Apache Hadoop或Apache Spark)和数据库(如NoSQL)。你应该可以在YouTube上找到许多免费的初学者教程，但也有许多关于该主题的非常好的教科书，如O' Reilly的Learning Spark。在“软技能”方面，你需要成为一个直观的问题解决者和一个强大的分析思考者，这样你才能走出困境。

大数据工作可能技术性很强，缺乏受过适当培训的熟练专业人员。拥有计算机科学硕士学位或相关学科的学士学位将是一笔巨大的财富，真的能帮你获得高级职位。

『伍』 轻松增加Youtube观看量不是梦

Youtube真人观看的两大优势：不担心掉人气数字、获得精准的受众分析

每个观众看影片前，不外乎先看：标题、缩图、观看次数。具备震撼力的影片视频观看次数，影片将获得更好的收视状况及观众的点击欲望。另外一点，行销宣传时能掌握观众目标族群尤其重要，您将透过真人观看，在数据分析中清楚获得受众基本轮廓，了解哪些人观看了您的影片、观看时间，作为您对其进行修改和广告曝光的决策参考。

购买Youtube点阅率有风险吗？激让

Youtube不接受虚假的观看人数，它们不定期将虚假观看删除，如果购买机器人刷的假观看，这些低质量的YouTube观看可能在日后受到影响。但明贺局是，购买高质量真人观看是安全，只要影片能在Youtube上合法曝光获得观众收看，不必担心观看被回收，且将有助于提高视频排名。

品牌首位刷观看优势？

选择YThunder网站就是最好的选择： http://ythunder.com

真实Youtube网站曝光：我们透过真实地在网路上大量曝光，数以万计到百万计的曝光次数，Youtube影片获得非常大量真人观看，且不会有日后被大量扣除观看的状况发生。

真人观看：合法的曝光，获得客户指定的国家的观众收视。

超低成本：品牌拍友首位经年累月的影片曝光操作，累积大量广告受众数据，透过大数据，可以超低成本获得观看，甚至比传统电脑刷假观看的价格更便宜。

客制化观看速度：可以依据客户需求调配影片曝光，增加或放缓观看速度。

可选择国家：针对特定区域观众需求的影片提供选择国家曝光的服务。

如何买到好品质Youtube观看人数？

当您上传新视频影片并且有观众开始观看时，YouTube会自动开始计算这些观看次数。但是，如果有人只是点击您的影片并在几秒内离开，那麽YouTube就不会将其视为有效观看，相反的，YouTube会解释可能您使用误导性缩图和诱导性标题骗取观看。

另外，对于没有任何互动、都来自外部网页的观看，Youtube也无法获取观众资讯，不具真实性的观看次数对于Youtube来说根本无法判别影片价值。所以，您的影片观看时间或许只需20或30秒即可算进观看次数，但那些观看次数无法帮您的影片提高收视率。少了收视率和收视群众资料，Youtube不会将您的影片自然曝光。

要成为有品质的影片，影片需要：能让Youtube获得观众资讯、观众必须看到影片曝光且继续收视，如果影片获得互动，将有正面帮助。

为什麽网路上买观看次数，没有观众资料？

YouTube与Google共用帐号，如今大多数民众的手机或电脑会登入Gmail，如果您的影片是真人观看，Youtube可以从这些帐号获取观众的行为数据，并且依据这些行为决定未来影片的曝光；如果您购买的是机器人假观看，那些机器不断重复刷灌看，但他们不可能耗费时间进行帐号登入(这样将会让他们帐号被一一删除)，因此即使骗过Youtube这是有效观看，Youtube也会因为没有观众数据而无法判定影片品质，所以灌假观看的那部影片将没有观看者数据、自然也不会有后续的主动曝光或推荐。

Youtube影片一定得看超过3分钟?

网路上充斥著许多刷Youtube影片观看的传说，例如观看时间得达3分钟、得看完影片、得放出声音等，实际上这些都不是Youtube决定性的关键因素，Youtube考虑了大部分可能发生的现实状况，一部1分钟影片不可能看到3分钟、不可能大家都把影片看完，尤其那部影片可能高达数十分钟、任何人都得强制拨放声音吗？他们也得考量到观看者的环境。

现在是2019年，近两年YouTube已经彻底改变了它的观看次数计算规则。观众发现从前用电脑或手机不断重复观看影片、刷mv观看、洗观看次数的行为，已不再适用。

YouTube的人气计算方式不断进化，它的View Counting Metrics也是如此。如今，拥有50万次虚假观看的影片可能输给只有5000次高质量观看影片，因为YouTube现在关注的是观看次数的品质而不单纯只看数量。

用真实观看推广您的影片

品牌首位提供了真人观看，免除观看次数被回收、影片遭删除的风险，如今您可以简单地将此任务外包给品牌首位，冲高观看人数、获得更大的频道知名度。

『陆』 一般用哪些工具做大数据可视化分析

酷屏是亿信华辰的数据可视化产品，内置上百种可视化元素和六十余内种风格各异的表格、导航容、统计图等组件及SVG特效可供用户选择，通过设计与搭配，可衍生出成千上万种可视化效果。在提供传统的柱状图、饼图、仪表盘等基础图表组件的基础上，还提供了光晕图、泡泡图、流向地图等十余种新颖夺目的个性化图表，更有独特的3D全景视角，自由快捷制作各类交互式常规屏和大屏报表。

『柒』 大数据营销的主要用途有哪些

这里先说下什么是大数据。大数据营销是指基于多平台的大量数据，依托大数据技术的基础上，应用于互联网广告行业的营销方式。大数据营销衍生于互联网行业，又作用于互联网行业。依托多平台的大数据采集，以及大数据技术的分析与预测能力，能够使广告更加精准有效，给品牌企业带来更高的投资回报率。
大数据营销的核心在于让网络广告在合适的时间，通过合适的载体，以合适的方式，投给合适的人。
大数据营销的主要用途
1.基于用户的需求定制改善产品。消费者在有意或无意中留下的信息数据作为其潜在需求的体现是企业定制改善产品的一项有力根据。ZARA公司内部的全球资讯网络会定期把从各分店收集到的顾客意见和建议汇总并传递给总部的设计人员，然后由总部作出决策后再立刻将新的设计传送到生产线，直到最终实现“数据造衣”的全过程。利用这一点ZARA作为一个标准化与本土化战略并行的公司，还分析出了各地的区域流行色并在保持其服饰整体欧美风格不变的大前提下做出了最靠近客户需求的市场区隔。同样，在ZARA的网络商店内，消费者意见也作为一项市场调研大数据参与企业产品的研发和生产，且由此映射出的前沿观点和时尚潮流还让“快速时尚”成为了ZARA的品牌代名词。
2.开展精准的推广活动。基于数据的精准推广活动可大致分为三类:
首先，企业作为其产品的经营者可以通过大数据的分析定位到有特定潜在需求的受众人群并针对这一群体进行有效的定向推广以达到刺激消费的目的。红米手机在QQ空间上的首发就是一项成功的“大数据找人”精准营销案例。通过对海量用户的行为泡括点赞、关注相关主页等)和他们的身份信息泡括年龄、教育程度、社交圈等)进行筛选后，公司从6亿Q
cone用户中选出了5000万可能对红米手机感兴趣的用户作为此次定向投放广告和推送红米活动的目标群体并最终预售成功。
其次，针对既有的消费者，企业可以通过用户的行为数据分析他们各自的购物习惯并按照其特定的购物偏好、独特的购买倾向加以一对一的定制化商品推送。Turge佰货的促销手册、沃尔玛的建议购买清单、亚马逊的产品推荐页无一不是个性化产品推荐为企业带来可预测销售额的体现。
最后，企业可以依据既有消费者各自不同的人物特征将受众按照“标签”细分(如“网购达人”)，再用不同的侧重方式和定制化的活动向这些类群进行定向的精准营销。对于价格敏感者，企业需要适当地推送性价比相对较高的产品并加送一些电子优惠券以刺激消费:而针对喜欢干脆购物的人，商家则要少些干扰并帮助其尽快地完成购物。
3.维系客户关系。召回购物车放弃者和挽留流失的老客户也是一种大数据在商业中的应用。中国移动通过客服电话向流失到联通的移动老客户介绍最新的优惠资讯:餐厅通过会员留下的通讯信息向其推送打折优惠券来提醒久不光顾的老客户消费;Youtube根据用户以往的收视习惯确定近期的互动名单并据此发送给可能濒临流失的用户相关邮件以提醒并鼓励他们重新回来观看。大数据帮助企业识别各类用户，而针对忠诚度各异的消费者实行“差别对待”和“量体裁衣”是企业客户管理中一项重要的理念基础。

『捌』 大数据概述及基本概念

1. 大数据的定义首先，还是要重新审视大数据的定义。

行业里对大数据的定义有很多，有广义的定义，也有狭义的定义。
广义的定义，有点哲学味道——大数据，是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征，从而做出提升效率的决策行为。
狭义的定义，是技术工程师给的——大数据，是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。
相比较而言，我还是喜欢技术定义，哈哈。
大家注意，关键词我都在上面原句加粗了哈！
要做什么？——获取数据、存储数据、分析数据
对谁做？——大容量数据
目的是什么？——挖掘价值
获取数据、存储数据、分析数据，这一系列的行为，都不算新奇。我们每天都在用电脑，每天都在干这个事。
例如，每月的月初，考勤管理员会获取每个员工的考勤信息，录入Excel表格，然后存在电脑里，统计分析有多少人迟到、缺勤，然后扣TA工资。
但是，同样的行为，放在大数据身上，就行不通了。换言之，传统个人电脑，传统常规软件，无力应对的数据级别，才叫“大数据”。

2.大数据，到底有多大？

我们传统的个人电脑，处理的数据，是GB/TB级别。例如，我们的硬盘，现在通常是1TB/2TB/4TB的容量。
TB、GB、MB、KB的关系，大家应该都很熟悉了：
1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
而大数据是什么级别呢？PB/EB级别。
大部分人都没听过。其实也就是继续翻1024倍：
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
只是看这几个字母的话，貌似不是很直观。我来举个例子吧。
1TB，只需要一块硬盘可以存储。容量大约是20万张照片或20万首MP3音乐，或者是671部《红楼梦》小说。
1PB，需要大约2个机柜的存储设备。容量大约是2亿张照片或2亿首MP3音乐。如果一个人不停地听这些音乐，可以听1900年。
1EB，需要大约2000个机柜的存储设备。如果并排放这些机柜，可以连绵1.2公里那么长。如果摆放在机房里，需要21个标准篮球场那么大的机房，才能放得下。
阿里、网络、腾讯这样的互联网巨头，数据量据说已经接近EB级。
EB还不是最大的。目前全人类的数据量，是ZB级。
1 ZB = 1024 EB (ZB - zettabyte)
2011年，全球被创建和复制的数据总量是1.8ZB。
而到2020年，全球电子设备存储的数据，将达到35ZB。如果建一个机房来存储这些数据，那么，这个机房的面积将比42个鸟巢体育场还大。
数据量不仅大，增长还很快——每年增长50%。也就是说，每两年就会增长一倍。
目前的大数据应用，还没有达到ZB级，主要集中在PB/EB级别。
大数据的级别定位：1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)
1 GB = 1024 MB (GB - gigabyte)
1 TB = 1024 GB (TB - terabyte)
1 PB = 1024 TB (PB - petabyte)
1 EB = 1024 PB (EB - exabyte)
1 ZB = 1024 EB (ZB - zettabyte)

3.数据的来源

数据的增长，为什么会如此之快？
说到这里，就要回顾一下人类社会数据产生的几个重要阶段。
大致来说，是三个重要的阶段。
第一个阶段，就是计算机被发明之后的阶段。尤其是数据库被发明之后，使得数据管理的复杂度大大降低。各行各业开始产生了数据，从而被记录在数据库中。
这时的数据，以结构化数据为主（待会解释什么是“结构化数据”）。数据的产生方式，也是被动的。如果你对大数据开发感兴趣，想系统学习大数据的话，可以戳我加入大数据技术学习交流群，私信管理员即可免费领取开发工具以及入门学习资料
第二个阶段，是伴随着互联网2.0时代出现的。互联网2.0的最重要标志，就是用户原创内容。
随着互联网和移动通信设备的普及，人们开始使用博客、facebook、youtube这样的社交网络，从而主动产生了大量的数据。
第三个阶段，是感知式系统阶段。随着物联网的发展，各种各样的感知层节点开始自动产生大量的数据，例如遍布世界各个角落的传感器、摄像头。
经过了“被动-主动-自动”这三个阶段的发展，最终导致了人类数据总量的极速膨胀。

4.大数据的4Vs

行业里对大数据的特点，概括为4个V。前面所说的庞大数据体量，就是Volume（海量化）。除了Volume之外，剩下三个，分别是Variety、Velocity、Value。
我们一个一个来介绍。

• Variety（多样化）

数据的形式是多种多样的，包括数字（价格、交易数据、体重、人数等）、文本（邮件、网页等）、图像、音频、视频、位置信息（经纬度、海拔等），等等，都是数据。
数据又分为结构化数据和非结构化数据。
从名字可以看出，结构化数据，是指可以用预先定义的数据模型表述，或者，可以存入关系型数据库的数据。
例如，一个班级所有人的年龄、一个超市所有商品的价格，这些都是结构化数据。
而网页文章、邮件内容、图像、音频、视频等，都属于非结构话数据。
在互联网领域里，非结构化数据的占比已经超过整个数据量的80%。
大数据，就符合这样的特点：数据形式多样化，且非结构化数据占比高。


• Velocity（时效性）

大数据还有一个特点，那就是时效性。从数据的生成到消耗，时间窗口非常小。数据的变化速率，还有处理过程，越来越快。例如变化速率，从以前的按天变化，变成现在的按秒甚至毫秒变化。
我们还是用数字来说话：
就在刚刚过去的这一分钟，数据世界里发生了什么？
Email：2.04亿封被发出
Google：200万次搜索请求被提交
Youtube：2880分钟的视频被上传
Facebook：69.5万条状态被更新
Twitter：98000条推送被发出
12306：1840张车票被卖出
……
怎么样？是不是瞬息万变？


• Value（价值密度）

最后一个特点，就是价值密度。
大数据的数据量很大，但随之带来的，就是价值密度很低，数据中真正有价值的，只是其中的很少一部分。
例如通过监控视频寻找犯罪分子的相貌，也许几TB的视频文件，真正有价值的，只有几秒钟。