好玩的大数据

A. 大数据帮你谈恋爱盘点数据时代惊人应用

大数据帮你谈恋爱?盘点数据时代惊人应用

1大数据惊人应用（一）
衣食住行这些生活当中经常遇到的琐事，也是我们平时不可避免的，科技领域一直是笔者非常关注的重点行业之一，从这几年的产业发展我们不难看到，大数据和云计算这两个词频频出现在我们的耳边，并且基于上述这两种技术的各类应用也开始层出不穷。
大数据帮你谈恋爱?盘点数据时代惊人应用
作为普通用户来说，我们在了解和关注一类新技术的时候往往只会聚焦于它的应用程度以及通过应用能够解决我们自身哪些实际问题，对于大数据和云计算来说同样也是如此。近些年在智能设备、医疗、教育以及公共交通等很多方面我们都见到了大数据的各类应用，本期笔者就和大家来重点聊聊这些新技术在日常生活当中究竟都进行了怎样的应用，我们来盘点分析一下在数据爆发的今天我们都如何驾驭这些数据的。
数据感知客户需求
通过技术平台收集用户数据，然后将这些海量数据进行分析，从而剖析出用户的使用习惯，购买特点等等一系列详细的分析结果，这种方式可能是现在应用最为广泛的大数据技术应用的一类了。在一般情况下，建立出数据模型进行预测。比如美国的著名零售商Target就是通过大数据的分析，得到有价值的信息，精准得预测到客户在什么时候想要小孩。

另外，通过大数据的应用，电信公司可以更好预测出流失的客户，在这方面，美国全球最大的零售商沃尔玛做的就很好，沃尔玛通过大数据收集和分析技术更加精准的预测哪个产品会大卖，从而在库存以及人员安排上开始重点排兵布阵，汽车保险行业也是如此，他们会了解客户的需求和驾驶水平，并且将这些数据回传给相关部门进行分析和应用，这样一来，政府也能了解到选民的偏好。
2大数据惊人应用（二）
优化企业流程
对于企业用户来说，尤其是管理者，都希望能够提升运营效率的同时简化各项流程，随着大数据技术的广泛应用，开始有很多企业用户利用社交媒体的数据、网络搜索等做种途径来挖掘出更有价值的数据，其中应用最为突出的就是供应链领域，在上述这两种应用类型当中，地理定位和无线电频率的识别追踪货物和送货车，利用实时交通路线数据制定更加优化的路线。人力资源业务也通过大数据的分析来进行改进，这其中就包括了人才招聘的优化。

改善生活模式
笔者喜欢跑步，最早的时候跑步可能随身会携带MP3播放器，而现在的跑步装备可能除了手机之外，还会佩戴一些智能穿戴设备，这些电子设备在监控跑步者各项身体数据的同时，能够将数据进行回传和分析，从而让用户获得更加精准更加高效的健身意见。

更好玩的一类应用就是，现在已经开始有很多年轻的用户开始利用大数据在交友和谈恋爱，这种平台也是基于大数据技术，通过用户上传的数据来智能匹配男女用户，通过每个人的兴趣、爱好、容貌、地域特点等等多方数据来更精准的为用户提供交友对象服务。
3大数据惊人应用（三）
提升医疗科研水平
现在很多先进的医疗机构都在利用大数据对患者的数据进行分析，同时结合先进的仪器、3D打印技术等针对患者的患处进行治疗，从而提升了治疗效率，也提升了治疗效果。大数据技术目前已经在医院应用监视早产婴儿和患病婴儿的情况，通过记录和分析婴儿的心跳，医生针对婴儿的身体可能会出现不适症状做出预测。这样可以帮助医生更好的救助婴儿。

提高体育成绩
现在很多运动员在训练的时候应用大数据分析技术了。比如例如用于网球鼻塞的IBM SlamTracker工具，我们使用视频分析来追踪足球或棒球比赛中每个球员的表现，而运动器材中的传感器技术，例如篮球或高尔夫俱乐部。让我们可以获得对比赛的数据以及如何改进。很多精英运动队还追踪比赛环境外运动员的活动-通过使用智能技术来追踪其营养状况以及睡眠，以及社交对话来监控其情感状况。

优化机器和设备性能
大数据分析还可以让积极和设备在应用上更加智能化和自主化。例如，大数据工具曾经就被谷歌公司利用研发谷歌自驾汽车。丰田的普瑞就配有相机、GPS以及传感器，在交通上能够安全的驾驶，不需要人类的敢于。大数据工具还可以应用优化智能电话。

金融交易
大数据在金融行业主要是应用金融交易。高频交易是大数据应用比较多的领域。其中大数据算法应用于交易决定。现在很多股权的交易都是利用大数据算法进行，这些算法现在越来越多的考虑了社交媒体和网站新闻来决定在未来几秒内是买出还是卖出。
本期我们通过不同行业利用大数据平台和技术的各类应用向读者展示了现在大数据领域的深度应用，其实通过这些应用我们不难发现，从大数据诞生到现在这短短几年的时间当中，技术的革新和应用的广泛提升已经让我们这些普通用户感受到了改变，相信未来在大数据技术保驾护航之下，我们平时工作和生活等很多方面都将会带来更好的体验。

B. 好玩的大数据之18：Hive实验1（ 使用load data导入数据到外部表和内部表）

            hive

CREATE TABLE IF NOT EXISTS `test_01`(

  `id` int,`name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

CREATE external TABLE IF NOT EXISTS `test_02`(

  `id` int, `name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

vi /home/hadoop/share/mydata/hive/score.txt

内容如下：

1,'zhang',20,120

2,'zhao',19,119

3,'qian',18,118

4,'li',21,121

vi /home/hadoop/share/mydata/hive/score02.txt

内容如下：

5,'wang',20,120

6,'zhou',19,119

7,'wu',18,118

8,'hu',21,121

load data local inpath '/home/hadoop/share/mydata/hive/score.txt' overwrite into table test_01;

load data local inpath '/home/hadoop/share/mydata/hive/score.txt' overwrite into table test_02;

select * from test_01;

select * from test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_01

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_01/score.txt

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/score.txt

drop table test_01;

drop table test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db

CREATE TABLE IF NOT EXISTS `test_01`(

  `id` int,`name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

CREATE external TABLE IF NOT EXISTS `test_02`(

  `id` int, `name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

select * from test_01;

select * from test_02;

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' overwrite into table test_01;

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' overwrite into table test_02;

select * from test_01;

select * from test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_01

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/*

注意没有用overwrite

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' into table test_02;

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/*

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

注意这次用overwrite

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' overwrite into table test_02;

select * from test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/*

不指明类型的情况下，HIVE会默认新建的表为内部表，外部表需要使用external关键字。

当我们删除外部表时，删除的只是元数据，存储数据仍被保留。当我们删除内部表时，元数据和存储数据都被删除。

使用load data操作的时候，不管是外部表还是内部表，如果源数据存在于HDFS层，都是数据的移动。即源数据从HDFS存储路径移动到HIVE数据仓库默认路径。

使用load data操作的时候，要是使用了overwrite，则情况原来的文件，生成正在load的文件，要是没有用overwrite，则在原来的基础上，增加新加载的文件，要是有重名，hive会自动补足成唯一的文件名

    https://blog.csdn.net/henrrywan/article/details/90612741

C. 《五一旅行大数据报告》出炉，哪些城市成了热门旅游目的地

《五一旅行大数据报告》出炉，成都这个城市肯定是热门旅游目的地，我很喜欢成都。

成都人的闲适是深入到骨头里了的，在成都，这里的一切都是慢悠悠的，这种缓慢是成都特有的生活方式。这里温润的空气和满街的茶舍食摊好像怎么也让人快不起来似的。在成都，人们总是忍不住放慢自己的脚步，让自己的生活慢一点，再慢一点，总是不自觉的把自己的节奏变的越来越契合这里的氛围。这份契合让在这里的人感到舒适，也让人们有足够的时间去想清楚自己的生活。成都人的这份闲适是温暖的。

D. 大数据观察：吸引网民的5大层次内容，尽显人性

通过研究自媒体这个行业，观察众多的频道和关注用户量等数据。可以对人群进行划分，对人们的集体意识和人性会有更清晰的认知。下面就来总结与探讨一下“吸引网民的5大层次内容”。

人首先是动物，不论再如何进化，这点是不会变的。美食类是首先吸引大部分人的内容，特别是在这个遍地自称是吃货的时代。此类大概所占比例：95%

不被吸引的人群：素食者，灵性人士，修行者，出家人等已然超越了食物诱惑的人。原因：这些人都需要纯净的食物能量。而动物太不纯净了。并且吃久了素食吃到肉看到肉都会反胃。因为已经养成了素食的纯净体质。此类大概所占比例：5%

这里说的“性取向”，就是“异性吸引”的“性取向”的群体，也包括同性吸引取向的群体。

典型内容领域：帅哥，美女，模特，娱乐明星，八卦，演员，歌手等。

原因 ：明星其实就是“大众性取向崇拜的对象”。

包括关注音乐和歌手的这类人群中的某一部分，这部分粉丝人群也是属于“性取向”类的。

原因：其实很多人不是真的懂音乐，而是仅仅喜欢听那个歌手的声线和声音，喜欢那个歌手的长相。异性的或同性的声音吸引也是属于性取向范畴。就像猫喜欢听到异性猫的叫春是一样的感觉。

非性取向的吸引： 真正喜欢音乐，欣赏音乐的人不太会对歌手本人感兴趣。他们只会对音乐感兴趣。他们或许只喜欢听纯音乐，纯器乐。

纯音乐不一定就是很缓慢的那种，也包括节奏感的音乐。比如：摇滚乐，太空乐，电子乐，迷幻乐等。真正“需要音乐的人”不喜欢听歌曲更深层次的原因，大概是因为歌曲里的能量比较杂乱，不纯净。夹杂了太多歌手的情绪在里面。

朴树曾经说过一句话，他说：我希望在我的音乐里没有我。

以上是性取向吸引类的内容解析。

玩具吸引类的内容领域，包括：儿童玩具和成人玩具。

儿童玩具类的内容，就是一些小孩子玩的玩具视频。这里不多说。下面主要说一说“成人玩具”。这里说的不是某些人理解的“成人玩具”。而是另一种意义上的“成人玩具”。

成人玩具包括：汽车，手机以及其他类似产品。

其实说白了，不论是汽车还是手机等产品。这些只是一些工具罢了。在我看来，汽车不论再高级，它的实质本质和自行车是一样的，都只是交通工具。不论驾驶再有乐趣，再如何舒适，里面的功能不论再如何好玩，都只是交通工具。区别就是附加的玩乐功能多而已。所以这些是属于“成人玩具”类。

很多东西都是：“工具+玩具”的组合。有很大一部分人对玩具吸引。甚至还有很多人把工具和玩具上升到了某种精神层次或身份层次的象征。

玩具类也包括：科技与军事。

其实，对于人们来说，这些东西在实质上都是觉得好玩而已，是那种“高大上的好玩”。这些高大上的玩具，要么就是没那么多钱买，要么就是有钱也买不到。这些都是自己不能玩的玩具，只能看看，过过眼瘾。

玩具类也包括：宠物。

其实很多人是把宠物当玩具的。只是他们不承认。宠物是可以观察与互动的“玩具”，是“活的玩具”，是有生命的玩具。

以上是关于吸引人的玩具类的内容层次。

赚钱类是网上最吸引人的一大类内容。网上讲赚钱的内容就像“电视剧中的真爱”一样。也许人们在现实中看不到真爱，只有到电视剧里才能看到“真爱”。

金钱是人类自身以外的最大需求。其实也等同于自身之内的需求。因为衣食住行以及其他各个方面都是要用钱来换取的。金钱是社会游戏规则强加给人类的刚需。

但是从人性的弱点来讲：没有多少人会真心分享赚钱之道出来。因为对于一般人来说，赚钱方法就是一层窗户纸。他们是万万不能捅破的。因为，同行是冤家。“捅破了”就多了竞争对手。

真正真心分享赚钱之道的人，可能是已经真正超越了金钱的人，金钱已经不再是人生问题的人。并且他们的赚钱之道是正道，没有不可告人的秘密。在这样前提下才会真心分享。否则分享的都是假大空的话。

并且即使那些真正通过正道成功者分享了他们的经验，也不是随便什么人都可以复制的。因为，任何人的成功都是要有特定条件与机缘的。所以他们分享了，一般人听了也没什么用。只能是感觉有道理，可以“激励”人做梦。

剩下其他的讲赚钱和成功内容的，其目的不是“想要你赚钱”，而是要通过分享赚钱内容来让他们自己赚钱。又或是只为炫耀自己的成功和有钱，为了虚荣，给人灌鸡汤。

所以，话又说回来了。虽然吸引人，但结果是对大多数人没有什么用的。但是这也不妨碍有庞大数字的人群去关注。这就是人性的需求，也是人性的弱点。

以上是关于吸引人们眼球的赚钱类内容的讨论。

对精神境界感兴趣的人也不少。但是比起上述：对食物，对性取向吸引，对玩具吸引等几个方面来说，数量是不多的。

这也是符合人性进化的。人在满足了动物需求以后，才会追求精神需求。

精神类内容包括文艺作品，包括小说，影视等，也包括鸡汤和情感类内容。

文艺作品和影视作品的核心应当是“精神境界”。它们都可以把人带入一种意境。使人进入“另一个世界”体验不同的人生境界。

比影视更加精神化的作品形式是小说等文艺作品。形式上只有文字或播音。其他全靠自我意境想象。因此，不会被演员的脸或糟糕的演技破坏了意境。

情感类也属于精神类，但是情感类大多是“不究竟的东西”。有太多个体的主观认识。比如，很多作者，把主观认识加到粉丝身上。假如作者是一个“心机婊”。那么，很可能她会把这种心机婊的精神思想传染给没有立场的粉丝们。制造出现实中更多的带“心机婊程序”的人。

情感类都是过程产物，人类精神的进化是在不断进行的。情感类的内容都是“过程产物”。任何的情感和想法都会随着时间推移，随着境界提升而被丢弃。这也是人性的特点。

综上所术，大数据也是基于人性的。这体现了互联网与科技“以人为本”的原则。不论是“食吸引”，还是“性取向的色吸引”，又或是“玩具吸引”，“精神情感吸引”，这些都是“人性的特点”。而基本“人性”这些规则，也是在法则之下运行的。

但是人性的规则具有时限性，也就是同一个人随着时间的推移，不会一直被某一类内容吸引。人们会随时成长进化，有更高的追求，会对更高精神层次的内容感兴趣。

以上，就是通过对自媒体的观察，对互联网的大数据窥察，总结出来的几点内容。不知你觉得有没有道理？

文：散闲观点

E. 有哪些好的数据来源或者大数据平台

基于相关产业市场运行实时数据，监测实际市场运行中实物商品、数字商品、数字化服务的实时交易状况、全国各省市相关产业交易额实时排名，反映产业和经济运行现状——产业经济监测、预测与政策模拟平台。