好玩的大數據

A. 大數據幫你談戀愛盤點數據時代驚人應用

大數據幫你談戀愛?盤點數據時代驚人應用

1大數據驚人應用（一）
衣食住行這些生活當中經常遇到的瑣事，也是我們平時不可避免的，科技領域一直是筆者非常關注的重點行業之一，從這幾年的產業發展我們不難看到，大數據和雲計算這兩個詞頻頻出現在我們的耳邊，並且基於上述這兩種技術的各類應用也開始層出不窮。
大數據幫你談戀愛?盤點數據時代驚人應用
作為普通用戶來說，我們在了解和關注一類新技術的時候往往只會聚焦於它的應用程度以及通過應用能夠解決我們自身哪些實際問題，對於大數據和雲計算來說同樣也是如此。近些年在智能設備、醫療、教育以及公共交通等很多方面我們都見到了大數據的各類應用，本期筆者就和大家來重點聊聊這些新技術在日常生活當中究竟都進行了怎樣的應用，我們來盤點分析一下在數據爆發的今天我們都如何駕馭這些數據的。
數據感知客戶需求
通過技術平台收集用戶數據，然後將這些海量數據進行分析，從而剖析出用戶的使用習慣，購買特點等等一系列詳細的分析結果，這種方式可能是現在應用最為廣泛的大數據技術應用的一類了。在一般情況下，建立出數據模型進行預測。比如美國的著名零售商Target就是通過大數據的分析，得到有價值的信息，精準得預測到客戶在什麼時候想要小孩。

另外，通過大數據的應用，電信公司可以更好預測出流失的客戶，在這方面，美國全球最大的零售商沃爾瑪做的就很好，沃爾瑪通過大數據收集和分析技術更加精準的預測哪個產品會大賣，從而在庫存以及人員安排上開始重點排兵布陣，汽車保險行業也是如此，他們會了解客戶的需求和駕駛水平，並且將這些數據回傳給相關部門進行分析和應用，這樣一來，政府也能了解到選民的偏好。
2大數據驚人應用（二）
優化企業流程
對於企業用戶來說，尤其是管理者，都希望能夠提升運營效率的同時簡化各項流程，隨著大數據技術的廣泛應用，開始有很多企業用戶利用社交媒體的數據、網路搜索等做種途徑來挖掘出更有價值的數據，其中應用最為突出的就是供應鏈領域，在上述這兩種應用類型當中，地理定位和無線電頻率的識別追蹤貨物和送貨車，利用實時交通路線數據制定更加優化的路線。人力資源業務也通過大數據的分析來進行改進，這其中就包括了人才招聘的優化。

改善生活模式
筆者喜歡跑步，最早的時候跑步可能隨身會攜帶MP3播放器，而現在的跑步裝備可能除了手機之外，還會佩戴一些智能穿戴設備，這些電子設備在監控跑步者各項身體數據的同時，能夠將數據進行回傳和分析，從而讓用戶獲得更加精準更加高效的健身意見。

更好玩的一類應用就是，現在已經開始有很多年輕的用戶開始利用大數據在交友和談戀愛，這種平台也是基於大數據技術，通過用戶上傳的數據來智能匹配男女用戶，通過每個人的興趣、愛好、容貌、地域特點等等多方數據來更精準的為用戶提供交友對象服務。
3大數據驚人應用（三）
提升醫療科研水平
現在很多先進的醫療機構都在利用大數據對患者的數據進行分析，同時結合先進的儀器、3D列印技術等針對患者的患處進行治療，從而提升了治療效率，也提升了治療效果。大數據技術目前已經在醫院應用監視早產嬰兒和患病嬰兒的情況，通過記錄和分析嬰兒的心跳，醫生針對嬰兒的身體可能會出現不適症狀做出預測。這樣可以幫助醫生更好的救助嬰兒。

提高體育成績
現在很多運動員在訓練的時候應用大數據分析技術了。比如例如用於網球鼻塞的IBM SlamTracker工具，我們使用視頻分析來追蹤足球或棒球比賽中每個球員的表現，而運動器材中的感測器技術，例如籃球或高爾夫俱樂部。讓我們可以獲得對比賽的數據以及如何改進。很多精英運動隊還追蹤比賽環境外運動員的活動-通過使用智能技術來追蹤其營養狀況以及睡眠，以及社交對話來監控其情感狀況。

優化機器和設備性能
大數據分析還可以讓積極和設備在應用上更加智能化和自主化。例如，大數據工具曾經就被谷歌公司利用研發谷歌自駕汽車。豐田的普瑞就配有相機、GPS以及感測器，在交通上能夠安全的駕駛，不需要人類的敢於。大數據工具還可以應用優化智能電話。

金融交易
大數據在金融行業主要是應用金融交易。高頻交易是大數據應用比較多的領域。其中大數據演算法應用於交易決定。現在很多股權的交易都是利用大數據演算法進行，這些演算法現在越來越多的考慮了社交媒體和網站新聞來決定在未來幾秒內是買出還是賣出。
本期我們通過不同行業利用大數據平台和技術的各類應用向讀者展示了現在大數據領域的深度應用，其實通過這些應用我們不難發現，從大數據誕生到現在這短短幾年的時間當中，技術的革新和應用的廣泛提升已經讓我們這些普通用戶感受到了改變，相信未來在大數據技術保駕護航之下，我們平時工作和生活等很多方面都將會帶來更好的體驗。

B. 好玩的大數據之18：Hive實驗1（ 使用load data導入數據到外部表和內部表）

            hive

CREATE TABLE IF NOT EXISTS `test_01`(

  `id` int,`name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

CREATE external TABLE IF NOT EXISTS `test_02`(

  `id` int, `name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

vi /home/hadoop/share/mydata/hive/score.txt

內容如下：

1,'zhang',20,120

2,'zhao',19,119

3,'qian',18,118

4,'li',21,121

vi /home/hadoop/share/mydata/hive/score02.txt

內容如下：

5,'wang',20,120

6,'zhou',19,119

7,'wu',18,118

8,'hu',21,121

load data local inpath '/home/hadoop/share/mydata/hive/score.txt' overwrite into table test_01;

load data local inpath '/home/hadoop/share/mydata/hive/score.txt' overwrite into table test_02;

select * from test_01;

select * from test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_01

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_01/score.txt

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/score.txt

drop table test_01;

drop table test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db

CREATE TABLE IF NOT EXISTS `test_01`(

  `id` int,`name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

CREATE external TABLE IF NOT EXISTS `test_02`(

  `id` int, `name` String,`age` INT,`score` FLOAT)

ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

select * from test_01;

select * from test_02;

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' overwrite into table test_01;

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' overwrite into table test_02;

select * from test_01;

select * from test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_01

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/*

注意沒有用overwrite

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' into table test_02;

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/*

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

注意這次用overwrite

load data local inpath '/home/hadoop/share/mydata/hive/score02.txt' overwrite into table test_02;

select * from test_02;

hadoop fs -ls /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02

hadoop fs -cat /mylab/soft/apache-hive-3.1.2-bin/working/metastore.warehouse/testdb.db/test_02/*

不指明類型的情況下，HIVE會默認新建的表為內部表，外部表需要使用external關鍵字。

當我們刪除外部表時，刪除的只是元數據，存儲數據仍被保留。當我們刪除內部表時，元數據和存儲數據都被刪除。

使用load data操作的時候，不管是外部表還是內部表，如果源數據存在於HDFS層，都是數據的移動。即源數據從HDFS存儲路徑移動到HIVE數據倉庫默認路徑。

使用load data操作的時候，要是使用了overwrite，則情況原來的文件，生成正在load的文件，要是沒有用overwrite，則在原來的基礎上，增加新載入的文件，要是有重名，hive會自動補足成唯一的文件名

    https://blog.csdn.net/henrrywan/article/details/90612741

C. 《五一旅行大數據報告》出爐，哪些城市成了熱門旅遊目的地

《五一旅行大數據報告》出爐，成都這個城市肯定是熱門旅遊目的地，我很喜歡成都。

成都人的閑適是深入到骨頭里了的，在成都，這里的一切都是慢悠悠的，這種緩慢是成都特有的生活方式。這里溫潤的空氣和滿街的茶舍食攤好像怎麼也讓人快不起來似的。在成都，人們總是忍不住放慢自己的腳步，讓自己的生活慢一點，再慢一點，總是不自覺的把自己的節奏變的越來越契合這里的氛圍。這份契合讓在這里的人感到舒適，也讓人們有足夠的時間去想清楚自己的生活。成都人的這份閑適是溫暖的。

D. 大數據觀察：吸引網民的5大層次內容，盡顯人性

通過研究自媒體這個行業，觀察眾多的頻道和關注用戶量等數據。可以對人群進行劃分，對人們的集體意識和人性會有更清晰的認知。下面就來總結與探討一下「吸引網民的5大層次內容」。

人首先是動物，不論再如何進化，這點是不會變的。美食類是首先吸引大部分人的內容，特別是在這個遍地自稱是吃貨的時代。此類大概所佔比例：95%

不被吸引的人群：素食者，靈性人士，修行者，出家人等已然超越了食物誘惑的人。原因：這些人都需要純凈的食物能量。而動物太不純凈了。並且吃久了素食吃到肉看到肉都會反胃。因為已經養成了素食的純凈體質。此類大概所佔比例：5%

這里說的「性取向」，就是「異性吸引」的「性取向」的群體，也包括同性吸引取向的群體。

典型內容領域：帥哥，美女，模特，娛樂明星，八卦，演員，歌手等。

原因 ：明星其實就是「大眾性取向崇拜的對象」。

包括關注音樂和歌手的這類人群中的某一部分，這部分粉絲人群也是屬於「性取向」類的。

原因：其實很多人不是真的懂音樂，而是僅僅喜歡聽那個歌手的聲線和聲音，喜歡那個歌手的長相。異性的或同性的聲音吸引也是屬於性取向范疇。就像貓喜歡聽到異性貓的叫春是一樣的感覺。

非性取向的吸引： 真正喜歡音樂，欣賞音樂的人不太會對歌手本人感興趣。他們只會對音樂感興趣。他們或許只喜歡聽純音樂，純器樂。

純音樂不一定就是很緩慢的那種，也包括節奏感的音樂。比如：搖滾樂，太空樂，電子樂，迷幻樂等。真正「需要音樂的人」不喜歡聽歌曲更深層次的原因，大概是因為歌曲里的能量比較雜亂，不純凈。夾雜了太多歌手的情緒在裡面。

朴樹曾經說過一句話，他說：我希望在我的音樂里沒有我。

以上是性取向吸引類的內容解析。

玩具吸引類的內容領域，包括：兒童玩具和成人玩具。

兒童玩具類的內容，就是一些小孩子玩的玩具視頻。這里不多說。下面主要說一說「成人玩具」。這里說的不是某些人理解的「成人玩具」。而是另一種意義上的「成人玩具」。

成人玩具包括：汽車，手機以及其他類似產品。

其實說白了，不論是汽車還是手機等產品。這些只是一些工具罷了。在我看來，汽車不論再高級，它的實質本質和自行車是一樣的，都只是交通工具。不論駕駛再有樂趣，再如何舒適，裡面的功能不論再如何好玩，都只是交通工具。區別就是附加的玩樂功能多而已。所以這些是屬於「成人玩具」類。

很多東西都是：「工具+玩具」的組合。有很大一部分人對玩具吸引。甚至還有很多人把工具和玩具上升到了某種精神層次或身份層次的象徵。

玩具類也包括：科技與軍事。

其實，對於人們來說，這些東西在實質上都是覺得好玩而已，是那種「高大上的好玩」。這些高大上的玩具，要麼就是沒那麼多錢買，要麼就是有錢也買不到。這些都是自己不能玩的玩具，只能看看，過過眼癮。

玩具類也包括：寵物。

其實很多人是把寵物當玩具的。只是他們不承認。寵物是可以觀察與互動的「玩具」，是「活的玩具」，是有生命的玩具。

以上是關於吸引人的玩具類的內容層次。

賺錢類是網上最吸引人的一大類內容。網上講賺錢的內容就像「電視劇中的真愛」一樣。也許人們在現實中看不到真愛，只有到電視劇里才能看到「真愛」。

金錢是人類自身以外的最大需求。其實也等同於自身之內的需求。因為衣食住行以及其他各個方面都是要用錢來換取的。金錢是社會游戲規則強加給人類的剛需。

但是從人性的弱點來講：沒有多少人會真心分享賺錢之道出來。因為對於一般人來說，賺錢方法就是一層窗戶紙。他們是萬萬不能捅破的。因為，同行是冤家。「捅破了」就多了競爭對手。

真正真心分享賺錢之道的人，可能是已經真正超越了金錢的人，金錢已經不再是人生問題的人。並且他們的賺錢之道是正道，沒有不可告人的秘密。在這樣前提下才會真心分享。否則分享的都是假大空的話。

並且即使那些真正通過正道成功者分享了他們的經驗，也不是隨便什麼人都可以復制的。因為，任何人的成功都是要有特定條件與機緣的。所以他們分享了，一般人聽了也沒什麼用。只能是感覺有道理，可以「激勵」人做夢。

剩下其他的講賺錢和成功內容的，其目的不是「想要你賺錢」，而是要通過分享賺錢內容來讓他們自己賺錢。又或是只為炫耀自己的成功和有錢，為了虛榮，給人灌雞湯。

所以，話又說回來了。雖然吸引人，但結果是對大多數人沒有什麼用的。但是這也不妨礙有龐大數字的人群去關注。這就是人性的需求，也是人性的弱點。

以上是關於吸引人們眼球的賺錢類內容的討論。

對精神境界感興趣的人也不少。但是比起上述：對食物，對性取向吸引，對玩具吸引等幾個方面來說，數量是不多的。

這也是符合人性進化的。人在滿足了動物需求以後，才會追求精神需求。

精神類內容包括文藝作品，包括小說，影視等，也包括雞湯和情感類內容。

文藝作品和影視作品的核心應當是「精神境界」。它們都可以把人帶入一種意境。使人進入「另一個世界」體驗不同的人生境界。

比影視更加精神化的作品形式是小說等文藝作品。形式上只有文字或播音。其他全靠自我意境想像。因此，不會被演員的臉或糟糕的演技破壞了意境。

情感類也屬於精神類，但是情感類大多是「不究竟的東西」。有太多個體的主觀認識。比如，很多作者，把主觀認識加到粉絲身上。假如作者是一個「心機婊」。那麼，很可能她會把這種心機婊的精神思想傳染給沒有立場的粉絲們。製造出現實中更多的帶「心機婊程序」的人。

情感類都是過程產物，人類精神的進化是在不斷進行的。情感類的內容都是「過程產物」。任何的情感和想法都會隨著時間推移，隨著境界提升而被丟棄。這也是人性的特點。

綜上所術，大數據也是基於人性的。這體現了互聯網與科技「以人為本」的原則。不論是「食吸引」，還是「性取向的色吸引」，又或是「玩具吸引」，「精神情感吸引」，這些都是「人性的特點」。而基本「人性」這些規則，也是在法則之下運行的。

但是人性的規則具有時限性，也就是同一個人隨著時間的推移，不會一直被某一類內容吸引。人們會隨時成長進化，有更高的追求，會對更高精神層次的內容感興趣。

以上，就是通過對自媒體的觀察，對互聯網的大數據窺察，總結出來的幾點內容。不知你覺得有沒有道理？

文：散閑觀點

E. 有哪些好的數據來源或者大數據平台

基於相關產業市場運行實時數據，監測實際市場運行中實物商品、數字商品、數字化服務的實時交易狀況、全國各省市相關產業交易額實時排名，反映產業和經濟運行現狀——產業經濟監測、預測與政策模擬平台。