大數據時代下的隊列研究

Ⅰ 大數據分析一般用什麼工具分析

首先我們要了解java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。樓主是JAVA畢業的，這無疑是極好的開頭和奠基啊，可謂是贏在了起跑線上，接收和吸收大數據領域的知識會比一般人更加得心應手。
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
記住學到這里可以作為你學大數據的一個節點。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

Ⅱ 大數據的預測功能是增值服務的核心

大數據的預測功能是增值服務的核心
從走在大數據發展前沿的互聯網新興行業，到與人類生活息息相關的醫療保健、電力、通信等傳統行業，大數據浪潮無時無刻不在改變著人們的生產和生活方式。大數據時代的到來，給國內外各行各業帶來諸多的變革動力和巨大價值。
最新發布的報告稱，全球大數據市場規模將在未來五年內迎來高達26%的年復合增長率——從今年的148.7億美元增長到2018年的463.4億美元。全球各大公司、企業和研究機構對大數據商業模式進行了廣泛地探索和嘗試，雖然仍舊有許多模式尚不明朗，但是也逐漸形成了一些成熟的商業模式。
兩種存儲模式為主
互聯網上的每一個網頁、每一張圖片、每一封郵件，通信行業每一條短消息、每一通電話，電力行業每一戶用電數據等等，這些足跡都以「數據」的形式被記錄下來，並以幾何量級的速度增長。這就是大數據時代帶給我們最直觀的沖擊。
正因為數據量之大，數據多為非結構化，現有的諸多存儲介質和系統極大地限制著大數據的挖掘和發展。為更好地解決大數據存儲問題，國內外各大企業和研究機構做了許許多多的嘗試和努力，並不斷摸索其商業化前景，目前形成了如下兩種比較成熟的商業模式：
可擴展的存儲解決方案。該存儲解決方案可幫助政府、企業對存儲的內容進行分類和確定優先順序，高效安全地存儲到適當存儲介質中。而以存儲區域網路（SAN）、統一存儲、文件整合/網路連接存儲（NAS）的傳統存儲解決方案，無法提供和擴展處理大數據所需要的靈活性。而以Intel、Oracle、華為、中興等為代表的新一代存儲解決方案提供商提供的適用於大、中小企業級的全系存儲解決方案，通過標准化IT基礎架構、自動化流程和高擴展性，來滿足大數據多種應用需求。
雲存儲。雲存儲是一個以數據存儲和管理為核心的雲計算系統，其結構模型一般由存儲層、基礎管理、應用介面和訪問層四層組成。通過易於使用的API，方便用戶將各種數據放到雲存儲裡面，然後像使用水電一樣按用量進行收費。用戶不用關心數據的存儲介質、網路狀況以及安全性的管理，只需按需向提供方購買空間。
源數據價值水漲船高
在紅紅火火的大數據時代，隨著數據的累積，數據本身的價值也在不斷升值，這種情況很好地反應了事物由量變到質變的規律。例如有一種罕見的疾病，得病率為十萬分之一，如果從小樣本數據來看非常罕見，但是擴大到全世界70億人，那麼數量就非常龐大。以前技術落後，不能將該病情數字化集中研究，所以很難攻克。但是，我們現在把各種各樣的數據案例搜集起來統一分析，我們很快就能攻克很多以前想像不到的科學難題。類似的例子，不勝枚舉。
正是由於可以通過大數據挖掘到很多看不見的價值，源數據本身的價值也水漲船高。一些掌握海量有效數據的公司和企業找到了一條行之有效的商業路徑：對源數據直接或者經過簡單封裝銷售。在互聯網領域，以Facebook、twitter、微博為代表的社交網站擁有大量的用戶和用戶關系數據，這些網站正嘗試以各種方式對該源數據進行商業化銷售，Google、Yahoo!、網路[微博]等搜索公司擁有大量的搜索軌跡數據以及網頁數據，他們可以通過簡單API提供給第三方並從中盈利；在傳統行業中，中國聯通[微博]（3.44, 0.03, 0.88%）、中國電信[微博]等運營商擁有大量的底層用戶資料，可以通過簡單地去隱私化，然後進行銷售盈利。
各大公司或者企業通過提供海量數據服務來支撐公司發展，同時以免費的服務補償用戶，這種成熟的商業模式經受住了時間的考驗。但是對於任何用戶數據的買賣，還需處理好用戶隱私信息，通過去隱私化方式，來保護好用戶隱私。
預測是增值服務的核心
在大數據基礎上進行深度挖掘，所衍生出來的增值服務，是大數據領域最具想像空間的商業模式。大數據增值服務的核心是什麼？預測！大數據引發了商業分析模式轉變，從過去的樣本模式到現在的全數據模式，從過去的小概率到現在的大概率，從而能夠得到比以前更准確的預測。目前形成了如下幾種比較成熟的商業模式。
個性化的精準營銷。一提起「垃圾簡訊」，大家都很厭煩，這是因為本來在營銷方看來是有價值的、「對」的信息，發到了「錯」的用戶手裡。通過對用戶的大量的行為數據進行詳細分析，深度挖掘之後，能夠實現給「對」的用戶發送「對」的信息。比如大型商場可以對會員的購買記錄進行深度分析，發掘用戶和品牌之間的關聯。然後，當某個品牌的忠實用戶收到該品牌打折促銷的簡訊之後，一定不是厭煩，而是欣喜。如優捷信達、中科嘉速等擁有強大數據處理技術的公司在數據挖掘、精準廣告分析等方面擁有豐富的經驗。
企業經營的決策指導。針對大量的用戶數據，運用成熟的數據挖掘技術，分析得到企業運營的各種趨勢，從而給企業的決策提供強有力的指導。例如，汽車銷售公司，可以通過對網路上用戶的大量評論進行分析，得到用戶最關心和最不滿意的功能，然後對自己的下一代產品進行有針對性的改進，以提升消費者的滿意度。
總體來說，從宏觀層面來看，大數據是我們未來社會的新能源；從企業微觀層面來看，大數據分析和運用能力正成為企業的核心競爭力。深入研究和積極探索大數據的商業模式，對企業的未來發展有至關重要的意義。

Ⅲ 大數據對科學研究的影響

（1）第一種範式：實驗

在最初的科學研究階段，人類採用實驗來解決一些科學問題，著名的比薩斜塔實驗就是一個典型實例。1590年，伽利略在比薩斜塔上做了「兩個鐵球同時落地」的實驗，得出了重量不同的兩個鐵球同時下落的結論，從此推翻了亞里士多德「物體下落速度和重量成比例」的學說，糾正了這個持續了1 900年之久的錯誤結論。

Ⅳ 如何進行大數據分析及處理

1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

Ⅳ 《大數據時代》的讀後感

當認真看完一本名著後，大家心中一定有很多感想，為此需要認真地寫一寫讀後感了。你想知道讀後感怎麼寫嗎？下面是我收集整理的《大數據時代》的讀後感範文（通用5篇），僅供參考，大家一起來看看吧。

《大數據時代》的讀後感1

對於暢銷書刊、熱點話題、時尚科技，始終不太感興趣。書刊，喜歡有一定年份的。話題，鍾情於務虛的觀點。新奇的產品於我無緣，習慣使用成熟的科技產品。既不清高，也非冷漠，就是要與現實保持一定的距離，給自己留一點思考的空間。這一習慣最近破了例。由於工作的原因，耳濡目染，「大數據」這個新興概念開始頻繁步入我的視野。按捺不住內心的好奇，網購《大數據時代》，手不釋卷，三天讀完，頗有收獲。此書有如下特點。

首先，作者站在理論的制高點上，條理清楚地闡述了大數據對人類的工作、生活、思維帶來的革新，大數據時代的三種典型的商業模式，以及大數據時代對於個人隱私保護、公共安全提出的挑戰。其次，文中的事例貼近現實生活，貼近時代，令讀者既印象深刻，又感同身受。此外，作者沒有使用大量的專業術語，沒有假裝一副專業的面孔。縱觀全書，遣詞造句，均通俗易懂。

作者認為大數據時代具有三個顯著特點。

一、人們研究與分析某個現象時，將使用全部數據而非抽樣數據。

二、在大數據時代，不能一味地追求數據的精確性，而要適應數據的多樣性、豐富性、甚至要接受錯誤的數據。

三、了解數據之間的相關性，勝於對因果關系的探索。「是什麼」比「為什麼」重要。

作者指出，隨著技術的發展，數據的存儲與處理成本顯著降低，人們現在有能力從支離破碎的、看似毫不相乾的數據礦渣中抽煉出真知爍見。在大數據時代，三類公司將成為時代的寵兒。一是擁有大數據的公司與組織。如政府、銀行、電信公司、全球性互聯網公司(阿里巴巴、淘寶網)。二是擁有數據分析與處理技術的專業公司，如亞馬遜、谷歌。三是擁有創新思維的公司，他們可能既不掌握大數據，也沒有專業技術，但卻擅長使用大數據，從大數據中找到自己的理想天地。

面對即將來臨的大數據時代，個人將如何應對自如？這是個嚴肅的問題。

《大數據時代》的讀後感2

如今說起新媒體和互聯網，必提大數據，似乎不這樣說就OUT了。而且人雲亦雲的居多，不少談論者甚至還沒有認真讀過這方面的經典著作——舍恩佰格的《大數據時代》。維克托·邁爾舍恩伯格何許人也？他現任牛津大學網路學院互聯網研究所治理與監管專業教授，曾任哈佛大學肯尼迪學院信息監管科研項目負責人。他的咨詢客戶包括微軟、惠普和IBM等全球企業，他是歐盟互聯網官方政策背後真正的制定者和參與者，他還先後擔任多國政府高層的智囊。這位被譽為：大數據時代的.預言家「的牛津教授真牛！那麼，這位大師說的都是金科玉律嗎？並不一定，讀大師的作品一定要做些功課才好讀懂，才能能與之進行一場思想上的對話。

舍恩伯格分三部分來討論大數據，即思維變革、商業變革和管理變革。

在第一部分」大數據時代的思維變革「中，舍恩伯格旗幟鮮明的亮出他的三個觀點：

一、更多：不是隨機樣本，而是全體數據。

二、更雜：不是精確性，而是混雜性。

三、更好：不是因果關系，而是相關關系。對於第一個觀點，我不敢苟同。

一方面是對全體數據進行處理，在技術和設備上有相當高的難度。另一方面是不是都有此必要，對於簡單事實進行判斷的數據分析難道也要採集全體數據嗎？

我曾與香港城市大學的祝建華教授討論過。祝教授是傳播學研究方法和數據分析的專家，他認為一定可以找到一種數理統計方法來進行分析，並不一定需要全部數據。聯繫到舍恩伯格第二個觀點中所說的相關關系，我理解他說的全體數據不是指數量而是指范圍，即大數據的隨機樣本不限於目標數據，還包括目標以外的所有數據。我認為大數據分析不能排除隨機抽樣，只是抽樣的方法和范圍要加以拓展。

我同意舍恩伯格的第二觀點，我認為這是對他第一個觀點很好的補充，這也是對精準傳播和精準營銷的一種反思。」大數據的簡單演算法比小數據的復雜演算法更有效。「更具有宏觀視野和東方哲學思維。對於舍恩伯格的第三個觀點，我也不能完全贊同。」不是因果關系，而是相關關系。「不需要知道」為什麼「，只需要知道」是什麼「。傳播即數據，數據即關系。在小數據時代人們只關心因果關系，對相關關系認識不足，大數據時代相關關系舉足輕重，如何強調都不為過，但不應該完全排斥它。大數據從何而來？為何而用？如果我們完全忽略因果關系，不知道大數據產生的前因後果，也就消解了大數據的人文價值。如今不少學者為了闡述和傳播其觀點往往語出驚人，對舊有觀念進行徹底的否定。

世間萬物的復雜性多樣化並非非此即彼那麼簡單，舍恩伯格也是這種二元對立的幼稚思維嗎？其實不然，讀者在閱讀時一定要看清楚他是在什麼語境下說的，不要因囫圇吞棗的淺讀而陷入斷章取義的誤讀。比如說舍恩伯格在提出」不是因果關系，而是相關關系。「這一論斷時，他在書中還說道：」在大多數情況下，一旦我們完成了對大數據的相關關系分析，而又不再滿足於僅僅知道『是什麼』時，我們就會繼續向更深層次研究的因果關系，找出背後的『為什麼』。「由此可見，他說的全體數據和相關關系都在特定語境下的，是在數據挖掘中的選項。

大數據研究的一大驅動力就是商用，舍恩伯格在第二部分里討論了大數據時代的商業變革。舍恩伯格認為數據化就是一切皆可」量化「，大數據的定量分析有力地回答」是什麼「這一問題，但仍然無法完全回答」為什麼「。因此，我認為並不能排除定性分析和質化研究。數據創新可以創造價值，這是毫無疑問的。舍恩伯格在討論大數據的角色定位時仍把它置於數據應用的商業系統中，而沒有把它置於整個社會系統里，但他在第二部分大數據時代的管理變革中討論了這個問題。

在風險社會中信息安全問題日趨凸顯。如何擺脫大數據的困境？舍恩伯格在最後一節」掌控「中試圖回答，但基本上屬於老生常談。我想，或許凱文·凱利的《失控》可以幫助我們解答這個問題？至少可以提供更多的思考維度。正如舍恩伯格在結語中所道：」大數據並不是一個充斥著演算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案，只是參考的答案，幫助是暫時的，而更好的方法和答案還在不久的未來。「謝謝舍恩伯格！讓大數據討論從自然科學回到人文社科。由此推斷，《大數據時代》不是最終答案，也不是標准答案，只是參考的.答案。

此外，在閱讀此書之前還必須具備一些數據科學的基本知識和基本概念，比如說什麼叫數據？什麼叫大數據？數據分析與數據挖掘的區別，數字化與數據化有什麼不同？讀前做些功課讀起來就比較好懂了。

《大數據時代》的讀後感3

讀完《大數據時代》這本書後，我意識到：我們即將或正在迎接由書面到電子的跳躍之後的又一重大變革。

這本書介紹了大數據時代來臨後，接踵而至的三項變革——商業變革、管理變革和思維變革。

其實，這場變革已經打響。商業領域由於大數據時代的到來而推陳出新。前幾年，一家名為Farecast的公司，讓預訂到更優惠的機票價格不再是夢想。公司利用航班售票的數據來預測未來機票價格的走勢。現在，使用這種工具的乘客，平均每張機票可以省大約50美元，這就是大數據給人們帶來的便利。

大家應該都知道2009年出現的H1N1型流感，就拿美國為例，疾控中心每周只進行一次數據統計，而病人一般都是難以忍受病痛的折磨才會去醫院就診，因此也導致了信息的滯後。然而，對於飛速傳播的疾病，Google公司卻能及時地作出判斷，確定流感爆發的地點，這便是基於龐大的數據資源，可見大數據時代對公共衛生也產生了重大的影響！

在我看來，如果想在在大數據時代里暢游，不僅要學會分析，而且還要能夠大膽地決斷。

在美國，每到七、八月份時，正是台風肆虐之時，防澇用品也擺上了商品貨架。沃爾瑪公司注意到，每到這時，一種蛋撻的銷售量較其他月份明顯增加。於是，商家作了大膽的推測，出現這樣的結果源於兩種物品的相關性，便將這種蛋撻擺在了防澇用品的旁邊。這樣的舉措大大增加了利潤，這就是屬於世界頭號零售商的大數據頭腦！

大數據時代的到來，可以讓我們的生活更加便利。但是，如果讓大數據主宰一切，也存在一定的風險。

大家應該都知道電子地圖，它可以為人們指引方向。但大家應該還不知道，它會默默地積累人們的行程數據，通過智能分析可以推斷出哪裡是自己的家，哪裡是工作單位。我們的隱私就這樣被不為人知地收集著。

大數據時代的到來，讓我們的生活更安全，更方便，但與此同時，我們的隱私不再是隱私，數據的收集變得無所不包、無孔不入。世界已經向大數據時代邁進了一小步，一個嶄新的時代正向我們走來。讓我們用知識武裝大腦，做好准備，迎接新時代的到來！

《大數據時代》的讀後感4

首先，想談一談何為大數據，何為大數據時代。大數據是一種資源，也是一種工具。它提供一種新的思維方式去理解當今這個信息化世界。為何說是一種新的思維方式：在信息缺乏的時代或模擬時代，我們更傾向於精確性的思維方式，就像是」釘是釘，鉚是鉚」，而在這種傳統的思維方式下，我們得到問題的答案只有一個。

而在大數據時代下，我們打破了這種思維方式，換句話說，我們接受結果的不確定性。簡言概括之，我認為大數據是一種預測模型。在大數據時代下，我們關注的不是因果，即為什麼是這樣，而更關心」是什麼」這種相關關系。換句話說，在這種新思維的思考方式下，我們探究問題背後的原因也是不可行的。我們所做的是利用大數據這種工具，讓數據自己說話！

其次，我想談下如何利用大數據提升我軍戰鬥力。當然，大數據分析並不是精準的預測，精準的預測也是不存在的。大數據只能有利於我們理解現在和預測未來的可能性。

作為軍人，我所關注的是如何利用好大數據的工具提升我軍戰鬥力，打贏這場信息化戰爭。毫無疑問，現在我們打的不是刀對刀，槍對槍的戰爭，更不是模擬時代，當代乃是數字時代，打的是信息化戰爭！

四次戰爭的大勝，美軍的戰爭形態從機械化轉向信息化，而且相應的在戰場取勝的時間也越來越短，這正是大數據時代下的必然結果。而我軍正在轉向信息化的過程中。在此戰爭形態的過程中，我們需要更多的計算分析師，大數據分析師，數學家等高等技術性人才來打贏這場信息化戰爭。這正是大數據時代下我們不得不有的基礎。我軍戰鬥力的提升迫在眉睫！

當然大數據是一把雙刃劍，利用好了取勝也是得心應手，相反，利用不好會導致不可估量的損失。

畢竟，這只是一種預測模型，得不到精準的預測結果。我們更要讓數據為我們所用，不要被龐大的資料庫框住我們的思維。為適應時代的發展，在這個適者生存，弱肉強食的世界，大數據時代下的殘酷競爭已經給我們敲響警鍾，一場悄無聲息的信息化戰爭已經打響！

《大數據時代》的讀後感5

去年的「雲計算」炒得熱火朝天的，今年的「大數據」又突襲而來。彷彿一夜間，各廠商都紛紛改旗換幟，推起「大數據」來了。於是乎，各企業的CIO也將熱度紛紛轉向關注「大數據」來了。有一張來自《程序員》微博的漫畫很形象。我覺得這張圖，很真實地反映了現實中小企業雲計算，大數據的現狀。

不過話又還得說回來，《大數據時代》是本好書。

當然，很多IT知名人士也大力推薦，寫了好多讀後感來表述對這本書的喜歡沒看此書之前，對所謂大數據的概念基本上是一頭霧水，雖則有了解關注過現在也比較火熱的BI，覺得也差不多，可能就是更多的數據，更細致的數據分析與數據挖掘。看過此書後，感覺到之前的想法，只能算是中了一小半吧---巨量的數據，而另一前：著眼於數據關聯性，而非數據精確性，或許才是大數據與現時BI的不同，不僅僅是方法，更多的時思想方法。不過坦白講，到底是數據的關聯性重佳，還是數據的精確性更好，還真的需要時間來檢驗一下，至少從現在的數據分析方法來論，更多的傾向於數據的精確性。

看完此書，我心中的一些問題：

1、什麼是大數據？

查了查網路，是這樣定義的：大數據（bigdata），或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據的4V特點：Volume、Velocity、Variety、Veracity這個好像是IBM的定義吧。

以個人的觀點來看：數據海量，存儲海量都是大數據的基本原型吧。

2、大數據適合什麼樣的企業？

誠然，大數據的前提是海量的數據，只有擁有巨量的數據資源，方能從中查找出數據的關聯性，才可以讓通過專業化的處理，讓其為企業產生價值。針對電信運營，互聯網應用這樣海量用戶的數據的大企業，也是在應用大數據的道路上擁有得天獨厚的條件，但是針對中小企業呢？銷售訂單數據？若非百年老店，估計數據也是少得可憐，能用的可能只有消費者數據了吧。貌似大多數廠商，用來舉例的也就是消費都購買行為分析為最多。

同樣，在公共事業類的政府機構，大數據的作用也許也能很好的發揮。反而感覺在大多數中小型企業應用大數據，似乎有點大題小作。書中說：大數據是企業競爭力。誠然，數據是一個企業的核心無形資源（利用得好的話），但是否所有的數據，或都換則方式說：所有的企業都以大數據為競爭力，是否真的合適么？是否在中小企業中，會顯示得小題大做呢？

3、大數據帶來的影響

當一波又一波的IT技術熱潮源源不斷地向我們鋪面而來的時候，你甚至都沒有做好准備，你都要開始迎接它所給你帶來的影響了。經過物聯網，雲計算的推波助瀾下，大數據開始登場了。但它到底給我們帶來了什麼呢？

1）預測未來書中以Google成功預測了未來可能發生流感的案例來開篇，表明通過大數據的應用，可以為我們的生活起一個保駕護航的指向標。實質很簡單，技術改變世界。

2）變革商業大數據所帶來的商機，同時會衍生出一系列與大數據相關的商業機遇與商業模式，數據的潛在價值會源源不斷地發揮作用可以容易想到的是未來有專門的數據收集，數據分析，數據生成的一條數據產業鏈產生。影響的，當然是IT公司

3）變革思維書中所說：因為有海量的數據作基礎，未來，我們可能更關注數據的相關，而非精細度。對這條，本人還是持保留意見的。

Ⅵ 大數據、雲計算、人工智慧之間有什麼樣的關系

雲計算最初的目標是對資源的管理，管理的主要是計算資源，網路資源，存儲資源三個方面。想像你有一大堆的伺服器，交換機，存儲設備，放在你的機房裡面，你最想做的事情就是把這些東西統一的管理起來，最好能達到當別人向你請求分配資源的時候（例如1核1G內存，10G硬碟，1M帶寬的機器），能夠達到想什麼時候要就能什麼時候要，想要多少就有多少的狀態。

這就是所謂的彈性，俗話說就是靈活性。靈活性分兩個方面，想什麼時候要就什麼時候要，這叫做時間靈活性，想要多少就要多少，這叫做空間靈活性。

這個神經元有輸入，有輸出，輸入和輸出之間通過一個公式來表示，輸入根據重要程度不同(權重)，影響著輸出。

於是將n個神經元通過像一張神經網路一樣連接在一起，n這個數字可以很大很大，所有的神經元可以分成很多列，每一列很多個排列起來，每個神經元的對於輸入的權重可以都不相同，從而每個神經元的公式也不相同。當人們從這張網路中輸入一個東西的時候，希望輸出一個對人類來講正確的結果。例如上面的例子，輸入一個寫著2的圖片，輸出的列表裡面第二個數字最大，其實從機器來講，它既不知道輸入的這個圖片寫的是2，也不知道輸出的這一系列數字的意義，沒關系，人知道意義就可以了。正如對於神經元來說，他們既不知道視網膜看到的是美女，也不知道瞳孔放大是為了看的清楚，反正看到美女，瞳孔放大了，就可以了。

對於任何一張神經網路，誰也不敢保證輸入是2，輸出一定是第二個數字最大，要保證這個結果，需要訓練和學習。畢竟看到美女而瞳孔放大也是人類很多年進化的結果。學習的過程就是，輸入大量的圖片，如果結果不是想要的結果，則進行調整。如何調整呢，就是每個神經元的每個權重都向目標進行微調，由於神經元和權重實在是太多了，所以整張網路產生的結果很難表現出非此即彼的結果，而是向著結果微微的進步，最終能夠達到目標結果。當然這些調整的策略還是非常有技巧的，需要演算法的高手來仔細的調整。正如人類見到美女，瞳孔一開始沒有放大到能看清楚，於是美女跟別人跑了，下次學習的結果是瞳孔放大一點點，而不是放大鼻孔。

聽起來也沒有那麼有道理，但是的確能做到，就是這么任性。

神經網路的普遍性定理是這樣說的，假設某個人給你某種復雜奇特的函數，f(x)：

不管這個函數是什麼樣的，總會確保有個神經網路能夠對任何可能的輸入x，其值f(x)（或者某個能夠准確的近似）是神經網路的輸出。

如果在函數代表著規律，也意味著這個規律無論多麼奇妙，多麼不能理解，都是能通過大量的神經元，通過大量權重的調整，表示出來的。

這讓我想到了經濟學，於是比較容易理解了。

我們把每個神經元當成社會中從事經濟活動的個體。於是神經網路相當於整個經濟社會，每個神經元對於社會的輸入，都有權重的調整，做出相應的輸出，比如工資漲了，菜價也漲了，股票跌了，我應該怎麼辦，怎麼花自己的錢。這裡面沒有規律么？肯定有，但是具體什麼規律呢？卻很難說清楚。

基於專家系統的經濟屬於計劃經濟，整個經濟規律的表示不希望通過每個經濟個體的獨立決策表現出來，而是希望通過專家的高屋建瓴和遠見卓識總結出來。專家永遠不可能知道哪個城市的哪個街道缺少一個賣甜豆腐腦的。於是專家說應該產多少鋼鐵，產多少饅頭，往往距離人民生活的真正需求有較大的差距，就算整個計劃書寫個幾百頁，也無法表達隱藏在人民生活中的小規律。

基於統計的宏觀調控就靠譜的多了，每年統計局都會統計整個社會的就業率，通脹率，GDP等等指標，這些指標往往代表著很多的內在規律，雖然不能夠精確表達，但是相對靠譜。然而基於統計的規律總結表達相對比較粗糙，比如經濟學家看到這些統計數據可以總結出長期來看房價是漲還是跌，股票長期來看是漲還是跌，如果經濟總體上揚，房價和股票應該都是漲的。但是基於統計數據，無法總結出股票，物價的微小波動規律。

基於神經網路的微觀經濟學才是對整個經濟規律最最准確的表達，每個人對於從社會中的輸入，進行各自的調整，並且調整同樣會作為輸入反饋到社會中。想像一下股市行情細微的波動曲線，正是每個獨立的個體各自不斷交易的結果，沒有統一的規律可循。而每個人根據整個社會的輸入進行獨立決策，當某些因素經過多次訓練，也會形成宏觀上的統計性的規律，這也就是宏觀經濟學所能看到的。例如每次貨幣大量發行，最後房價都會上漲，多次訓練後，人們也就都學會了。

然而神經網路包含這么多的節點，每個節點包含非常多的參數，整個參數量實在是太大了，需要的計算量實在太大，但是沒有關系啊，我們有大數據平台，可以匯聚多台機器的力量一起來計算，才能在有限的時間內得到想要的結果。

於是工智能程序作為SaaS平台進入了雲計算。

網易將人工智慧這個強大的技術，應用於反垃圾工作中，從網易1997年推出郵箱產品開始，我們的反垃圾技術就在不停的進化升級，並且成功應用到各個億量級用戶的產品線中，包括影音娛樂，游戲，社交，電商等產品線。比如網易新聞、博客相冊、雲音樂、雲閱讀、有道、BOBO、考拉、游戲等產品。總的來說，反垃圾技術在網易已經積累了19年的實踐經驗，一直在背後默默的為網易產品保駕護航。現在作為雲平台的SaaS服務開放出來。

回顧網易反垃圾技術發展歷程，大致上我們可以把他分為三個關鍵階段，也基本對應著人工智慧發展的三個時期：

第一階段主要是依賴關鍵詞，黑白名單和各種過濾器技術，來做一些內容的偵測和攔截，這也是最基礎的階段，受限於當時計算能力瓶頸以及演算法理論的發展，第一階段的技術也能勉強滿足使用。

第二個階段時，基於計算機行業里有一些更新的演算法，比如說貝葉斯過濾(基於概率論的演算法)，一些膚色的識別，紋理的識別等等，這些比較優秀成熟的論文出來，我們可以基於這些演算法做更好的特徵匹配和技術改造，達到更優的反垃圾效果。

最後，隨著人工智慧演算法的進步和計算機運算能力的突飛猛進，反垃圾技術進化到第三個階段：大數據和人工智慧的階段。我們會用海量大數據做用戶的行為分析，對用戶做畫像，評估用戶是一個垃圾用戶還是一個正常用戶，增加用戶體驗更好的人機識別手段，以及對語義文本進行理解。還有基於人工智慧的圖像識別技術，更准確識別是否是色情圖片，廣告圖片以及一些違禁品圖片等等。

Ⅶ 「大數據時代人群隊列研究：現狀及展望」學術研討會在我校召開

大型人群隊列研究是解決目前醫學和健康重大問題的有效方法之一，是醫學逐步走向精準提高效果的必經之路。國外已經累積了幾十年的經驗，近年來我國也掀起了大型人群隊列研究的熱潮。以中英合作的CKB前瞻性隊列研究為代表的中國大型隊列研究已在國際上嶄露頭角。如何契合我國的需要，進一步開展獨特的隊列研究，充分利用隊列研究的成果，為我國衛生和臨床決策提供關鍵依據，仍然是擺在我們面前的巨大任務。

4月13日，在春意盎然、生機勃勃的季節，在美麗的東莞松山湖畔，值此廣東醫科大學六十周年校慶之際，為了緊跟當前人群隊列研究的學術前沿，提升我校在人群隊列研究領域的科研能力，由我校主辦、科技處和公共衛生學院承辦的「大數據時代人群隊列研究：現狀及展望」學術研討會在東莞校區行政報告廳召開。會議邀請了國內外公共衛生領域著名的專家學者前來，圍繞大型人群隊列建設的時代背景、必要性、建設現狀、建設成果及面臨的機遇和挑戰等議題與我校師生共同討論、分享和交流。

開幕式由學校丁元林副校長主持，學校黨委副書記、副校長余學清教授和教育部國家督學、北京大學博雅講席教授李立明教授分別致辭。

余學清副書記、副校長在致辭中代表學校歡迎各位知名專家學者、同仁朋友的到來，感謝各位專家對此次研討會的鼎力支持。余校長在致辭中指出在精準醫學和大數據時代的今天，復雜疾病的病因學研究迎來了前所未有的機遇與挑戰，構建反映國人多樣性的國家級人群大型健康隊列，將各組學、大數據科學、分子影像等新技術有機整合，建立多層次精準醫療知識體系和生物醫學大數據平台,對於精細解析復雜疾病的病因結構，進而提供重大疾病風險評估和預測、早篩分類、個體化治療及療效監測的整套解決方案具有重大戰略意義。目前，大型人群隊列研究已經是流行病學領域乃至公共衛生領域的主旋律之一。本次大會群賢畢至，人才薈萃，相信定能開啟新的視角、激盪起新的思維、碰撞出新的火花，為廣東醫科大學人群隊列研究的發展助力加油。

李立明教授在致辭中強調廣東醫科大學擁有特殊的區位優勢具有巨大的發展潛力和前景；十九大以後健康中國的建設是每一位醫葯衛生從業者應擔負起歷史使命；大數據在醫學領域有廣闊的應用前景，此次研討會恰逢其時，並將推動廣東醫科大學的科研工作以及全國類似研究的進步。隨後，李立明教授帶來了「中國慢性病前瞻性隊列研究」的主題講座，從人群健康角度以及國家戰略高度，介紹了大型隊列研究的必要性、國內外大規模隊列研究的概況，指出隊列研究在研究設計上具有獨特的優勢，隊列研究尤其適用於發病率低的疾病以及尚待發掘的弱效應因素的病因研究，特別闡述了超大型人群隊列（MegaCohort）的產生、發展及特點，隨後介紹了中國50萬隊列研究的進展情況，強調了大型隊列研究的隨訪流程，而且還分享了中國50萬隊列研究取得的一些重要研究成果。並將中國50萬隊列研究項目下的成果《大型人群隊列隨訪標准》和《大型人群隊列調查問卷標准》兩部著作贈與我校。

華中科技大學潘安教授分享了「東風-同濟隊列」研究，該隊列基於職業人群，具有研究對象穩定，隨訪率高，良好的職業環境監測資料，醫療記錄和醫療保險系統基礎好以及集團公司大力支持等特點，潘教授詳細介紹了「東風-同濟隊列」的設計、進展、取得的研究成果以及後期設想，特別闡述了隊列研究中樣本代表性問題的思考和判別方法。

中山大學凌文華教授做了「廣東冠心病人群隊列研究」的主題報告，闡述了營養膳食與心血管疾病，膳食模式與代謝性疾病的關聯，介紹了廣東冠心病（CAD）隊列的基本概況，CAD隊列的相關標志物（體內）研究，如血糖與死亡風險、血清HDL-C與冠心病風險，分析了營養素、食物以及膳食模式與主要慢性病的關聯，為營養流行病學在隊列研究中的應用提供了借鑒依據。

余學清校長做了題為「腎臟病基因組學與隊列研究」的主題報告，充分肯定了在大數據時代下開展隊列研究的價值和意義，介紹了其課題組建立腎臟病患者隊列的情況，並分享了其基於隊列進行研究的進展和所取得的結果。

新加坡大學劉建軍教授做了「Genetic Variation inGenomic Medicine: from susceptibility to treatment」的主題報告，介紹了生物標志物特別是遺傳生物標志在麻風、系統性紅斑狼瘡等疾病中臨床診斷意義及應用，指出遺傳生物標志在流行病學病因分析中具有重要意義。

公共衛生學院院長倪進東教授向與會專家介紹了公共衛生學院的基本概況、發展歷程及取得的教學科研成果。公共衛生學院的部分教授、博士就相關研究領域作了主題匯報，共同分享了各自研究領域的科研設計及科研發現。唐煥文教授匯報的題目是「PARP-1通路在氫醌誘導TK6細胞DNA損傷修復與轉歸中的作用」，倪進東教授報告的題目是「Tfh細胞在乙肝疫苗弱應答中的作用及其表觀調控機制」，楊錚教授匯報的題目是「癌症患者報告結局研究」；黃志剛博士匯報了「胃癌相關分子標志物的發現及功能驗證」，鄒堂斌博士匯報了「蝦青素經miR-29b/Bcl-2通路抑制LX-2細胞增殖和促進其凋亡」，劉小山博士匯報了「有機磷阻燃劑的內分泌干擾效應和機制研究」，他們報告的內容吸引了與會人員的濃厚興趣。

中山大學余新炳教授、安徽醫科大學葉冬青教授、香港中文大學唐金陵教授和中山大學郝元濤教授應邀擔任了本次研討會學術報告的主持。

此外，北京大學任濤教授、南方醫科大學毛琛教授以及《中華流行病學雜志》編輯部王嵐主任等應邀出席了本次會議。

本次研討會公共衛生領域知名專家學者人才薈萃，學校將以此為契機，廣納隊列研究中的真知灼見，廣聚學術研究資源，廣交學術人才，為我校即將開展的新生兒隊列研究帶來新思路，新途徑。通過研討會增進了與兄弟院校、同行專家學者的密切合作，為「健康中國」事業的發展貢獻智慧和力量。（文/徐秀娟 圖/廖瑩 駱詩凌 張清青 梁蓉 陳桂蘭 洪丹鳳 王江瑤 王麗君  編/王麗君  審/蔡定彬）