大數據熱起來之後

『壹』 大數據時代的到來會為社會發展帶來哪些影響

對社會管理提出了更高的要求、考驗政府的危機應急能力和讓個人隱私和國家機密更容易被泄露和竊取。

1、大數據的大眾性對社會管理提出了更高的要求

在大數據時代，各類信息大規模的自由流動使得民眾參與社會管理和政治事務的熱情很容易被點燃，而這些海量的數據魚目混珠，其中有很多假信息、偽信息和謠言，這對信息的監管提出了更高的要求。

2、大數據的即時性考驗政府的危機應急能力

大數據時代，數據的傳播不受時間和空間的限制，產生後便可即時傳播，使得一旦發生社會事件，信息會通過各種渠道在第一時間傳播到公眾中，而公眾的情緒也能第一時間呈現在龐大的數據洪流中，這讓個別事件在快速傳播之後會從局部事件迅速變成公眾事件。

利用大數據技術，在發生一起公共事件後，通過開放式的軟體平台，人人都可能實時地將自己所看、所聽及所知的具體細節上傳。

在這一人人參與的過程中，人們的心理也會不知不覺發生變化，形成一種共同意識，因為他們在參與的同時，也是在進行一種公開的表達。一個能夠進行公開表達的人群就構成了德國政治哲學家哈貝馬斯所說的「公共領域」。

3、大數據技術讓個人隱私和國家機密更容易被泄露和竊取

大數據時代的到來使得各類信息的公開性和可獲得性空前增加，但這並不意味著任何信息都可以被輕率地使用。

在不斷進步和革新的大數據技術面前，個人的隱私面臨越來越容易泄露的風險，因為日常的電話記錄、郵件往來、經濟消費、交通出行、甚至是醫療檔案等個人信息都在逐漸實現數據化管理和存儲，而這些數據都並非絕對安全。

(1)大數據熱起來之後擴展閱讀

在大數據時代，鑒於離散型的文獻和文獻檢索方法已無法滿足社會科學研究者對專題性、指向性強的學術文獻的需求，文獻信息服務機構應推進集成式檢索，優化數據挖掘技術、知識發現技術，提供定製化、個性化、知識化服務。

尤其是建立面向科技創新基地、科研院所、課題組乃至個人的學科化服務機制，進一步拓寬文獻信息服務范圍，提升服務層次，加快學術交流和信息、知識的傳播速度，提高文獻信息資源的利用率和共享率，使文獻信息服務機構的服務更直接、更有針對性，更好地服務於創新研究。

對大數據的探索只是剛剛開始，科學認識和把握大數據與經濟社會發展的內在關系、與信息和知識管理的內在關系，可能是包括文獻信息工作者在內的整個學術界在今後相當長一段時間的重要課題。

因此，文獻信息工作者不能停留在低層次、低水平重復的傳統內容生產模式上，而應適應大數據時代的新形勢，推進知識生產過程的有序化、結構化。

人類正處在一個強調知識和信息的時代。培根曾提出「知識就是力量」，後來學術界又提出「信息就是力量」。現在，又有學者提出「共享知識就是力量」，強調把信息管理、信息共享提升到知識管理和知識共享的階段。

利用互聯網來構建知識社會，在網路環境下實現知識交流與共享，這體現了時代的進步，有著豐富的時代內涵。在大數據時代，我們應做好數據管控，把「共享知識就是力量」的理念貫徹到知識服務實踐中。

『貳』 大數據培訓學大數據以後可以做什麼

在國內，與大數據相關的崗位主要分為以下幾類：

數據分析師：運用工具，提取回、答分析、呈現數據，實現數據的商業意義，需要業務理解和工具應用能力
數據挖掘師/演算法工程師：數據建模、機器學習和演算法實現，需要業務理解、熟悉演算法和精通計算機編程
大數據工程師：運用編程語言實現數據平台和數據管道開發，需要計算機編程能力
數據架構師：高級演算法設計與優化;數據相關系統設計與優化，有垂直行業經驗最佳，需要平台級開發和架構設計能力

『叄』 大數據應用方向思考

大數據應用方向思考
一、警惕大數據過熱
1.1過熱產生盲目性
國內大數據的宣傳早已過熱，很多區縣級政府也在考慮成立大數據局，政府對大數據熱幾乎沒有抵抗力，企業沒有緊跟就對了，在大數據高潮中反省政府的大數據行為、冷靜一下頭腦是有益的，畢竟大數據應用是一個經濟問題，一窩蜂地大數據會使人犯「大煉鋼鐵」一類的錯誤。
1.2大數據應用效益存在問題
大數據最積極的推動者是政府，但是政府工作如何從大數據應用中獲益一直沒有清晰的答案，有效的大數據應用集中於互聯網企業和金融領域並非政府工作，迄今一本像樣的政府大數據應用案例都編寫不出來，這種情況下推力政府大數據應用會帶有很大的盲目性，這是技術導向而不是問題導向，技術導向必然會造成浪費。
1.3大數據不是包治百病的神葯
現在對大數據的宣傳已經遠遠勝過對城市問題的探討，問題還沒搞清葯方就先開出來了，大數據葯方再靈也不可能解決自己都沒有診斷清楚的問題。任何技術都有其長處和短處，大數據也是一樣，都有其能解決與不能解決的問題，各地政府首先要明確要問題是什麼，然後再審視大數據技術能否發揮作用，不能反過來先定大數據再去找問題，政府工作明確目標永遠比搞清技術更重要。
二、大數據源自互聯網的推動
2.1大數據是如何產生的?
任何有社會影響力的新名詞都不是望文生義可以解釋的，這些名詞都被賦予了成語含義，「大數據」便是其一。歷史上超大規模的數據很多卻不被稱為大數據，是因為單純數據量增長並沒有形成巨大社會影響力。
大數據概念是大的數據量與現代信息技術環境相結合涌現的結果，因此引發了巨大的效益機會，「大數據」一詞的發明與宣傳是為了抓住這個新機會。
2.2沒有互聯網便沒有大數據
任何資源的價值展現都離不開特定的環境，互聯網前的海量數據因缺少規模化的社會應用而不為人們重視，互聯網創造了大數據應用的規模化環境，大數據應用成功的案例大都是在互聯網上發生的，互聯網業務提供了數據，互聯網企業開發了處理軟體，互聯網企業的創新帶來了大數據應用的活躍，沒有互聯網便沒有今天的大數據產業。
2.3大數據是「大智移雲物」的共同產物
如果沒有汽車與高速公路石油產業不會那麼重要，同樣，沒有互聯網、雲計算、物聯網、移動終端與人工智慧組合的環境大數據也沒那麼重要。大數據的價值並非與生俱來而是應用創新之結果，價值是由技術組合創新涌現出來的。離開環境的支持大數據毫無價值，就像離開了身體的手不再有手的功能一樣。
三、傳統大數據思維局限於支持決策
3.1傳統的大數據應用理念
人們對事物的想像力很容易受所用詞彙的暗示，「大數據」容易暗示人們關注數據規模而忽略信息技術背境的巨大變化所涌現的新機會。政府官員的工作經歷很容易把大數據應用想像為只是統計應用在數量上的升級，大數據的作用是提取信息，信息的作用是改進決策，數據多意味著信息多，信息越多決策就越准確。在不少幹部的理解中，部門數據整合起來就是大數據。
3.2兩種數據使用方向：支持決策與支持操作
在政府的工作中，數據對領導層的作用主要是改進決策，但基層工作人員不需要決策，數據是用來直接操作的。政府公共服務業務主要是操作問題，服務是規范的數據處理，基層工作人員只是按章辦事不需要決策分析。使用信息技術是為了提高操作服務的效率。發改委等十部門提出的「一號一窗一網」的服務要求所要解決的只是提高操作的效率。改進決策與改進操作是大數據兩種不同的使用方向。
3.3專家(人腦)與系統(電腦)使用大數據的特點
支持決策的數據應用是面向專家(包括領導)的，專家需要從數據中提取信息，以信息支持決策，從數據中領悟信息是人腦獨有的本領，但不同人信息領悟力並不一致，同樣的數據不同人領悟的信息不同，對決策的影響也不同，應用結果的不確定性是專家使用大數據的特點。。
支持操作的數據應用不能有不確定性，操作系統的數據應用是由系統控制的，操作按確定的規則進行，沒有自由量裁的可能，數據應用結果由軟體決定，這種應用是電腦在使用數據，電腦不懂信息只會嚴格依數據操作，這種使用數據的模式保證了大規模業務行為的一致性。
3.4政府不能忽略操作型大數據應用
政府工作存在著兩種大數據應用：支持決策與支持操作，但是在多數政府官員只想著大數據支持決策而想不到改進服務操作更有效益。大部分的政府服務的精細化改進並不是決策層次上改進，而是操作層次上的改進，政府提出的「一號一窗一網」式服務關鍵是提高操作的效率，實踐證明操作的優化的改進空間更大，大數據在提高政府決策水平上的成效往往不如提高操作效率成效明顯。
四、大數據決策的局限性
4.1大數據小數據的不同來源
以數據量來劃分大數據與小數據會忽略兩種數據更實質的差別，從數據產生的過程看，小數據是經人觸摸過的數據，包括人工填報或更新、核對等。大數據是機器自動記錄的、未經人觸摸過數據。
小數據來自業務流程中的人工填報、統計調查等渠道，統計調查是可以根據決策信息的需要專門設計的，為降低成本統計經常採用抽樣調查的方法。
大數據來自自動化業務運行的副產品，出於成本的考慮，政府不大可能專為收集信息而設計大數據收集鏈，為決策服務大數據只能利用業務系統產生的數據副產品，大數據的收集成本是由業務系統承擔的。大數據的來源受到業務系統種類的限制，不是所有的信息需求都能找到恰當的數據源。
4.2大數據適合小決策而不適合大決策
大數據適合在狹窄范圍內對具體事務決策而不適合於大范圍的決策。因為大數據的形成包含著先天的局限性，很多影響重大決策的信息恰恰是無法數字化的，例如國內外形勢、技術創新、隊伍士氣、重大事件(類似美國9.11事件)都無法數字化，可數字化的現象只是小部分，以為靠數據決策就能更全面也是一種誤解。政府重大決策需要考慮各方面的平衡，局部領域的大數據僅適合局部領域的決策，不適合面向全局的政府決策，精細化與全面性是不可得兼的。
4.3改進政府操作的大數據應用
政府的大數據應用不能只關注決策應用，改進操作的大數據應用往往能夠獲得更好的效益。政府對公眾的服務主要使用的還是以小數據為中心的資料庫，但是融入現場服務數據的應用可以將服務提高到大數據的層次上並增加智能化的應用。對政府基層工作人員的支持現場化、連機化，通過雲平台與實時通信能顯著提高一線人員的工作效率，是提高政府基層服務的智能化的重要措施，以改進服務操作效率的智能大數據應用會有更大的成效。
五、沒有人腦參與系統才能高效與智能
5.1人腦使用數據模式的效率制約
為人腦決策使用的大數據應用模式存在兩點不足：一是效率上不去，大數據分析結果一旦交付大數據應用就結束了，無法形成連續服務型業務，信息的進一步應用是領導的事情，與大數據處理無關了，人腦決策的慢節奏抵消了大數據快處理的價值。
其次是大數據信息決策的效果的不確定性，決策質量與領導人的知識、思維方式、決策風格密切相關，決策效果又與執行團隊的能力相關，涉及的不確定因素太多。人腦使用數據的模式無法實現數據應用效果的確定性。
5.2電腦使用數據模式的效率優勢
電腦使用數據的模式排除了人腦的參與，系統完全是由事先編寫的軟體直接處理數據，排除了人腦介入有兩點好處：一是運行速度快，信息技術的速度優勢得以充分發揮;二是保證了結果的確定性，系統的行為是可預測的，這將有利於系統可成為可組合、可疊加的功能模塊，能夠被集成為更復雜的系統。
5.3智能大數據應用可形成連續性業務
排除人腦參與的數據應用模式是信息技術的自動化應用，這種模式可綜合使用各種技術資源(包括雲平台、物聯網、移動終端、人工智慧等等)建立高速、流暢連續型服務，進入智能服務的新階段，常見的互聯網搜索、電子商務、移動支付、摩拜單車、螞蟻金服無一不是這類的智能大數據應用，這種持續的智能大數據服務更受公眾歡迎、社會影響力也更大。
六、智能大數據應用的發展空間
6.1所有的智能應用都是大數據應用
大數據是機器與機器對話的語言，只有機器與機器的高速對話才能產生如此規模的大數據。物聯網、雲平台、寬頻網、移動終端等設施要發揮作用都要依賴機器與機器的對話，隨著信息技術的大發展，機器與機器的對話速度越來越快、范圍越來越廣、規模越來越大，系統也越來越智能化，所有的智能數據應用都屬於大數據的應用范圍。
6.2智能化的作用是提高執行的效果
雖然大數據可以用於改進決策，但智能化的目標是提高執行的效果。計算機系統的作用是使規范性、可重復的工作做的更快。對於需要創造性的、非重復性的工作信息技術是依然無能為力的，人們發現幾十年來計算機對於人腦決策能力的提高始終不大，智能化應用機會還是集中在對規范業務的改進，規范業務是確定性的服務，遠比充滿不確定性的決策業務更能讓計算機發揮作用。
6.3操作型大數據應用的智能化趨勢
以提高執行效率為目標的大數據應用將向智能化發展，以互聯網為基層的現代信息技術的大發展已經為服務的智能化創造力良好的條件，早期由於通信與網路能力的限制只能在一台設備上存儲自動處理系統被稱為自動化處理階段，今天自動處理系統可以綜合應用網路通信、雲平台數據與軟體、物聯網感知數據與機器學習來實現更有效的自動管理，則被稱為智能化服務階段，排除了人腦參與的大數據應用進入智能化服務沒有任何障礙，大數據應用智能化成為必然趨勢。
七、智能大數據應用的活力
7.1 鮮活的數據
智能化應用中的大數據資源與信息決策中的數據資源的重大不同在於前者是動態形成的，其數據環境是不斷變化、不斷更新的，很多數據是在運行中自動生成的，數據資源與智能系統共生，這種數據資源很難轉讓，數據與服務系統是統一的生命體不能單獨存在的，離開了系統的數據可以用來分析但失去了原來的意義，如同離開了人體的手再也沒有原來的功能了。
7.2 實時的處理
在智能系統中的大數據應用是實時處理，面向信息決策中的大數據應用是批處理。實時處理能夠確保及時性，這對於提高服務效率、保持業務的連續性很重要，現在強調「一號一窗一網」式的為民辦事離不開對數據的實時處理。而信息決策類大數據應用則並不需要這種高效。
7.3持續高效的服務
智能化的大數據應用排除了人腦的干預，全部流程都是由電腦對電腦一氣呵成，這樣就能夠達到很高的運行效率，而這是智能化系統巨大的優勢，也是智能服務系統得以生存的原因，不論是搜索、購物還是其它自動化的服務，人的耐心都是很有限的，處理慢一點人們就會棄之而去。在信息決策大數據應用的結果是供人腦一次性使用的，處理速度就不那麼重要了。
7.4不斷積累的智慧
能夠不斷積累智慧的業務更有活力，易於修改是以軟體為基礎的業務的極大優點，這使得軟體系統成為積累智慧最方便的工具，信息系統的高速發展也得益於系統智慧積累的能力。一項可持續的智能化業務系統始終處於不停的改進、完善與擴展之中，不斷推出新版本的過程是智慧積累的過程，智慧的不斷積累增添了系統的服務能力與可持續性。
信息決策大數據應用則不具有這一優勢，其業務不連續很難推出一個又一個的新版本，智慧積累效率就慢多了。
八、小數據服務決定大數據中心的生存
8.1數據資源的時效性
數據資源像蔬菜一樣有保鮮期，極少有越老越值錢的數據。數據集中存儲很容易，由此而來的數據質量維護卻是一大難題。數據生成得快貶值也快，很多數據往往還來不及處理數據就失效了，反而是那些變化稍慢、穩定期稍長的數據容易得到較多用戶且服務也容易開展，這類數據大部分是小數據。
不同的數據使用方式對數據質量有不同的要求，面向操作的應用則對數據質量非常敏感，例如證照庫若不能及時更新就無法使用。信息決策類應用對數據的敏感性會差一些，大數據中心應當使數據的時效性與應用需求同步，要根據需求的價值有重點有選擇地組織好數據質量的維護。
8.2大數據交易中心的困難
大數據交易中心與成為建設熱點，在大數據應用剛剛開始，人們還沒搞清大數據交易是什麼概念時就建交易中心實在太早了。
實時服務的智能大數據應用的數據是鮮活的、是服務中自動生成的動態數據，要交易的是動態數據流還是截取的靜態數據，動態的大數據交易很難，不僅談判難處理也難，用戶需要建立動態數據的實時處理系統。
靜態的大數據交易更可行一些，但數據資源與應用需求並不容易匹配，這將會限制交易數的增長，另一困難是隱私權保護問題，數據需要脫敏，未脫敏的數據交易會受到限制，交易中心將長期面對交易稀缺的局面，經營很不容易。
8.3小數據服務需要補課
發達國家是在小數據充分應用之後才開始應用大數據，國內是在小數據應用還很不足時跨越式應用大數據。小數據應用補課是各地大數據中心必須重視的問題。要看到越是簡單的東西應用面越廣，小數據的應用空間比大數據大得多，尤其是整合後的小數據服務，極可能成為的數據中心最火的業務。
政府服務的精細化依賴的主要是小數據，把小數據的整合服務做好，大數據中心的工作即完成了90%，千萬不能輕視小數據服務，大數據中心的立身之本恰恰是小數據整合服務。
8.4大數據中心的經濟價值
大數據中心的生存本質上是一個經濟問題，人們想做交易中心也是希望能夠在經濟上更節約、更有效益，但是效益的基礎是應用規模，只有大量重復性、相似性的工作才有可能利用平台與工具來提高服務效率創造用戶價值，目前小數據服務更能夠滿足規模經營的條件。
政府公共服務的支柱還是小數據，單獨成規模的大數據服務不多，各種數據資源的綜合使用會有更大的創新機會，地理數據與政府服務相結合、推動政府服務的連線化動態化可能提升用戶價值，大數據中心要發展必須全力創造用戶價值，唯有用戶價值才能支撐大數據中心生存。
九、拓展視野，推動大數據應用創新
9.1理念創新，積極宣傳智能大數據應用
首先要拓展大數據應用理念，不能將大數據應用局限在政府信息決策的狹窄領域之中，而要看到智能大數據應用的廣泛空間，將智能大數據應用與大眾創業萬眾創新結合起來，將一切智能化應用都歸入大數據應用的范圍，大數據概念越廣闊應用越繁榮。
利用大數據改善政府決策是大數據應用的重要方面，過去已強調得很多了，現在需要強調的是政府公共服務的智能化、精細化。大數據不僅能改善決策還能改善服務，改善服務有著更廣闊的發展空間，公眾的獲得感更好。
9.2為大數據應用創造良好的基礎環境
對大數據應用最給力的推動是提供優良的通信環境和完善的信息基礎設施。大數據應用的基礎是超強的通信能力，通信能力影響全社會大數據應用的成本，包括用戶的時間成本與服務商的開發與服務成本，降低通信成本是對大數據應用創新極大的支持，土壤肥沃莊稼才能茂盛。
政府數據開放是推動大數據應用的措施之一，可為大數據應用帶來示範效果，政府要鼓勵企業利用政府大數據開展增值服務，使更多缺乏大數據處理能力的公眾也能從政府數據開放中獲益。
9.3鼓勵社會大數據應用的自組織創新
大數據應用是一項創新，政府不能只從政府決策的視角來引導大數據應用方向，而要從方便公眾受益的視角推動智能化的大數據應用，要鼓勵社會各界智能化大數據應用的合作與自組織創新，好服務都是各種應用技術組合創新的結果，政府宜推動智慧城市大數據應用的互操作，降低不同技術合作創新的成本來促進應用創新的繁榮。

『肆』 現在的大數據、AI 這么火，會不會像曾經的 Android 和 iOS 一樣，五年後也回歸平淡

先給結論，只是會搭集群，會用MLLib，會用Tensorflow的大數據或者從業者，不管五年後行業本身會不會回歸平淡（大數據很可能會，AI應該沒那麼快），個人職業發展無法避免變平淡。到時候這樣的人就要困惑是否跟隨下一個熱點了。

類比一下大數據，應用開發或者資料庫領域。如何配置Hadoop，架設集群；如何使用某個UI庫做出炫酷的界面效果；使用什麼參數可以調整某資料庫緩存大小等等，都是術。

那什麼是「道」？

比如，「一部小說如何謀篇布局」，是道。如果你是一個作家，那麼無疑這是比遣詞造句更影響你職業生涯的技能。

同樣，作為一個程序員，了解系統背後的原理，比熟悉一門語言一個框架對你職業發展會有更深遠的影響。

如果你做大數據，那你是否知道分布式系統的一致性保證有些什麼不同的設計和取捨？容錯又該如何實現？如果你做資料庫，又是否知道不同索引的數據結構有什麼樣的特性？抑或優化器背後的原理是什麼？或者你做業務邏輯開發，那你是否通曉了邏輯背後的業務流程以及相關的行業知識？

--------------------------------------------------------------------------------

術的特點是容易過時，或者附加值越來越小。如何使用工具在每天都有新發明的計算機領域無疑是非常容易過時的，公司也不會為使用工具的經驗投資太多錢，畢竟夠用就行。

誠然術是你必備的技能：不會寫代碼，不熟悉語言，根本找不到工作。但是並不是你修煉的方向：公司並不會因為你精通一個語言的各種細節而特別青睞你。公司的確是招人寫程序的，但是公司並不僅僅是招人「寫程序」。

道是我們在領域內不斷精進成長的根本：只有了解背後的原理，你才可能在每天都有新系統新語言新框架誕生的科技領域存活；某個框架你並沒有摸過，但是你知道哪些指標和特性是選擇取捨的依據；某個系統你才聽說，但是看了架構設計，你就知道它在你的使用場景下會有什麼樣的表現，可能會有什麼樣的坑；再或者你看了某個論文，發現它的原創性設計能改進在你們現有的系統解決之前無法解決問題等等。這樣的你，往往比只是對語言熟悉，API精通的碼農更受歡迎和尊重。

有人可能會說，你看那些大神程序員，哪個不是對某些語言滾瓜爛熟。是的，我們看到的碼農大神們，往往寫的一手好C++，精通Go的上上下下左左右右，但那並不是因為他們專門修行這門語言，而是因為他們在不斷研習「道」的路上，順便磨練了「術」。為了更好的性能，為了實現構思的新設計，他們必須更熟悉所用的語言。

『伍』 大數據未來的前景怎麼樣

大數據的未來發展前景是值得肯定的，但是現在大數據人才出現了供不應求的情況。大數據行業就業市場較為活躍的地區主要集中在京津冀、長三角、珠三角、成渝等區域，但是從目前招聘數據來看，大數據人才還是不能滿足市場的需求，因此現在學大數據未來的發展前景是非常好的。

大數據作為一門基礎科學，無論在數據開發及分析還是在物聯網和人工智慧演算法訓練領域，都有著強大的需求。隨著數據規模不斷增大，企業需求持續增長，大數據人才成了剛性需求。

大數據的就業領域是很寬廣的，不管是科技領域，還是食品產業，零售業等等，都是需要大數據人才進行大數據的處理，以提供更好的用戶體驗，因為未來大數據人才就業面很廣，就業機會很多，發展前景也是非常好的。

2大數據工程師的薪資待遇
大數據工程師職業發展路徑分為5個階段，每個階段對應職位對應的薪資待遇是不一樣的：

有一年工作經驗的實習工程師月工資在6000以上；

有1-2年工作經驗的助理工程師，月收入在13000-15000左右；

有3年左右工作經驗的大數據工程師，平均每個月能賺到20000左右；

有5年左右工作經驗的高級大數據工程師，月收入一般都在30000左右；

有10年以上工作經驗的首席工程師，月薪都是大於50000的。