❶ 我為什麼說 Python 是大數據全棧式開發語言 怎樣成為數據分析師
就像只要會javaScript就可以寫出完整的應用，只要會Python，就可以實現一個完整的大數據處理平台。
雲基礎設施
這年頭，不支持雲平台，不支持海量數據，不支持動態伸縮，根本不敢說自己是做大數據的，頂多也就敢跟人說是做商業智能（BI）。
雲平台分為私有雲和公有雲。私有雲平台如日中天的 OpenStack
，就是Python寫的。曾經的追趕者CloudStack，在剛推出時大肆強調自己是Java寫的，比Python有優勢。結果，搬石砸腳，2015年
初，CloudStack的發起人Citrix宣布加入OpenStack基金會，CloudStack眼看著就要壽終正寢。
如果嫌麻煩不想自己搭建私有雲，用公有雲，不論是AWS，GCE，Azure，還是阿里雲，青雲，在都提供了Python SDK，其中GCE只提供Python和JavaScript的SDK，而青雲只提供Python SDK。可見各家雲平台對Python的重視。
提到基礎設施搭建，不得不提Hadoop，在今天，Hadoop因為其MapRece數據處理速度不夠快，已經不再作為大數據處理的首選，但
是HDFS和Yarn——Hadoop的兩個組件——倒是越來越受歡迎。Hadoop的開發語言是Java，沒有官方提供Python支持，不過有很多第
三方庫封裝了Hadoop的API介面（pydoop，hadoopy等等）。
Hadoop MapRece的替代者，是號稱快上100倍的 Spark ，其開發語言是Scala，但是提供了Scala，Java，Python的開發介面，想要討好那麼多用Python開發的數據科學家，不支持Python，真是說不過去。HDFS的替代品，比如GlusterFS， Ceph 等，都是直接提供Python支持。Yarn的替代者， Mesos 是C++實現，除C++外，提供了Java和Python的支持包。
DevOps
DevOps有個中文名字，叫做 開發自運維 。互聯網時代，只有能夠快速試驗新想法，並在第一時間，安全、可靠的交付業務價值，才能保持競爭力。DevOps推崇的自動化構建/測試/部署，以及系統度量等技術實踐，是互聯網時代必不可少的。
自動化構建是因應用而易的，如果是Python應用，因為有setuptools, pip, virtualenv, tox,
flake8等工具的存在，自動化構建非常簡單。而且，因為幾乎所有Linux系統都內置Python解釋器，所以用Python做自動化，不需要系統預
安裝什麼軟體。
自動化測試方面，基於Python的 Robot Framework 企業級應用最喜歡的自動化測試框架，而且和語言無關。Cucumber也有很多支持者，Python對應的Lettuce可以做到完全一樣的事情。 Locust 在自動化性能測試方面也開始受到越來越多的關注。
自動化配置管理工具，老牌的如Chef和Puppet，是Ruby開發，目前仍保持著強勁的勢頭。不過，新生代 Ansible 和 SaltStack ——均為Python開發——因為較前兩者設計更為輕量化，受到越來越多開發這的歡迎，已經開始給前輩們製造了不少的壓力。
在系統監控與度量方面，傳統的Nagios逐漸沒落，新貴如 Sensu 大受好評，雲服務形式的New Relic已經成為創業公司的標配，這些都不是直接通過Python實現的，不過Python要接入這些工具，並不困難。
除了上述這些工具，基於Python，提供完整DevOps功能的PaaS平台，如 Cloudify 和 Deis ，雖未成氣候，但已經得到大量關注。
網路爬蟲
大數據的數據從哪裡來？除了部分企業有能力自己產生大量的數據，大部分時候，是需要靠爬蟲來抓取互聯網數據來做分析。
網路爬蟲是Python的傳統強勢領域，最流行的爬蟲框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能夠獨當一面的類庫。
不過，網路爬蟲並不僅僅是打開網頁，解析HTML這么簡單。高效的爬蟲要能夠支持大量靈活的並發操作，常常要能夠同時幾千甚至上萬個網頁同時抓取，傳統的
線程池方式資源浪費比較大，線程數上千之後系統資源基本上就全浪費在線程調度上了。Python由於能夠很好的支持協程（ Coroutine ）操作，基於此發展起來很多並發庫，如Gevent，Eventlet，還有Celery之類的分布式任務框架。被認為是比AMQP更高效的ZeroMQ也是最早就提供了Python版本。有了對高並發的支持，網路爬蟲才真正可以達到大數據規模。
抓取下來的數據，需要做分詞處理，Python在這方面也不遜色，著名的自然語言處理程序包NLTK，還有專門做中文分詞的Jieba，都是做分詞的利器。
數據處理
萬事俱備，只欠東風。這東風，就是數據處理演算法。從統計理論，到數據挖掘，機器學習，再到最近幾年提出來的深度學習理論，數據科學正處於百花齊放的時代。數據科學家們都用什麼編程？
如果是在理論研究領域，R語言也許是最受數據科學家歡迎的，但是R語言的問題也很明顯，因為是統計學家們創建了R語言，所以其語法略顯怪異。而且
R語言要想實現大規模分布式系統，還需要很長一段時間的工程之路要走。所以很多公司使用R語言做原型試驗，演算法確定之後，再翻譯成工程語言。
Python也是數據科學家最喜歡的語言之一。和R語言不同，Python本身就是一門工程性語言，數據科學家用Python實現的演算法，可以直
接用在產品中，這對於大數據初創公司節省成本是非常有幫助的。正式因為數據科學家對Python和R的熱愛，Spark為了討好數據科學家，對這兩種語言
提供了非常好的支持。
Python的數據處理相關類庫非常多。高性能的科學計算類庫NumPy和SciPy，給其他高級演算法打了非常好的基礎，matploglib讓
Python畫圖變得像Matlab一樣簡單。Scikit-learn和Milk實現了很多機器學習演算法，基於這兩個庫實現的 Pylearn2 ，是深度學習領域的重要成員。 Theano 利用GPU加速，實現了高性能數學符號計算和多維矩陣計算。當然，還有 Pandas ，一個在工程領域已經廣泛使用的大數據處理類庫，其DataFrame的設計借鑒自R語言，後來又啟發了Spark項目實現了類似機制。
對了，還有 iPython ，這個工具如此有用，以至於我差點把他當成標准庫而忘了介紹。iPython是一個互動式Python運行環境，能夠實時看到每一段Python代碼的結果。默認情況下，iPython運行在命令行，可以執行 ipython notebook 在網頁中運行。用matplotlib繪制的圖可以直接嵌入式的顯示在iPython Notebook中。
iPython Notebook的筆記本文件可以共享給其他人，這樣其他人就可以在自己的環境中重現你的工作成果；如果對方沒有運行環境，還可以直接轉換成HTML或者PDF。
為什麼是Python
正是因為應用開發工程師、運維工程師、數據科學家都喜歡Python，才使得Python成為大數據系統的全棧式開發語言。
對於開發工程師而言，Python的優雅和簡潔無疑是最大的吸引力，在Python互動式環境中，執行 import this
，讀一讀Python之禪，你就明白Python為什麼如此吸引人。Python社區一直非常有活力，和NodeJS社區軟體包爆炸式增長不
同，Python的軟體包增長速度一直比較穩定，同時軟體包的質量也相對較高。有很多人詬病Python對於空格的要求過於苛刻，但正是因為這個要求，才
使得Python在做大型項目時比其他語言有優勢。OpenStack項目總共超過200萬行代碼，證明了這一點。
對於運維工程師而言，Python的最大優勢在於，幾乎所有Linux發行版都內置了Python解釋器。Shell雖然功能強大，但畢竟語法不夠優雅，寫比較復雜的任務會很痛苦。用Python替代Shell，做一些復雜的任務，對運維人員來說，是一次解放。
對於數據科學家而言，Python簡單又不失強大。和C/C++相比，不用做很多的底層工作，可以快速進行模型驗證；和Java相比，Python語法簡
潔，表達能力強，同樣的工作只需要1/3代碼；和Matlab，Octave相比，Python的工程成熟度更高。不止一個編程大牛表達過，Python
是最適合作為大學計算機科學編程課程使用的語言——MIT的計算機入門課程就是使用的Python——因為Python能夠讓人學到編程最重要的東西——
如何解決問題。
❷ golang 協程什麼時候切換
應puppet大拿劉宇的邀請，我去西山居運維團隊做了一個簡短分享，談談為什麼我要將我們的項目從python轉向go。
坦白的講，在一幫python用戶面前講為什麼放棄python轉而用go其實是一件壓力蠻大的事情，語言之爭就跟vim和emacs之爭一樣，是一個永恆的無解話題，稍微不注意就可能導致粉絲強烈地反擊。所以我只會從我們項目實際情況出發，來講講為什麼我最終選擇了go。
為什麼放棄python
首先，我其實得說說為什麼我們會選擇python。在我加入企業快盤團隊之前，整個項目包括更早的金山快盤都是採用python進行開發的。至於為什麼這么選擇，當時的架構師蔥頭告訴我，主要是因為python上手簡單，開發迅速。對於團隊裡面大部分完全沒服務端開發經驗的同學來說，python真的是一個很好的選擇。
python的簡單高效，我是深有體會的。當時私有雲項目也就幾個程序員，但是我們要服務多家大型企業，進行定製化的開發，多虧了python，我們才能快速出活。後來企業快盤掛掉之後，我們啟動輕辦公項目，自然也使用python進行了原始版本的構建。
python雖然很強大，但我們在使用的時候也碰到了一些問題，主要由如下幾個方面：
動態語言
python是一門動態強類型語言。但是，仍然可能出現int + string這樣的運行時錯誤，因為對於一個變數，在寫代碼的時候，我們有時候很容易就忘記這個變數到底是啥類型的了。
在python裡面，可以允許同名函數的出現，後一個函數會覆蓋前一個函數，有一次我們系統一個很嚴重的錯誤就是因為這個導致的。
上面說到的這些，靜態語言在編譯的時候就能幫我們檢測出來，而不需要等到運行時出問題才知道。雖然我們有很完善的測試用例，但總有case遺漏的情況。所以每次出現運行時錯誤，我心裡都想著如果能在編譯的時候就發現該多好。
性能
其實這個一直是很多人吐槽python的地方，但python有它適合乾的事情，硬是要用python進行一些高性能模塊的開發，那也有點難為它了。
python的GIL導致無法真正的多線程，大家可能會說我用多進程不就完了。但如果一些計算需要涉及到多進程交互，進程之間的通訊開銷也是不得不考慮的。
無狀態的分布式處理使用多進程很方便，譬如處理http請求，我們就是在nginx後面掛載了200多個django server來處理http的,但這么多個進程自然導致整體機器負載偏高。
但即使我們使用了多個django進程來處理http請求，對於一些超大量請求，python仍然處理不過來。所以我們使用openresty，將高頻次的http請求使用lua來實現。可這樣又導致使用兩種開發語言，而且一些邏輯還得寫兩份不同的代碼。
同步網路模型
django的網路是同步阻塞的，也就是說，如果我們需要訪問外部的一個服務，在等待結果返回這段時間，django不能處理任何其他的邏輯（當然，多線程的除外）。如果訪問外部服務需要很長時間，那就意味著我們的整個服務幾乎在很長一段時間完全不可用。
為了解決這個問題，我們只能不斷的多開django進程，同時需要保證所有服務都能快速的處理響應，但想想這其實是一件很不靠譜的事情。
非同步網路模型
tornado的網路模型是非同步的，這意味著它不會出現django那樣因為外部服務不可用導致這個服務無法響應的問題。話說，比起django，我可是非常喜歡tornado的，小巧簡單，以前還寫過幾篇深入剖析tornado的文章了。
雖然tornado是非同步的，但是python的mysql庫都不支持非同步，這也就意味著如果我們在tornado裡面訪問資料庫，我們仍然可能面臨因為資料庫問題造成的整個服務不可用。
其實非同步模型最大的問題在於代碼邏輯的割裂，因為是事件觸發的，所以我們都是通過callback進行相關處理，於是代碼裡面就經常出現干一件事情，傳一個callback，然後callback裡面又傳callback的情況，這樣的結果就是整個代碼邏輯非常混亂。
python沒有原生的協程支持，雖然可以通過gevent，greenlet這種的上patch方式來支持協程，但畢竟更改了python源碼。另外，python的yield也可以進行簡單的協程模擬，但畢竟不能跨堆棧，局限性很大，不知道3.x的版本有沒有改進。
開發運維部署
當我第一次使用python開發項目，我是沒成功安裝上項目需要的包的，光安裝成功mysql庫就弄了很久。後來，是一位同事將他整個python目錄打包給我用，我才能正常的將項目跑起來。話說，現在有了docker，是多麼讓人幸福的一件事情。
而部署python服務的時候，我們需要在伺服器上面安裝一堆的包，光是這一點就讓人很麻煩，雖然可以通過puppet，salt這些自動化工具解決部署問題，但相比而言，靜態編譯語言只用扔一個二進制文件，可就方便太多了。
代碼失控
python非常靈活簡單，寫c幾十行代碼才能搞定的功能，python一行代碼沒准就能解決。但是太簡單，反而導致很多同學無法對代碼進行深層次的思考，對整個架構進行細致的考量。來了一個需求，啪啪啪，鍵盤敲完開速實現，結果就是代碼越來越混亂，最終導致了整個項目代碼失控。
雖然這也有我們自身的原因，譬如沒好的代碼review機制，沒有好的項目規范，但個人感覺，如果一個程序員沒經過良好的編碼訓練，用python很容易就寫出爛的代碼，因為太自由了。
當然，我這里並不是說用python無法進行大型項目的開發，豆瓣，dropbox都是很好的例子，只是在我們項目中，我們的python代碼失控了。
上面提到的都是我們在實際項目中使用python遇到的問題，雖然最終都解決了，但是讓我愈發的覺得，隨著項目復雜度的增大，流量性能壓力的增大，python並不是一個很好的選擇。
為什麼選擇go
說完了python，現在來說說為什麼我們選擇go。其實除了python，我們也有其他的選擇，java，php，lua(openresty)，但最終我們選擇了go。
雖然java和php都是最好的編程語言（大家都這么爭的），但我更傾向一門更簡單的語言。而openresty，雖然性能強悍，但lua仍然是動態語言，也會碰到前面說的動態語言一些問題。最後，前金山許式偉用的go，前快盤架構師蔥頭也用的go，所以我們很自然地選擇了go。
go並不是完美，一堆值得我們吐槽的地方。
error，好吧，如果有語言潔癖的同學可能真的受不了go的語法，尤其是約定的最後一個返回值是error。項目裡面經常會充斥這樣的代碼:
if _, err := w.Write(data1); err != nil {
returun err
}
if _, err := w.Write(data2); err != nil {
returun err
}
難怪有個梗是對於一個需求，java的程序員在寫配置的時候，go程序員已經寫了大部分代碼，但是當java的程序員寫完的時候，go程序員還在寫err != nil。
這方面，errors-are-values倒是推薦了一個不錯的解決方案。
包管理，go的包管理太弱了，只有一個go get，也就是如果不小心更新了一個外部庫，很有可能就導致現有的代碼編譯不過了。雖然已經有很多開源方案，譬如godep以及現在才出來的gb等，但畢竟不是官方的。貌似google也是通過vendor機制來管理第三方庫的。希望go 1.5或者之後的版本能好好處理下這個問題。
GC，java的GC發展20年了，go才這么點時間，gc鐵定不完善。所以我們仍然不能隨心所欲的寫代碼，不然在大請求量下面gc可能會卡頓整個服務。所以有時候，該用對象池，內存池的一定要用，雖然代碼丑了點，但好歹性能上去了。
泛型，雖然go有inteface，但泛型的缺失會讓我們在實現一個功能的時候寫大量的重復代碼，譬如int32和int64類型的sort，我們得為分別寫兩套代碼，好冗餘。go 1.4之後有了go generate的支持，但這種的仍然需要自己根據go的AST庫來手動寫相關的parser，難度也挺大的。雖然也有很多開源的generate實現，但畢竟不是官方的。
當然還有很多值得吐槽的地方，就不一一列舉了，但是go仍舊有它的優勢。
靜態語言，強類型。靜態編譯能幫我們檢查出來大量的錯誤，go的強類型甚至變態到不支持隱式的類型轉換。雖然寫代碼感覺很別扭，但減少了犯錯的可能。
gofmt，應該這是我知道的第一個官方提供統一格式化代碼工具的語言了。有了gofmt，大家的代碼長一個樣了，也就沒有花括弧到底放到結尾還是新開一行這種蛋疼的代碼風格討論了。因為大家的代碼風格一樣，所以看go的代碼很容易。
天生的並行支持，因為goroutine以及channel，用go寫分布式應用，寫並發程序異常的容易。沒有了蛋疼的callback導致的代碼邏輯割裂，代碼邏輯都是順序的。
性能，go的性能可能趕不上c，c++以及openresty，但真的也挺強悍的。在我們的項目中，現在單機就部署了一個go的進程，就完全能夠勝任以前200個python進程乾的事情，而且CPU和MEM佔用更低。
運維部署，直接編譯成二進制，扔到伺服器上面就成，比python需要安裝一堆的環境那是簡單的太多了。當然，如果有cgo，我們也需要將對應的動態庫給扔過去。
開發效率，雖然go是靜態語言，但我個人感覺開發效率真的挺高，直覺上面跟python不相上下。對於我個人來說，最好的例子就是我用go快速開發了非常多的開源組件，譬如ledisdb，go-mysql等，而這些最開始的版本都是在很短的時間裡面完成的。對於我們項目來說，我們也是用go在一個月就重構完成了第一個版本，並發布。
實際項目中一些Go Tips
到現在為止，我們幾乎所有的服務端項目都已經轉向go，當然在使用的時候也遇到了一些問題，列出來算是經驗分享吧。
godep，我們使用godep進行第三方庫管理，但是godep我碰到的最大的坑就是build tag問題，如果一個文件有build tag，godep很有可能就會忽略這個文件。
IO deadline，如果能自己在應用層處理的都自己處理，go的deadline內部是timer來控制，但timer內部採用一個array來實現的heap，全局共用一個鎖，如果大並發量，並且timer數量過多，timeout變動太頻繁，很容易就引起性能問題。
GC，這個前面也說了，多用內存池，對象池，另外，我還發現，如果對象的生命周期跟goroutine一致，對性能的提升也不錯，也在go的group問過相關問題，大家猜測可能是因為一些對象其實是在goroutine的8k棧上面分配的，所以一起回收沒有額外GC了。
Go gob，如果要做RPC服務，gob並不是一個很好的選擇，首先就跟python的pickle不通用，然後為了做不同系統的數據傳入，任何包都必須帶上類型的詳細信息，size太大。go裡面現在還沒一套官方的RPC方案，gRPC貌似有上位的可能。
❸ python爬蟲和大數據什麼關系
大數據發掘需要一些工具比如python的爬蟲、hadoop統計分析等。
❹ 剛剛，阿里開源 iOS 協程開發框架 coobjc！
阿里妹導讀：剛剛，阿里巴巴正式對外開源了基於 Apache 2.0 協議的協程開發框架 coobjc，開發者們可以在 Github 上自主下載。
coobjc是為iOS平台打造的開源協程開發框架，支持Objective-C和Swift，同時提供了cokit庫為Foundation和UIKit中的部分API提供了 協程 化支持，本文將為大家詳細介紹coobjc的設計理念及核心優勢。
從2008年第一個iOS版本發布至今的11年時間里，iOS的非同步編程方式發展緩慢。
基於 Block 的非同步編程回調是目前 iOS 使用最廣泛的非同步編程方式，iOS 系統提供的 GCD 庫讓非同步開發變得很簡單方便，但是基於這種編程方式的缺點也有很多，主要有以下幾點：
針對多線程以及尤其引發的各種崩潰和性能問題，我們制定了很多編程規范、進行了各種新人培訓，嘗試降低問題發生的概率，但是問題依然很嚴峻，多線程引發的問題佔比並沒有明顯的下降，非同步編程本來就是很復雜的事情，單靠規范和培訓是難以從根本上解決問題的，需要有更加好的編程方式來解決。
上述問題在很多系統和語言開發中都可能會碰到，解決問題的標准方式就是使用協程，C#、Kotlin、Python、Javascript 等熱門語言均支持協程極其相關語法，使用這些語言的開發者可以很方便的使用協程及相關功能進行非同步編程。
2017 年的 C++ 標准開始支持協程，Swift5 中也包含了協程相關的標准，從現在的發展趨勢看基於協程的全新的非同步編程方式，是我們解決現有非同步編程問題的有效的方式，但是蘋果基本已經不會升級 Objective-C 了，因此使用Objective-C的開發者是無法使用官方的協程能力的，而最新 Swift 的發布和推廣也還需要時日，為了讓廣大iOS開發者能快速享受到協程帶來的編程方式上的改變，手機淘寶架構團隊基於長期對系統底層庫和匯編的研究，通過匯編和C語言實現了支持 Objective-C 和 Swift 協程的完美解決方案 —— coobjc。
核心能力
內置系統擴展庫
coobjc設計
最底層是協程內核，包含了棧切換的管理、協程調度器的實現、協程間通信channel的實現等。
中間層是基於協程的操作符的包裝，目前支持async/await、Generator、Actor等編程模型。
最上層是對系統庫的協程化擴展，目前基本上覆蓋了Foundation和UIKit的所有IO和耗時方法。
核心實現原理
協程的核心思想是控制調用棧的主動讓出和恢復。一般的協程實現都會提供兩個重要的操作：
我們基於線程的代碼執行時候，是沒法做出暫停操作的，我們現在要做的事情就是要代碼執行能夠暫停，還能夠再恢復。 基本上代碼執行都是一種基於調用棧的模型，所以如果我們能把當前調用棧上的狀態都保存下來，然後再能從緩存中恢復，那我們就能夠實現yield和 resume。
實現這樣操作有幾種方法呢？
上述第三種和第四種只是能過做到跳轉，但是沒法保存調用棧上的狀態，看起來基本上不能算是實現了協程，只能算做做demo，第五種除非官方支持，否則自行改寫編譯器通用性很差。而第一種方案的 ucontext 在iOS上是廢棄了的，不能使用。那麼我們使用的是第二種方案，自己用匯編模擬一下 ucontext。
模擬ucontext的核心是通過getContext和setContext實現保存和恢復調用棧。需要熟悉不同CPU架構下的調用約定(Calling Convention). 匯編實現就是要針對不同cpu實現一套，我們目前實現了 armv7、arm64、i386、x86_64，支持iPhone真機和模擬器。
說了這么多，還是看看代碼吧，我們從一個簡單的網路請求載入圖片功能來看看coobjc到底是如何使用的。
下面是最普通的網路請求的寫法：
下面是使用coobjc庫協程化改造後的代碼：
原本需要20行的代碼，通過coobjc協程化改造後，減少了一半，整個代碼邏輯和可讀性都更加好，這就是coobjc強大的能力，能把原本很復雜的非同步代碼，通過協程化改造，轉變成邏輯簡潔的順序調用。
coobjc還有很多其他強大的能力，本文對於coobjc的實際使用就不過多介紹了，感興趣的朋友可以去官方github倉庫自行下載查看。
我們在iPhone7 iOS11.4.1的設備上使用協程和傳統多線程方式分別模擬高並發讀取數據的場景，下面是兩種方式得到的壓測數據。
從上面的表格我們可以看到使用在並發量很小的場景，由於多線程可以完全使用設備的計算核心，因此coobjc總耗時要比傳統多線程略高，但是由於整體耗時都很小，因此差異並不明顯，但是隨著並發量的增大，coobjc的優勢開始逐漸體現出來，當並發量超過1000以後，傳統多線程開始出現線程分配異常，而導致很多並發任務並沒有執行，因此在上表中顯示的是大於20秒，實際是任務已經無法正常執行了，但是coobjc仍然可以正常運行。
我們在手機淘寶這種超級App中嘗試了協程化改造，針對部分性能差的頁面，我們發現在滑動過程中存在很多主線程IO調用、數據解析，導致幀率下降嚴重，通過引入coobjc，在不改變原有業務代碼的基礎上，通過全局hook部分IO、數據解析方法，即可讓原來在主線程中同步執行的IO方法非同步執行，並且不影響原有的業務邏輯，通過測試驗證，這樣的改造在低端機(iPhone6及以下的機器)上的幀率有20%左右的提升。
簡明
易用
清晰
性能
程序是寫來給人讀的，只會偶爾讓機器執行一下。——Abelson and Sussman
基於協程實現的編程範式能夠幫助開發者編寫出更加優美、健壯、可讀性更強的代碼。
協程可以幫助我們在編寫並發代碼的過程中減少線程和鎖的使用，提升應用的性能和穩定性。
本文作者：淘寶技術