阿里雲上部署大數據

A. 阿里雲有什麼功能

阿里雲創立於2009年，是全球領先的雲計算及人工智慧科技公司，為200多個國家和地區的企業、開發者和政府機構提供服務。截至2016年第三季度，阿里雲客戶超過230萬，付費用戶達76.5萬。阿里雲致力於以在線公共服務的方式，提供安全、可靠的計算和數據處理能力，讓計算和人工智慧成為普惠科技。

阿里雲在全球各地部署高效節能的綠色數據中心，利用清潔計算為萬物互聯的新世界提供源源不斷的能源動力，目前開服的區域包括中國（華北、華東、華南、香港）、新加坡、美國（美東、美西）、歐洲、中東、澳大利亞、日本。

目前阿里雲的產品涵蓋彈性計算、資料庫、存儲與CDN、分析與搜索、雲通信、網路、管理與監控、應用服務、互聯網中間件、移動服務、視頻服務等。

(1)阿里雲上部署大數據擴展閱讀：

雲計算價值

阿里巴巴集團首席戰略官曾鳴，曾系統性地概括了雲計算對於企業的價值。

1、移動+雲計算=實現了IT服務的「在線化「，讓技術的門檻大幅降低。

2、雲計算是公共服務，是可變成本，可按需使用，不再是固定資產投入，創業公司的成本壓力由此大幅下降。

3、雲計算將數據變成生產資料和企業資產。

雲計算，是用足夠的低成本、商業化的模式來解決大計算的問題。以前大家只會想到超級計算機，它的運營成本高，而反應速度還是很慢，當這些大的互聯網應用真正發展時，比如淘寶，數億商家提出的購買需要，實時信息匹配的背後，就是大數據的計算。所以，雲計算就是使用分布式的方法，針對海量數據大計算的一種解決方案。如果沒有計算能力，我們談不上大數據的時代，談不上海量數據的高效應用 。

馬雲在2016杭州雲棲大會上提出了五新：「新零售，新製造，新金融，新技術，新能源」，阿里雲正在成為這「五新」的經濟基礎設施，其自主研發的超大規模通用計算操作系統飛天，可以將遍布全球的百萬級伺服器連成一台超級計算機，以在線公共服務的方式為社會提供計算能力 。

阿里雲總裁胡曉明表示：接下來的3~5年，雲計算、大數據不僅將在互聯網內發生改變，同樣會在工業製造、農業作業、城市交通，以及基因學、醫療影像、教育娛樂等領域產生賦能。「雲計算、大數據會對各行各業的基礎生態產生改變，阿里巴巴希望把已有的能力進行輸出，給予更多的創新者、創業者以及政府機構和國內外的合作者們。」

B. 阿里雲的大數據應用ODPS應該怎麼使用

阿里雲開放數據處理服務（Open Data Processing Service簡稱ODPS）是構建在飛天系統上的大規模分布式數據梳理服務。處理量大，一般用戶用來購買日誌和業務數據進行數據挖掘。

C. 阿里雲「全球網」落成，中美雲計算將同台競技

在中國的互聯網世界裡，雲計算大概是最具有全球化野心的領域。從2014年開始，阿里雲便相繼在美國、香港、新加坡等部署數據中心，並頻頻對標亞馬遜、微軟等國外雲計算廠商。
11月21日，阿里雲宣布其位於歐洲、中東、日本和澳大利亞的數據中心將於月內開服，標志著屬於中國的雲計算「全球網」正式建成。而在此之前，亞馬遜、微軟乃至谷歌，也次第開始了數據中心的全球化布局。在雲計算這場「數人頭」式的競賽中，來自中國的雲計算廠商業已成為一股不可小覷的力量。
國內占盡先機，阿里雲們為何要籌謀全球化？
今年9月初，亞馬遜官方宣布AWS雲服務在中國區正式商用，也意味著AWS入華三年之後正式取得了合法身份。不過，相比於AWS在全球范圍內市場份額第一的成績，截至2015年末，IDC的數據顯示亞馬遜在中國IaaS市場份額僅佔4.3%，遠低於第一陣營的阿里雲。
當然，亞馬遜和微軟們的「失意」，也從側面反映了這樣一個事實，那些率先佔位和後發制人的中國雲計算廠商們已經占盡先機。然而，和中國早期互聯網公司立足國內的「小農思想」所不同的是，雲計算服務自誕生開始似乎就肩負了全球化的使命。可以解釋的原因有很多，比如說雲計算的興起和BAT的海外戰略在時間點上相契合，再比如說全球化的互聯網服務已是大勢所趨，如此種種。或許要真正理解阿里雲為何要在雲服務方面進軍全球市場，並積極擁抱雲計算的全球通時代，還需要思考下面兩個切實的問題。
1、中國雲計算廠商全球化的時機是否成熟？
今年4月份，投資機構德意志銀行的報告稱，阿里雲年度凈收入超過谷歌雲計算平台，與亞馬遜AWS、微軟Azure形成雲服務「3A」競爭局面，正式結束亞馬遜、微軟、IBM、Google、Salesforce等五強爭霸的時代。
而在這份「3A」新格局的全球數據中心分布圖中，亞馬遜、微軟和亞馬遜都在主要互聯網市場都形成了覆蓋。數據中心代表著雲計算廠商的服務能力也意味著服務所能覆蓋的范圍。單從數字上來講，阿里雲在數據中心節點上同美國雲計算廠商的差距並未拉大，且阿裏手中的現金流及其在雲計算領域的投入並不輸於亞馬遜等競爭對手。
另一方面，此前中國互聯網公司出海多半是商業模式的出海，所面臨的不只是當地的競爭對手，還有政策、文化和用戶習慣上的差異，而雲計算的全球化則是技術的出海。事實上，歷年雙11的表現已經可以看出，以阿里雲為代表的中國雲計算廠商業已具備了全球化競爭的能力。比如說在今年的天貓雙11上，阿里雲的「飛天」系統實現了每秒17.5萬筆交易峰值、每秒12萬筆支付峰值，而在2009年的第一次雙11中這一峰值數據僅為每秒400筆交易。
IDC數據顯示，2019年全球雲計算市場收入規模將達到1410億美元，比2015年的700億美元市場規模翻倍。相比於國內市場，對阿里雲及其他廠商來講，全球化意味著更大的市場，也預示著更大的機遇。
在筆者看來，當互聯網進入中國的時候，長城內的有志青年們無不熱血沸騰，一場圍繞互聯網的創業浪潮蓬勃興起。互聯網就像是創新的催化劑，為創業者們開拓了更大的世界，甚至可以說是思想上的洗禮。雲計算時代的來臨則是中國互聯網廠商徹底走出模仿走向自主創新的轉折點，阿里雲和亞馬遜之間的較量，或許正是中國互聯網擺脫「美國壓制」的時代性標志。
由此便不難理解，雖然政策監管、帶寬、數據中心等因素為雲計算貼上了地域性的標簽，但雲計算技術的全球化是毋庸置疑的。這一點，亞馬遜、微軟等美國雲計算廠商們早已認識到，而阿里雲等中國廠商也開始積極實踐。
2、誰在驅動中國雲計算廠商的全球化？
作為一家商業公司，追求更大的市場份額和更大的利潤似乎是其天職，但在阿里雲等雲計算廠商的全球化過程中，一個不容忽略的因素就是中國互聯網公司的全球化演進。這裡面既有知名的大疆創新，也有很多未被大多數人所知的創新者。
就中國雲服務的主要用戶而言，游戲、電商、金融、O2O、視頻類公司佔了很大的比重，尤其是游戲和電商領域，近幾年在全球化方面正在持續加速。比如說《華爾街日報》曾報道稱中國互聯網零售商正在美國、全球擴張，並將其視為美國企業的挑戰。而游戲領域的需求早已成為國內雲計算廠商布局海外數據中心的直接驅動力。
原因不難理解，當一款游戲需要發行海外版本時，在海外數據中心部署業務，可以顯著降低網路延遲、提高游戲響應速度，這些因素直接決定了一款游戲的存亡。據《2015年中國游戲產業報告》顯示，中國游戲的海外出口規模達到53.1億元，同比增長72.4%。為此，Ucloud分別在2013年底和2014年底在香港和北美上線了數據中心，阿里雲、騰訊雲乃至很多雲計算創業公司的全球化初衷大抵如此。
事實證明，雲計算廠商的這一做法著實瞄準了海外拓展用戶的痛點，在支付方式、母語溝通、業務響應、法律法規、成本控制等方面，中國的雲服務提供商更受青睞。以此前被媒體捧上頭條的游戲《蘇丹的復仇》為例，蟬聯沙烏地阿拉伯iOS暢銷榜長達半年之久，其研發團隊卻位於福州，依靠阿里雲的海外數據中心，實現了游戲的海外運營。
王堅博士在《在線》一書中，很好的解釋了「計算」作為公共服務，成為創新創業能源動力的價值。缺少計算資源的支撐，中國企業的全球化創新勢必會受到阻礙，阿里雲的全球通實際上也在彌補中國在科技創新方面的短板。
另外，亞馬遜、微軟、甲骨文等對中國市場的死磕，或許也是阿里雲們加速海外布局的另一誘因，如果不能盡早滿足中國企業全球化的需求，無疑會將這塊蛋糕拱手相送給海外的競爭對手。
與海外巨頭同台相競，中國雲計算廠商的危與機
與AWS、Azure進入中國市場類似，中國雲計算在向海外擴張時也將面臨遵守當地法律的要求，以及對產業深度的理解。以數據中心節點的建設為例，用戶、市場、基礎設施、政府以及成本等多個維度的因素在影響選址和速度。也就是說，除了資金實力，海外運營能力同樣考驗著雲計算廠商的成敗。
歸納來看，可以從三個方面來衡量中國雲計算廠商的海外競爭力。
其一，市場選擇。
根據BSA國際軟體聯盟發布的全球雲計算指數，北美、歐洲和亞洲市場成為全球雲計算產業的主要市場。對於中國雲計算廠商來說如何進入這些市場決定著其在全球市場的影響力。就目前來看，阿里雲選擇了香港、美國、新加坡等作為海外戰略的第一步，並在第二階段深耕歐美市場的同時，選擇進入相對空白的中東市場。
一方面，這些市場的語言文化和政策法規，再加上當地雲計算人才的密度，選擇這一市場的門檻相對更低；另一方面，微軟、谷歌、亞馬遜等雲廠商已經在這些地區紮根，競爭將更加激烈，同時也意味著成熟的基礎設施條件。
其二，本土化運營。
在阿里雲公布的海外合作名單中，軟銀、英特爾、電訊盈科、新加坡電信、SK集團C&C等赫然在列，在雲服務方面啟動本土化運營的思路不言而喻。可以看出，阿里雲選擇的合作夥伴多是本土的電信運營商，比如在歐洲市場與沃達豐達成戰略合作，阿里雲主要負責輸出雲計算大數據技術和產品，沃達豐主要負責在銷售、市場、服務等方面。
和亞馬遜在中國市場徘徊三年，最終選擇「借殼落地」策略不同的是，阿里雲的本土化運營更容易積累早期的用戶，並不斷彌補在品牌知名度方面的短板。缺少「因地制宜」 的亞馬遜幾乎錯失了中國市場。在這一方面，來自中國的阿里雲則表現的更加開放。
其三，技術優勢。
有關雲計算技術同質化的說法不絕於耳，在諸多開源技術的襯托下，似乎IaaS市場最終面臨基礎設施的比拼。不管怎樣，亞馬遜和微軟、谷歌的競爭本質上仍屬於「誰胳膊粗」的狀態，即便AWS在市場份額上占據優勢，卻未能甩開身後的微軟、IBM、甲骨文等一眾玩家。
完成數據中心的「全球網」之後，阿里雲躋身全球互聯網第一陣營，和亞馬遜、微軟同台競技。且在今年8月份，阿里雲針對技術合作夥伴推出了AliLaunch計劃，SAP、SUSE、HERE等11家國際軟體服務商入駐該計劃。假若阿里雲能夠將其及合作夥伴的技術優勢與全球電商生態相融合，或可以帶來不同於亞馬遜的競爭力。
當然，需要正視的是，當前阿里雲全球化所看好的仍是拓展海外業務的中國企業，比較理想的狀態是，這些企業不再需要僱傭當地員工來搭建自己的計算資源，而是在國內即開即用，用一張雲計算網路支撐全球業務。
寫到最後，不可否認阿里們在雲計算領域的全球化野心，也不難肯定在經濟全球化更加發達的情況下，計算資源也將迎來全球化的競爭。借用網路上一個調侃性的說法，特朗普上台後的矽谷將前途未卜，中國互聯網將迎來取代美國成為世界互聯網中心的新機遇。雖然這只是一個玩笑，但雲計算的全球化競爭已經不可避免。
Alter，互聯網觀察者，長期致力於對智能硬體、雲計算、VR等行業的觀察研究。微信公眾號：spnews

D. 阿里雲主要提供什麼服務

阿里雲致力於以在線公共服務的方式，提供安全、可靠的計算和數據處理能力，讓計算和人工智慧成為普惠科技。

阿里雲服務著製造、金融、政務、交通、醫療、電信、能源等眾多領域的領軍企業，包括中國聯通、12306、中石化、中石油、飛利浦、華大基因等大型企業客戶，以及微博、知乎、錘子科技等明星互聯網公司。在天貓雙11全球狂歡節、12306春運購票等極富挑戰的應用場景中，阿里雲保持著良好的運寬李行紀錄。

阿里雲在全球各地部署高效節能的綠色數據中心，利用清潔計算為萬物互聯的新世界提供源源不斷的能源動力，目前開服的區域包括中國（華北、華東、華南、香港）、新加坡、美國（美東、美西）、歐洲、中東、澳大利亞、日本。

(4)阿里雲上部署大數據擴展閱讀：

阿里雲主要產品：

1、彈性計算：

雲伺服器ECS：可彈性擴展、安全、穩定、易用的計算服務

塊存儲：可彈性擴展、高性能、高可靠的塊級隨機存儲

專有網路VPC：幫您輕松構建邏輯隔離的專有網路

負載均衡：對多台雲伺服器進行流量分發的負載均衡服務

彈性伸縮：自動調整彈性計算資源的管理服務

資源編排：批量創建、管理、配置雲計算資源

容器服務：應用全差帶生命周期管理的Docker服務

高性能計算HPC：加速深度學習、渲染和科學計算的GPU物理機

批量計算：簡單易用的大規模並行批處理計算服務

E-MapRece：基於Hadoop/Spark的大數據處理分析服務

2、資料庫：

雲資料庫RDS：完全兼容MySQL，SQLServer，PostgreSQL

雲資料庫MongoDB版：三節點副本集保證高可用

雲資料庫Redis版：兼容開源Redis協議的Key-Value類型

雲資料庫Memcache版：在線緩存服務，為熱點數據的訪問提供高速響應

PB級雲資料庫PetaData：支持PB級海量數據存儲的分布式關系型資料庫

雲資料庫HybridDB：基於GreenplumDatabase的MPP數據倉庫

雲資料庫OceanBase：金融級高可靠、高性能、分布式自研資料庫

數據傳輸：比GoldenGate更易用，阿里異地多活基礎架構

數據管理：比phpMyadmin更強大，比Navicat更易用

3、存儲：

對象存儲OSS：海量、安全和高可靠的雲存儲服務

文件存儲：無限擴展、多共享、標准文件協議的文件存儲服務

歸檔存儲：海量數據的長期歸檔、備份服務

塊存儲：可彈性擴展、高性能、高可靠的塊級隨機存儲

表格存儲：高並發、低延時、無限容量的Nosql數據存儲服務

4、網路：

CDN：跨運營商、跨地域全網覆蓋的網路加速服務

專有網路VPC：幫您輕松構建邏輯隔離的專有網路

高速通道：高速穩定的VPC互聯和專線接入服務

NAT網關：支持NAT轉發、共享帶寬的VPC網關

2018年6月20日，阿里雲宣布聯合三大運營商全面對外提供IPv6服務。

5、大數據：

MaxCompute：原名ODPS，是一種快速、完全託管的TB/PB級數據倉庫解決方案。

QuickBI：高效數據分析與展現平台，通虛巧蘆過對數據源的連接，和數據集的創建，對數據進行即席的分析與查詢。並通過電子表格或儀錶板功能，以拖拽的方式進行數據的可視化呈現。

大數據開發套件：提供可視化開發界面、離線任務調度運維、快速數據集成、多人協同工作等功能，擁有強大的OpenAPI為數據應用開發者提供良好的再創作生態

DataV數據可視化：專精於業務數據與地理信息融合的大數據可視化，通過圖形界面輕松搭建專業的可視化應用，滿足您日常業務監控、調度、會展演示等多場景使用需求

關系網路分析：基於關系網路的大數據可視化分析平台，針對數據情報偵察場景賦能，如打擊虛假交易，審理保險騙賠，案件還原研判等

推薦引擎：推薦服務框架，用於實時預測用戶對物品偏好，支持A/BTest效果對比

公眾趨勢分析：利用語義分析、情感演算法和機器學習，分析公眾對品牌形象、熱點事件和公共政策的認知趨勢

企業圖譜：提供企業多維度信息查詢，方便企業構建基於企業畫像及企業關系網路的風險控制、市場監測等企業級服務

數據集成：穩定高效、彈性伸縮的數據同步平台，為阿里雲各個雲產品提供離線(批量)數據進出通道

分析型資料庫：在毫秒級針對千億級數據進行即時的多維分析透視和業務探索

流計算：流式大數據分析平台，提供給用戶在雲上進行流式數據實時化分析工具

6、人工智慧：

機器學習：基於阿里雲分布式計算引擎的一款機器學習演算法平台，用戶通過拖拉拽的方式可視化的操作組件來進行試驗，平台提供了豐富的組件，包括數據預處理、特徵工程、演算法組件、預測與評估

語音識別與合成：基於語音識別、語音合成、自然語言理解等技術，為企業在多種實際應用場景下，賦予產品「能聽、會說、懂你」式的智能人機交互體驗

人臉識別：提供圖像和視頻幀中人臉分析的在線服務，包括人臉檢測、人臉特徵提取、人臉年齡估計和性別識別、人臉關鍵點定位等獨立服務模塊

印刷文字識別：將圖片中的文字識別出來，包括身份證文字識別、門店招牌識別、行駛證識別、駕駛證識別、名片識別等證件類文字識別場景

7、雲安全：

伺服器安全（安騎士）：由輕量級Agent和雲端組成，集檢測、修復、防禦為一體，提供網站後門查殺、通用Web軟體0day漏洞修復、安全基線巡檢、主機訪問控制等功能，保障伺服器安全

DDoS高防IP：雲盾DDoS高防IP是針對互聯網伺服器（包括非阿里雲主機）在遭受大流量的DDoS攻擊後導致服務不可用的情況下，推出的付費增值服務，用戶可以通過配置高防IP，將攻擊流量引流到高防IP，確保源站的穩定可靠

Web應用防火牆：網站必備的一款安全防護產品。通過分析網站的訪問請求、過濾異常攻擊，保護網站業務可用及資產數據安全

加密服務：滿足雲上數據加密，密鑰管理、加解密運算需求的數據安全解決方案

CA證書服務：雲上簽發Symantec、CFCA、GeoTrustSSL數字證書，部署簡單，輕松實現全站HTTPS化，防監聽、防劫持，呈現給用戶可信的網站訪問

數據風控：凝聚阿里多年業務風控經驗，專業、實時對抗垃圾注冊、刷庫撞庫、活動作弊、論壇灌水等嚴重威脅互聯網業務安全的風險

綠網：智能識別文本、圖片、視頻等多媒體的內容違規風險，如涉黃，暴恐，涉政等，省去90%人力成本

安全管家：基於阿里雲多年安全實踐經驗為雲上用戶提供的全方位安全技術和咨詢服務，為雲上用戶建立和持續優化雲安全防禦體系，保障用戶業務安全

雲盾混合雲：在用戶自有IDC、專有雲、公共雲、混合雲等多種業務環境為用戶建設涵蓋網路安全、應用安全、主機安全、安全態勢感知的全方位互聯網安全攻防體系

態勢感知：安全大數據分析平台，通過機器學習和結合全網威脅情報，發現傳統防禦軟體無法覆蓋的網路威脅，溯源攻擊手段、並且提供可行動的解決方案

先知：全球頂尖白帽子和安全公司幫你找漏洞，最私密的安全眾測平台。全面體檢，提早發現業務漏洞及風險，按效果付費

移動安全：為移動APP提供安全漏洞、惡意代碼、仿冒應用等檢測服務，並可對應用進行安全增強，提高反破解和反逆向能力。

8、互聯網中間件：

企業級分布式應用服務EDAS：以應用為中心的中間件PaaS平台、

消息隊列MQ：ApacheRocketMQ商業版企業級非同步通信中間件

分布式關系型資料庫服務DRDS：水平拆分/讀寫分離的在線分布式資料庫服務

雲服務匯流排CSB：企業級互聯網能力開放平台

業務實施監控服務ARMS：端到端一體化實時監控解決方案產品

9、分析：

E-MapRece：基於Hadoop/Spark的大數據處理分析服務

雲資料庫HybirdDB：基於GreenplumDatabase的MPP數據倉庫

高性能計算HPC：加速深度學習、渲染和科學計算的GPU物理機

大數據計算服務MaxCompute：TB/PB級數據倉庫解決方案

分析型資料庫：海量數據實時高並發在線分析

開放搜索：結構化數據搜索託管服務

QuickBI：通過對數據源的連接，對數據進行即席分析和可視化呈現。

E. 阿里雲的MaxCompute數加（原ODPS）用的怎樣

我覺得他們在開發這個的時候，可能考慮了很多中國的傳統元素，所以在設計方面比較的符合中國的國情，不管是用戶的體驗方式還是怎樣，都特別的能夠拉好感。

但是從程序員的角度來說，我覺得它們的功能和模型做的也還是一般，雖然說在系統方面兼容性更好，但是缺點也還是蠻多的。

層次

之所以這樣說，是因為他整個層次是非常豐富的，他很好的做了分層，也就是說，給不同的軟體提供了不同的接入口，最底層是Linux+PC Server，上層軟體是飛天，飛天是阿里雲09年開始開發的一款分布式系統軟體，主要提供分布式存儲和分布式計算的調度、編程框架。開發語言是C++, 2013年該系統在生產環境支持調度5000台機器的集群。

• 總結
  

總的來說，他們開發的初衷是好的，但是出來的效果並不盡如人意，後續可能還要再看。