cloudos能夠實現的大數據功能

『壹』 雲OS的產品

一般來講，國內外大的網站，比如、網易、騰訊等，都有該類產品，但由於該系統是各自的核心競爭力，都是自產自用，並對外發售。比如市面上的兩家廠商，一是VMware的vSphere，該產品是虛擬化技術衍生出來的，管理的設備數量有限；二是浪潮的雲海，浪潮雲海是第一款國產的雲計算中心操作系統，採用「linux+Xen」開放標准技術路線，支持分布式計算、分布式存儲等，性能更好、可用性更強、成本更低，但是要到2010年底才能發布。兩者的不同處在於：浪潮雲海OS是一個產品化、模塊化的通用雲操作系統，適合於各種類型的雲計算應用；VMware的產品更多是針對虛擬化整合，面向私有雲等小規模雲應用；
Vmware與浪潮雲OS的具體區別為：
1、共享存儲與分布式雲存儲：VMware雲操作系統依賴於共享存儲，一旦共享存儲宕機，將導致所有虛擬機業務的崩潰；浪潮雲海雲操作系統構建了塊設備的雲存儲，安全性更高。
2、大規模管理架構；浪潮雲海OS採用多級聯管理體系，可以通過級聯方式實現資源的整合管理，可以有效實現萬量級的資源管理。管理能力更強，適用性更好；VMwareOS管理規模較小。
3、資源調度與節能管理：浪潮雲海OS可有效實現大規模基礎軟硬體資源監控，可以完成長期的業務負載和資源情況的統計分析，可以依據負載情況實現業務、資源的動態調度，在滿足客戶需求情況下，有效提高資源利用率。同時，對夜間、節假日時的閑置資源，可自動轉入節能模式，符合綠色、低碳的數據中心運營需求。
4、業務管理：VMware雲OS側重於硬體資源的管理，包括計算、存儲和網路；浪潮雲OS，即可以管理硬體資源，還可以管理軟體資源，包括單機OS、資料庫、中間件等。 雲伺服器（Elastic Compute Service, 簡稱ECS）是一種處理能力可彈性伸縮的計算服務，其管理方式比物理伺服器更簡單高效。雲伺服器幫助您快速構建更穩定、安全的應用，降低開發運維的難度和整體IT成本，使您能夠更專注於核心業務創新。比如，阿里雲服務就是做的比較完善的生態系統。 負載均衡 SLB 負載均衡（Server Load Balancer，簡稱SLB）是對多台雲伺服器進行流量分發的負載均衡服務。SLB可以通過流量分發擴展應用系統對外的服務能力，通過消除單點故障提升應用系統的可用性。 關系型資料庫服務 RDS 提供安全穩定雲資料庫服務！
關系型資料庫服務（Relational Database Service，簡稱RDS）是一種穩定可靠、可彈性伸縮的在線資料庫服務。RDS採用即開即用方式，兼容MySQL、SQL Server兩種關系型資料庫，並提供資料庫在線擴容、備份回滾、性能監測及分析功能。RDS與雲伺服器搭配使用I/O性能倍增，內網互通避免網路瓶頸。 開放存儲服務 OSS 開放存儲服務（OpenStorageService，簡稱OSS），是阿里雲對外提供的海量，安全，低成本，高可靠的雲存儲服務。用戶可以通過簡單的API（REST方式的介面），在任何時間、任何地點、任何互聯網設備上進行數據上傳和下載。 開放數據處理服務 ODPS 開放數據處理服務（Open Data Processing Service，簡稱ODPS）提供雲端數據倉庫服務。適用於金融、零售、製造業和電商企業的BI團隊進行海量數據分析和挖掘。 開放結構化數據服務 OTS 開放結構化數據服務（Open Table Service，簡稱OTS）是一種支持海量結構化和半結構化數據存儲與實時查詢的服務。 內容分發網路 CDN 內容分發網路（Content Delivery Network，簡稱CDN）將加速內容分發至離用戶最近的節點，縮短用戶查看對象的延遲，提高用戶訪問網站的響應速度與網站的可用性。 開放緩存服務 OCS 開放緩存服務（Open Cache Service，簡稱OCS）為在線緩存服務，實現熱點數據的快速響應及數據的持久化保存；支持Key-Value的數據結構，兼容Memcached協議。 雲引擎 ACE 雲引擎（Aliyun Cloud Engine，簡稱ACE）是一個基於雲計算基礎架構的網路應用程序託管環境，幫助應用開發者簡化網路應用程序的構建和維護，並可根據應用訪問量和數據存儲的增長進行擴展。 ACE支持PHP,NODE.JS語言編寫的應用程序；支持在線創建MYSQL遠程資料庫應用。 安全與監控 雲盾
雲盾為客戶提供基於雲端的DDoS防禦、入侵防禦及網站的應用安全監測等全方位的安全防禦服務。 雲監控 雲監控高效全面的監控雲伺服器和站點，幫助用戶時刻掌握雲服務運行狀態。
負載均衡
負載均衡（Software Load Balancing，簡稱SLB）通過設置虛擬IP，將位於同一數據中心的多台雲伺服器資源虛擬成一個高性能、高可用的應用服務池，再根據應用特性，將來自客戶端的網路請求分發到雲伺服器池中。SLB 會檢查池中雲伺服器的健康狀態，自動隔離異常狀態雲伺服器。同時，SLB 還可以增強雲伺服器池的抗攻擊能力、安全隔離應用和雲伺服器。雲伺服器無須特殊設置即可透明接入SLB。
雲盾
為雲伺服器提供一站式安全增值服務，包括安全體檢（網頁漏洞檢測、網頁掛馬檢測）、安全管家（防DDOS 服務、埠安全檢測、網站後門檢測、異地登錄提醒、主機密碼暴力破解防禦）等功能。
雲監控
為雲伺服器提供第三方監控服務，可以及時發現故障並通過多種方式告警，包括網站、Ping、TCP埠、UDP埠、DNS、POP3、SMTP、FTP等監控。雲監控除了可以為ECS 提供安全有效的監控服務外，還能夠為其他自由伺服器提供監控服務，用戶只需要通過簡單的配置即可實現各種監控需求。 開放存儲服務（OSS）是阿里雲對外提供的海量、安全、低成本和高可靠的雲存儲服務。OSS 支持海量的文
件儲存，同時在多個地方調用呈現，極大地簡化了用戶數據管理、遷移和更新的工作。
用戶可以通過簡單的RESTful 介面，在任何時間、任何地點、任何互聯網設備上進行上傳和下載數據，也可以使用Web 頁面對數據進行管理。OSS 已經在多個雲存儲服務、電子商務網站和手機應用網站中使用，提供包括圖片、軟體和音視頻文件在內的存儲和互聯網訪問服務。
海量
用戶可以存儲和管理多達上千億個數據對象(data object，可以是任何內容的文件，如數據記錄，圖片，流媒體文件等)，每個數據對象大小可達20GB。OSS還能通過對象組合的方法構建最大5TB的單一對象。
安全
OSS使用加密對來保證用戶數據被安全訪問，對於指定為私有的數據，只有使用加密對才能訪問。用戶可以隨時設定自己的數據訪問許可權。
高可用、高可靠
OSS擁有數據自動冗餘、故障自動恢復的能力。OSS向用戶承諾服務全年可用性99.9%，數據可靠性大於十個9。
多功能
OSS支持類似傳統文件系統的目錄結構，便於用戶組織數據。存儲在OSS的每個數據對象都擁有唯一的URL，便於用戶在網頁或移動應用上展示。OSS提供了PHP，Python，Java等多種語言的SDK。
低成本
用戶按照每天實際的資源使用付費，無需為高速增長的業務提前付出費用。 開放結構化數據服務（Open Table Service，簡稱OTS）是構建在飛天內核之上的海量結構化和半結構化數據存儲與實時訪問的服務。
OTS以數據表的形式組織數據，保證強一致性，提供跨表的事務支持，並提供視圖和分頁的功能來加速查詢。用戶可以通過RESTful API來使用服務，也可使用Web 頁面對數據進行管理。同時，OTS 提供多語言SDK以簡化用戶的編程。OTS適用於數據規模大且實時性要求高的應用。
數據安全可靠
OTS 服務運行在飛天內核之上，所有數據都有3 份備份；OTS 服務會自動處理集群中的硬體和軟體錯誤，對用戶屏蔽這些錯誤；用戶的數據在存儲層完全隔離，並且用戶對數據的訪問必須通過身份驗證。
可擴展性
OTS 支持超過百TB 數量級的數據，通過對表進行橫向切分（partitioning）來實現規模的擴展；數據分片均勻地散落到多個存儲節點上，並且數據分區在增長之後會自動分裂以達到分區的動態平衡。因此，可以通過增加機器和調整調度實現服務整體規模的擴展。
靈活的數據模型
表包含任意多行的數據，每一行可以包含任意多個列，不需要在創建表的時候指定schema，支持視圖和表組等高級功能。
簡單高效的API
支持單行與多行的讀寫操作，支持事務操作。單行讀寫操作的延遲在10 毫秒級別。
全託管式服務
OTS服務會根據用戶的數據規模和QPS 需求進行合理的調度和調優，用戶無須關心資料庫的管理、調優和容錯處理。這樣，用戶可以專注在應用層邏輯，通過OTS 節省成本。此外，OTS 還向用戶提供詳細的資源使用統計、性能指標和操作日誌，方便用戶調查錯誤和分析應用的行為。 關系型資料庫服務（RDS）提供了即時接入、彈性伸縮，可用而且可靠的資料庫服務，幫助用戶把基於傳統關系型資料庫的各類應用搬到雲上。
RDS通過Web方式為用戶提供可以在幾分鍾內生成並投入生產的、經過優化的資料庫實例，支持MySQL和微軟SQL Server這兩種關系型資料庫，適合於各行業中小企業的關系型資料庫應用。
安全穩定
RDS 集群處於多層防火牆的保護之下，可以有力地抗擊各種惡意攻擊，保證數據的安全。允許您設置訪問白名單，免除安全隱患。
數據可靠
RDS 採用主從熱備的集群架構方式，當出現硬體故障時，30 秒內完成自動切換。建議您的應用程序支持資料庫連接自動重連。
自動備份
RDS 根據您自定義的備份策略自動備份您的資料庫。防止數據丟失和誤刪除，保證您的數據安全可靠。
管理透明
您無需維護資料庫，只需根據自己的需要選擇相應的RDS 實例，部署簡單快速。大大節省用戶的硬體成本和維護成本。

『貳』 什麼叫大數據 與雲計算有何關系

如今，兩種主流技術已成為IT領域關注的焦點-大數據和雲計算。根本不同的是，大數據只涉及處理海量數據，而雲計算則涉及基礎架構。但是，大數據和雲技術提供的簡化功能是其被大量企業採用的主要原因。例如，亞馬遜的「 Elastic Map Rece」演示了如何利用Cloud Elastic Computes的功能進行大數據處理。

兩者的結合為組織帶來了有益的結果。更不用說，這兩種技術都處於發展階段，但是它們的結合在大數據分析中利用了可擴展且具有成本效益的解決方案。

那麼，我們可以說大數據與雲計算完美結合嗎？好吧，有數據點支持它。除此之外，還需要處理一些實時挑戰。

大數據與雲計算的關系

大數據和雲計算這兩種技術本身都是有價值的。 此外，許多企業的目標是將兩種技術結合起來以獲取更多的商業利益。兩種技術都旨在提高公司的收入，同時降低投資成本。盡管Cloud管理本地軟體，但大數據有助於業務決策。

讓我們從這兩種技術的基本概述開始！

大數據與雲計算

大數據處理大量的結構化，半結構化或非結構化數據，以進行存儲和處理以進行數據分析。大數據有五個方面，通過5V來描述

• 數量–數據量

• 種類–不同類型的數據

• 速度–系統中的數據流率

• 價值 –基於其中包含的信息的數據價值

• 准確性 –數據保密性和可用性

雲計算以按需付費的模式向用戶提供服務。雲提供商提供三種主要服務，這些服務概述如下：

• 基礎架構即服務（IAAS）

在這里，服務提供商將提供整個基礎架構以及與維護相關的任務。

• 平台即服務（PAAS）

在此服務中，Cloud提供程序提供了諸如對象存儲，運行時，排隊，資料庫等資源。但是，與配置和實現相關的任務的責任取決於使用者。

• 軟體即服務（SAAS）

此服務是最便捷的服務，它提供所有必要的設置和基礎結構，並為平台和基礎結構提供IaaS。


大數據與雲計算的關系模型雲計算在大數據中的作用

大數據和雲計算的關系可以根據服務類型進行分類：

• IAAS在公共雲中

IaaS是一種經濟高效的解決方案，利用此雲服務，大數據服務使人們能夠訪問無限的存儲和計算能力。對於雲提供商承擔所有管理基礎硬體費用的企業而言，這是一種非常經濟高效的解決方案。

• 私有雲中的PAAS

PaaS供應商將大數據技術納入其提供的服務。因此，它們消除了處理管理單個軟體和硬體元素的復雜性的需求，而這在處理TB級數據時是一個真正的問題。

• 混合雲中的SAAS

如今，分析社交媒體數據已成為公司進行業務分析的基本參數。在這種情況下，SaaS供應商提供了進行分析的出色平台。

大數據與雲計算有何關系？

因此，從以上描述中，我們可以看到，Cloud通過可伸縮且靈活的自助服務應用程序抽象了挑戰和復雜性，從而啟用了「即服務」模式。從最終用戶提取海量數據的分布式處理時，大數據需求是相同的。

雲中的大數據分析有多個好處。

• 改進分析

隨著雲技術的進步，大數據分析變得更加完善，從而帶來了更好的結果。因此，公司傾向於在雲中執行大數據分析。此外，雲有助於整合來自眾多來源的數據。

• 簡化的基礎架構

大數據分析是基礎架構上一項艱巨的艱巨工作，因為數據量大，速度和傳統基礎架構通常無法跟上的類型。由於雲計算提供了靈活的基礎架構，我們可以根據當時的需求進行擴展，因此管理工作負載很容易。

• 降低成本

大數據和雲技術都通過減少所有權來為組織創造價值。雲的按用戶付費模型將CAPEX轉換為OPEX。另一方面，Apache降低了大數據的許可成本，該成本應該花費數百萬美元來構建和購買。雲使客戶無需大規模的大數據資源即可進行大數據處理。因此，大數據和雲技術都在降低企業成本並為企業帶來價值。

• 安全與隱私

數據安全性和隱私性是處理企業數據時的兩個主要問題。此外，當您的應用程序由於其開放的環境和有限的用戶控制安全性而託管在Cloud平台上時，這成為主要的問題。另一方面，像Hadoop這樣的大數據解決方案是一個開源應用程序，它使用了大量的第三方服務和基礎架構。因此，如今，系統集成商引入了具有彈性和可擴展性的私有雲解決方案。此外，它還利用了可擴展的分布式處理。

除此之外，雲數據是在通常稱為雲存儲伺服器的中央位置存儲和處理的。服務提供商和客戶將與之一起簽署服務水平協議（SLA），以獲得他們之間的信任。如果需要，提供商還可以利用所需的高級安全控制級別。這可確保涵蓋以下問題的雲計算中大數據的安全性：

• 保護大數據免受高級威脅。

• 雲服務提供商如何維護存儲和數據。

有一些與服務級別協議相關的規則可以保護

• 數據

• 容量

• 可擴展性

• 安全

• 隱私

• 數據存儲的可用性和數據增長

另一方面，在許多組織中，大數據分析被用來檢測和預防高級威脅和惡意黑客。

• 虛擬化

基礎架構在支持任何應用程序中都起著至關重要的作用。虛擬化技術是大數據的理想平台。像Hadoop這樣的虛擬化大數據應用程序具有多種優勢，這些優勢在物理基礎架構上是無法訪問的，但它簡化了大數據管理。大數據和雲計算指出了各種技術和趨勢的融合，這使IT基礎架構和相關應用程序更加動態，更具消耗性和模塊化。因此，大數據和雲計算項目嚴重依賴虛擬化