導航:首頁 > 網路數據 > timesten處理大數據

timesten處理大數據

發布時間:2023-01-03 06:08:24

Ⅰ 內存資料庫主流的有哪些,並給出各自特點!

目前關系型內存資料庫主要有MySQL(使用內存存儲引擎)、SQL Server(In-Memory OLTP)、數蠶內存數據版庫權、Oracle 內存資料庫。
MySQL:免費產品,內存存儲引擎使用較少。
SQL Server:微軟的商業化產品,是為了適應大數據等業務產品新添加的存儲引擎,微軟SQL語句兼容性好,商業化成熟度高。
數蠶內存資料庫:數蠶科技針對中小型企業的內存資料庫,目前成熟度較弱,c++介面特性良好,SQL特性較弱,只支持基本的SQL語句操作,不支持事務。
Oracle 內存資料庫:基於內存計算的關系資料庫, 提供了響應時間極 短且吞吐量極高的應用程序

非關系型內存資料庫主要有FastDB、Memcached和Redis等主流內存資料庫。結構簡單,支持數據結構多以基礎數據結構為主,一般應用於緩存等非關鍵數據存儲,其優點是數據查詢速度快,對下層編程介面良好。

Ⅱ 大數據時代數據管理方式研究

大數據時代數據管理方式研究
1數據管理技術的回顧
數據管理技術主要經歷了人工管理階段、文件系統階段和資料庫系統階段。隨著數據應用領域的不斷擴展,數據管理所處的環境也越來越復雜,目前廣泛流行的資料庫技術開始暴露出許多弱點,面臨著許多新的挑戰。
1.1 人工管理階段
20 世紀 50 年代中期,計算機主要用於科學計算。當時沒有磁碟等直接存取設備,只有紙帶、卡片、磁帶等外存,也沒有操作系統和管理數據的專門軟體。該階段管理的數據不保存、由應用程序管理數據、數據不共享和數據不具有獨立性等特點。
1.2 文件系統階段
20 世紀 50 年代後期到 60 年代中期,隨著計算機硬體和軟體的發展,磁碟、磁鼓等直接存取設備開始普及,這一時期的數據處理系統是把計算機中的數據組織成相互獨立的被命名的數據文件,並可按文件的名字來進行訪問,對文件中的記錄進行存取的數據管理技術。數據可以長期保存在計算機外存上,可以對數據進行反復處理,並支持文件的查詢、修改、插入和刪除等操作。其數據面向特定的應用程序,因此,數據共享性、獨立性差,且冗餘度大,管理和維護的代價也很大。
1.3資料庫階段
20 世紀 60 年代後期以來,計算機性能得到進一步提高,更重要的是出現了大容量磁碟,存儲容量大大增加且價格下降。在此基礎上,才有可能克服文件系統管理數據時的不足,而滿足和解決實際應用中多個用戶、多個應用程序共享數據的要求,從而使數據能為盡可能多的應用程序服務,這就出現了資料庫這樣的數據管理技術。資料庫的特點是數據不再只針對某一個特定的應用,而是面向全組織,具有整體的結構性,共享性高,冗餘度減小,具有一定的程序與數據之間的獨立性,並且對數據進行統一的控制。
2大數據時代的數據管理技術
大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具,在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。大數據有 3 個 V,一是大量化(Volume),數據量是持續快速增加的,從 TB級別,躍升到 PB 級別;二是多樣化(Variety),數據類型多樣化,結構化數據已被視為小菜一碟,圖片、音頻、視頻等非結構化數據正以傳統結構化數據增長的兩倍速快速創建;三是快速化 (Velocity),數據生成速度快,也就需要快速的處理能力,因此,產生了「1 秒定律」,就是說一般要在秒級時間范圍內給出分析結果,時間太長就失去價值了,這個速度要求是大數據處理技術和傳統的數據挖掘技術最大的區別。
2.1 關系型資料庫(RDBMS)
20 世紀 70 年代初,IBM 工程師 Codd 發表了著名的論文「A Relational Model of Data for Large Shared DataBanks」,標志著關系資料庫時代來臨。關系資料庫的理論基礎是關系模型,是藉助於集合代數等數學概念和方法來處理資料庫中的數據,現實世界中的實體以及實體之間的聯系非常容易用關系模型來表示。容易理解的模型、容易掌握的查詢語言、高效的優化器、成熟的技術和產品,使得關系資料庫占據了資料庫市場的絕對的統治地位。隨著互聯網 web2.0 網站的興起,半結構化和非結構化數據的大量涌現,傳統的關系資料庫在應付 web2.0 網站特別是超大規模和高並發的 SNS(全稱 Social Networking Services,即社會性網路服務) 類型的 web2.0 純動態網站已經顯得力不從心,暴露了很多難以克服的問題。
2.2 noSQL資料庫
順應時代發展的需要產生了 noSQL資料庫技術,其主要特點是採用與關系模型不同的數據模型,當前熱門的 noSQL資料庫系統可以說是蓬勃發展、異軍突起,很多公司都熱情追捧之,如:由 Google 公司提出的 Big Table 和 MapRece 以及 IBM 公司提出的 Lotus Notes 等。不管是那個公司的 noSQL資料庫都圍繞著大數據的 3 個 V,目的就是解決大數據的 3個 V 問題。因此,在設計 noSQL 時往往考慮以下幾個原則,首先,採用橫向擴展的方式,通過並行處理技術對數據進行劃分並進行並行處理,以獲得高速的讀寫速度;其次,解決數據類型從以結構化數據為主轉向結構化、半結構化、非結構化三者的融合的問題;再次,放鬆對數據的 ACID 一致性約束,允許數據暫時出現不一致的情況,接受最終一致性;最後,對各個分區數據進行備份(一般是 3 份),應對節點失敗的狀況等。
對數據的應用可以分為分析型應用和操作型應用,分析型應用主要是指對大量數據進行分類、聚集、匯總,最後獲得數據量相對小的分析結果;操作型應用主要是指對數據進行增加、刪除、修改和查詢以及簡單的匯總操作,涉及的數據量一般比較少,事務執行時間一般比較短。目前資料庫可分為關系資料庫和 noSQL資料庫,根據數據應用的要求,再結合目前資料庫的種類,所以目前資料庫管理方式主要有以下 4 類。
(1)面向操作型的關系資料庫技術。
首先,傳統資料庫廠商提供的基於行存儲的關系資料庫系統,如 DB2、Oracle、SQL Server 等,以其高度的一致性、精確性、系統可恢復性,在事務處理方面仍然是核心引擎。其次,面向實時計算的內存資料庫系統,如 Hana、Timesten、Altibase 等通過把對數據並發控制、查詢和恢復等操作控制在內存內部進行,所以獲得了非常高的性能,在很多特定領域如電信、證券、網管等得到普遍應用。另外,以 VoltDB、Clustrix 和NuoDB 為代表的 new SQL 宣稱能夠在保持 ACDI 特性的同時提高了事務處理性能 50 倍 ~60 倍。
(2)面向分析型的關系資料庫技術。
首先,TeraData 是數據倉庫領域的領頭羊,Teradata 在整體上是按 Shared Nothing 架構體系進行組織的,定位就是大型數據倉庫系統,支持較高的擴展性。其次,面向分析型應用,列存儲資料庫的研究形成了另一個重要的潮流。列存儲資料庫以其高效的壓縮、更高的 I/O 效率等特點,在分析型應用領域獲得了比行存儲資料庫高得多的性能。如:MonetDB 和 Vertica是一個典型的基於列存儲技術的資料庫系統。
(3)面向操作型的 noSQL 技術。
有些操作型應用不受 ACID 高度一致性約束,但對大數據處理需要處理的數據量非常大,對速度性能要求也非常高,這樣就必須依靠大規模集群的並行處理能力來實現數據處理,弱一致性或最終一致性就可以了。這時,操作型 noSQL資料庫的優點就可以發揮的淋漓盡致了。如,Hbase 一天就可以有超過 200 億個到達硬碟的讀寫操作,實現對大數據的處理。另外,noSQL資料庫是一個數據模型靈活、支持多樣數據類型,如對圖數據建模、存儲和分析,其性能、擴展性是關系資料庫無法比擬的。
(4)面向分析型的 noSQL 技術。
面向分析型應用的 noSQL 技術主要依賴於Hadoop 分布式計算平台,Hadoop 是一個分布式計算平台,以 HDFS 和 Map Rece 為用戶提供系統底層細節透明的分布式基礎架構。《Hadoop 經典實踐染技巧》傳統的資料庫廠商 Microsoft,Oracle,SAS,IBM 等紛紛轉向 Hadoop 的研究,如微軟公司關閉 Dryad 系統,全力投入 Map Rece 的研發,Oracle 在 2011 年下半年發布 Big Plan 戰略計劃,全面進軍大數據處理領域,IBM 則早已捷足先登「,沃森(Watson)」計算機就是基於 Hadoop 技術開發的產物,同時 IBM 發布了 BigInsights 計劃,基於 Hadoop,Netezza 和 SPSS(統計分析、數據挖掘軟體)等技術和產品構建大數據分析處理的技術框架。同時也涌現出一批新公司來研究Hadoop 技術,如 Cloudera、MapRKarmashpere 等。
3數據管理方式的展望
通過以上分析,可以看出關系資料庫的 ACID 強調數據一致性通常指關聯數據之間的邏輯關系是否正確和完整,而對於很多互聯網應用來說,對這一致性和隔離性的要求可以降低,而可用性的要求則更為明顯,此時就可以採用 noSQL 的兩種弱一致性的理論 BASE 和 CAP.關系資料庫和 noSQL資料庫並不是想到對立的矛盾體,而是可以相互補充的,根據不同需求使用不同的技術,甚至二者可以共同存在,互不影響。最近幾年,以 Spanner 為代表新型資料庫的出現,給資料庫領域注入新鮮血液,這就是融合了一致性和可用性的 newSQL,這種新型思維方式或許會是未來大數據處理方式的發展方向。
4 結束語
隨著雲計算、物聯網等的發展,數據呈現爆炸式的增長,人們正被數據洪流所包圍,大數據的時代已經到來。正確利用大數據給人們的生活帶來了極大的便利,但與此同時也給傳統的數據管理方式帶來了極大的挑戰。

閱讀全文

與timesten處理大數據相關的資料

熱點內容
審計要學哪些編程幫助工作 瀏覽:988
qq賬號注銷要去哪個網站 瀏覽:337
安裝在手機里的app怎麼分解 瀏覽:865
新主板做xp系統教程 瀏覽:751
linux訪問php文件 瀏覽:58
光碟機數據線連接在主板哪裡 瀏覽:577
85版本怎麼樣賺錢快 瀏覽:14
計算機網路信息保密技術 瀏覽:855
jsonformat註解用法 瀏覽:697
設置ipad需要選擇備份文件路徑 瀏覽:309
電腦文件怎麼保存到桌面不卡 瀏覽:810
java獲得本機外網的ip地址 瀏覽:391
微信小程序ios能過么 瀏覽:208
蘋果app後台耗電太大怎麼關閉 瀏覽:178
怎麼查看zabbix版本號 瀏覽:327
手機app整合文件名 瀏覽:492
壓縮包保存文件找不到臨時文件 瀏覽:958
iphone4來電mv素材 瀏覽:684
資料庫怎麼查速度 瀏覽:89
項目數據分析師證在哪裡查詢 瀏覽:725

友情鏈接