醫療大數據架構

Ⅰ 大數據醫療具體是指什麼

醫療大數據是個很寬泛的概念，他有很多詳細的分類，包括：電子病歷數據，這是患者就醫過程中所產生的數據，包括患者基本信息、疾病主訴、檢驗數據、影像數據、診斷數據、治療數據等，這類數據一般產生及存儲在醫療機構的電子病歷中，這也是醫療數據最主要的產生地。電子化的醫療病歷方便了病歷的存儲和傳輸，但是並未達到進行數據分析的要求。大約80%的醫療數據是自由文本構成的非結構化數據，其中不僅包括大段的文字描述，也包括包含非統一文字的表格欄位。通過醫學自然語言理解技術，將非結構化醫療數據轉化為適合計算機分析的結構化形式是醫療大數據分析的基礎。電子病歷中所採集的數據是數據量最多、最有價值的醫療數據。通過和臨床信息系統的整合，內容涵蓋了醫院內的方方面面的臨床數據集。在電子病歷的互通互聯上，出於各自的利益性（限制病人轉診），各大電子病歷企業也不願意使數據互通互聯。根據美國政府相關報告顯示，其電子病歷共享比例也僅為30%左右。
檢驗數據
醫院檢驗機構產生了大量患者的診斷、檢測數據，也有大量存在的第三方醫學檢驗中心也在產生數據。檢驗數據是醫療臨床子系統中的一個細分小類，但是可以通過檢驗數據直接患者的疾病發展和變化。目前臨床檢驗設備得到迅速發展，通過LIS 系統對檢驗數據進行收集，可以對疾病的早發現早診斷和正確診斷做出貢獻。
影像數據
隨著資料庫技術和計算機通訊技術的發展，數字化影像傳輸和電子膠片應運而生。醫療影像數據是通過影像成像設備和影像信息化系統產生的，醫院影像科和第三方獨立影像中心存儲了大量的數字化影像數據。醫學影像大數據，是由DR、CT、MR 等醫學影像設備產生所產生並存儲在PACS 系統內的大規模、高增速、多結構、高價值和真實准確的影像數據集合。與檢驗信息系統（LIS）大數據和電子病歷（EMR）等同屬於醫療大數據的核心范疇。醫學影像數據量非常龐大，影像數據增速快，標准化程度高。影像數據和臨床其他數據比較起來，它的標准化、格式化、統一性是最好的，價值開發也最早。
費用數據
醫院門診費用、住院費用、單病種費用、醫保費用、檢查和化驗收入、衛生材料收入、診療費用、管理費用率、資產負債率等和經濟相關的數據。除了醫療服務的收入費用之外，還包含醫院所提供醫療服務的成本數據，包含葯品、器械、衛生人員工資等成本數據。在DRGs 按疾病診斷相關組付費模式中，需要詳細的成本數據核算。通過大樣本量的測算，建立病種標准成本，加強病種成本核算和精細化成本管理。
基因測序數據
基因檢測技術通過基因組信息以及相關數據系統，預測罹患多種疾病的可能性。基因測序會產大量的個人遺傳基因數據，一次全面的基因測序，產生的個人數據則達到300GB。一家基因測序企業每月產生的數據量可以達到數百TB 甚至1PB。
智能穿戴數據
各種智能可穿戴設備的出現，使得血壓、心率、體重、體脂、血糖、心電圖等健康體征數據的監測都變成可能，患者的單一體征健康數據以及運動數據快速上傳到雲端，而且數據的採集頻率和分析速度大大提升。除了生命體征之外，還有其他智能設備收集的健康行為數據，比如每天的卡路里攝入量、喝水量、步行數、運動時間、睡眠時間等等。智能穿戴設備雖然在這兩年遇冷，用戶很難形成粘性，但是並不意味著智能穿戴設備所產生的數據沒有意義。提供健康數據和服務，可能是智能穿戴廠商未來的轉型之路。健康大數據的收集必須依靠硬體載體，智能穿戴設備還將會遇到自己的第二春。
體檢數據
體檢數據是體檢機構所產生的健康人群的身高、體重、檢驗和影像等數據。這部分數據來自醫院或者第三體檢機構，大部分是健康人群的體征數據。隨著亞健康人群、慢病患者的增加，越來越多的體檢者除了想從體檢報告中了解自己的健康狀況，還想從體檢結果中獲得精準的健康風險評估，以及如何進行健康、慢病管理。
移動問診數據
通過移動設備端或者PC 端連接到互聯網醫療機構，產生的輕問診數據和行為數據。曾經通過互聯網問診企業春雨醫生的數據，分析各地醫生互聯網問診的活躍度、細分疾病種的問診行為。通過這些數據的分析，對行業發展、互聯網問診企業的決策有非常重要的幫助。

Ⅱ 大數據行業對於醫葯行業有什麼作用呢

一、大數據有助於精確醫療行業市場定位
醫療行業企業需要架構大數據戰略，拓寬醫療行業調研數據的廣度和深度，從大數據中了解醫療行業市場構成、細分市場特徵、消費者需求和競爭者狀況等眾多因素，在科學系統的信息數據收集、管理、分析的基礎上，提出更好的解決問題的方案和建議。
企業想進入或開拓某一區域醫療行業市場，首先要進行項目評估和可行性分析，這個區域人口是多少？消費水平怎麼樣？客戶的消費習慣是什麼？市場對產品的認知度怎麼樣？當前的市場供需情況怎麼樣？公眾的消費喜好是什麼等等，這些問題背後包含的海量信息構成了醫療行業市場調研的大數據。
隨著大數據時代的來臨，藉助數據挖掘和信息採集技術不僅能給研究人員提供足夠的樣本量和數據信息，還能夠建立基於大數據數學模型對未來市場進行預測。當然，依靠傳統的人工數據收集和統計顯然難以滿足大數據環境下的數據需求，這就需要依靠相關大數據技術開發公司(如北京恆泰博遠科技)來進行大數據採集、分析、監控、分發系統的開發。

二、大數據成為醫療行業市場營銷的利器
互聯網上的信息總量正以極快的速度不斷暴漲，我們每天在不同平台上分享各種文本、照片、視頻、音頻、數據等信息高達的幾百億甚至幾千億條，這些信息涵蓋著商家信息、個人信息、行業資訊、產品使用體驗、商品瀏覽記錄、商品成交記錄、產品價格動態等等海量信息。這些數據通過聚類可以形成醫療行業大數據，其背後隱藏的是醫療行業的市場需求。
以醫療行業在對顧客的消費行為和趣向分析方面為例，消費者購買產品的花費、選擇的產品渠道、偏好產品的類型、產品使用周期、購買產品的目的、消費者家庭背景、工作和生活環境、個人消費觀和價值觀等。如果企業收集到了這些數據，建立消費者大資料庫，便可通過統計和分析來掌握消費者的消費行為、興趣偏好和產品的市場口碑現狀，再根據這些總結出來的行為、興趣愛好和產品口碑現狀制定有針對性的營銷方案和營銷戰略。

三、大數據支撐醫療行業收益管理
大數據時代的來臨，為企業收益管理工作的開展提供了更加廣闊的空間。需求預測、細分市場和敏感度分析對數據需求量很大，而傳統的數據分析大多是採集的是企業自身的歷史數據來進行預測和分析，容易忽視整個醫療行業信息數據，因此難免使預測結果存在偏差。

四、大數據創新醫療行業需求開發
在微博、微信、論壇、評論版等平台隨處可見網友使用某款產品優點點評、缺點的吐槽、功能需求點評、質量好壞與否點評、外形美觀度點評、款式樣式點評等信息，這些都構成了產品需求大數據。作為醫療行業企業，如果能對網上醫療行業的評論數據進行收集，建立網評大資料庫，然後再利用分詞、聚類、情感分析了解消費者的消費行為、價值趣向、評論中體現的新消費需求和企業產品質量問題，以此來改進和創新產品，制訂合理的價格及提高服務質量，從中獲取更大的收益。

Ⅲ 「醫療數據說」近百家企業僅跑出4家獨角獸醫療大數據「金礦」待啟

醫療大數據概念是從何時出現的？

早期，醫療大數據並非一個單獨行業，更多的作為產業中的一個「元素」。上世紀90年代末，包括東軟、衛寧 健康 、萬達信息等老牌信息化廠商在公立醫院建立根據地，為我國醫療大數據發展打下了基礎。

經過十多年的 探索 ，國內的醫療大數據產業鏈已經初步形成。政策對於醫療大數據的監管和整合逐步推進，產業中也出現了以醫療大數據存儲、挖掘、分析以及應用的創業企業。但總體來看，我國醫療大數據的發展速度並不快。

這一方面歸咎於我國大數據的總量大，但質量較低、分散分布、不完整等特點；另一方面，由於醫療行業的高度政策導向性，國家對於醫療大數據的管控步伐走的仍然比較保守。

億歐大 健康 對國內醫療大數據領域的企業進行了盤點，發現這些企業呈現出三大特徵，並且在醫療大數據藍海里，仍有座「金礦」亟待被挖掘。

根據醫療大數據產業鏈，億歐大 健康 將其梳理為三個維度：基礎層、技術層和應用層。基礎層負責數據的採集、轉換，技術層專注數據存儲、加工、清洗和分析，應用層則聚焦在數據的價值挖掘的場景應用上。

在億歐大 健康 的盤點中，有部分企業如騰訊、華大基因等企業在三個維度均有覆蓋，也有例如博識醫療雲等企業專注於醫療大數據的部分環節。

從上述三大層面來看，企業規模分異較為明顯。 基礎層多集中在上市公司，且多為醫療器械和醫療信息化企業。 由於近幾年新成立的創業公司大多並沒有太長時間用來沉澱數據，這一行為甚至與其商業化的方向相悖，因此，醫療 健康 大數據的「供給端」集中出現在與實體醫院相連的HIT廠商和醫療器械尤其是智能可穿戴設備中。

細觀技術層中的企業，大多是以提供醫療 健康 技術解決方案的形式進行服務。 這一類公司通常首先立足於某一病種，並以AI技術和數據加工分析能力為技術壁壘，服務覆蓋醫療機構、葯企、保險等幾大角色。不同的是，各公司所覆蓋的細分和范圍有所差異。有意思的是，技術層的公司融資輪次都不高，在33家中，B輪及以下的企業有23家，上市公司僅有3家。

這一現象在應用層雖然有所緩解，但企業的體量分異仍然很明顯。在應用層統計的34家企業中，B輪及以下公司占據50%，不過，表格中出現不少上市公司的身影。這一方面體現出上市公司醫療逐漸開始注意到了醫療大數據這塊「肥肉」，另一方面，也不可避免的加劇了醫療大數據應用層的競爭程度。

很顯然，相比AI應用於醫療輔助診斷或是互聯網醫療，醫療大數據遠還沒有到達爆發的節點，對比其他行業，應用程度也沒有零售、金融等行業成熟。但根據IDC Digital的預測，截至2020年醫療數據量將達40萬億GB，是2010年的30倍。

這是一片潛在的金礦，那麼在醫療 健康 產業中，大數據有哪些應用場景？億歐大 健康 總結出了6個方向。

1、大數據+醫葯研發。 在初步應用中，醫療大數據在縮短研發周期、降低研發成本、處理患者數據、模擬疾病模式等方面均有出色的表現，這給入局者們增強了不少信心。

2、大數據+臨床決策。 在醫療機構信息化建設的架構上，醫療大數據可以對臨床決策起到很好的輔助作用。目前來看，醫療大數據在輔助臨床精準醫療、疾病風險預測方面應用較多，例如在患者出現某症狀之前就計算出患病概率和時間節點，以便在臨床上進行早期干預。

3、大數據+互聯網醫療。 曾有行業人士表示，互聯網+醫療的核心內容是大數據。在這一場景中，企業比較多的做法是將大數據和互聯網醫院、養老、 健康 管理和居民電子 健康 檔案相結合，並輔助政府進行區域性 健康 信息管理。

4、大數據+醫療保險。 除了助力醫療保險精準服務、精確管理和科學決策，在醫療保險中，大數據還在例如單病種、DRGs等支付標准設計、完善葯品數據和統一標准、完善醫保智能監控系統等方面有巨大的發揮空間。

5、大數據+ 健康 管理。 「 健康 管理」這把火並不是伴隨著大數據的興起而燒起來的，但准確來說，是大數據讓「精準 健康 管理」開始在行業中成為一代網紅，其中玩家包括妙 健康 、 健康 有益等在內的公司。當下，大數據 健康 管理更多地建立在EHR（電子 健康 檔案）和EMR（電子病歷）兩種整理方式上。

6、大數據+智能診斷。 醫學影像和輔助診斷的細分應用是醫療大數據最成熟的落地場景之一，但對於當下AI+醫療企業較為苦惱的事情是，一方面數據量級並不足夠大，另一方面數據孤島情況嚴重，這是制約其發展的很大一個因素。但無論如何，大數據+智能診斷仍廣泛被行業所看好。在商業化落地上，這些企業的步伐也相對較快。

總體來看，醫療大數據的應用場景眾多，但應用程度大多處於中度乃至弱；在上述表格中近百家醫療大數據企業，僅有丁香園、微醫、零氪、思路迪邁入獨角獸行列；除此之外，國內專注於醫療大數據的新資本也屈指可數。

這一系列現狀實則展現了醫療大數據是一片藍海，而藍海之下蘊含的是巨大的商業價值。 在三醫聯動、分級診療等新政策的加持下，以及國家對於醫療 健康 大數據的逐步規整中，作為全行業底層支撐的醫療大數據，勢必將迎來爆發的一天。

近年來，隨著我國醫療需求攀升，醫療機構、葯企、保險公司正不斷尋求產業升級新機會，醫療 健康 大數據發展勢如破竹。億歐大 健康 頻道策劃了【醫療數據說】系列專訪和選題報道，聚焦大數據給醫療產業鏈各環節帶來的顛覆和變革。

如果您有合適的企業推薦，請聯系億歐大 健康 頻道負責人郭銘梓（微信：Lelion8742390）。

Ⅳ 大數據醫療是什麼

數據架構。大數據醫療是數據架構。大數據，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過主流軟體工具。大數據醫療是一個行業的整體數據架構。

Ⅳ 智慧醫療整體解決方案

華宇智能數據（www.thunisoft.com）

醫院抄運營管理輔助決策支持系統

隨著醫改的深入，國家對加強醫院管理、提高醫療質量提出了更高的要求，在實現為群眾提供安全、有效、優質、方便、價廉的醫療衛生服務的總體目標要求下，醫院必須變被動服務為主動服務，通過各種信息的積累和挖掘分析，形成主動的智慧醫療服務以及精準的醫院管理能力。

Ⅵ 醫療大數據的分析和挖掘發展現狀如何未來會有什麼樣的應用前景

如今是大數據時代，前景自然好了，據前瞻產業研究院《2016-2021年中國行業大數據市場發展前景預測與投資戰略規劃分析報告》顯示，總的來說，醫療大數據應用主要體現在臨床操作、研發、新的商業模式、付款/定價、公眾健康五大領域，在這些場景中，大數據的分析和應用都將發揮巨大的作用。
醫療大數據的應用對於臨床醫學研究、科學管理和醫療服務模式轉型發展都具有重要意義，而大數據技術的運用前景是十分光明的。
醫院和醫療行業面臨的大數據主要有醫學影像、視頻(教學、監控)及文獻等非結構化數據。由於這些數據增長很快且結構復雜，給數據管理和利用帶來較大的壓力，存儲與管理成本不斷提高，數據利用困難、利用率低。除了數據數量和形態的迅速增加，醫療數據還需要越來越長的保留期。一旦存儲系統的安全性出現問題，導致醫療數據丟失，醫院會面臨嚴重不良局面。醫療大數據的應用要保證數據的全面性、准確性、實時性和使用的便捷性，要能快速運算和快速展現，要與日常工作平台緊密結合。
國人已經把健康大數據上升為國家戰略，而面對「大數據」的挑戰，醫院必須考慮三大主要問題。
(1) 數據存儲是否安全可靠?因為系統一旦出現故障，首先考驗的就是數據的存儲、災備和恢復能力。如果數據不能迅速恢復，而且恢復不能到斷點，則將對醫院的業務、患者滿意度構成直接損害。
(2) 如何提高醫院運行和服務的效率?提高效率就是節省醫生的時間，從而緩解醫療資源的緊張狀況，在一定程度上可以幫助解決「看病難」的問題。
(3) 如何控制大數據的成本?存儲架構是否合理，不僅影響醫院IT系統的成本，而且關乎醫院的運營成本，醫療數據激增，使醫院普遍存在著較大的存儲擴容壓力。如今，醫院的存儲設備大多是由不同廠商構成的完全異構的存儲系統。這些不同的存儲設備利用各自不同的軟體工具來進行控制和管理，這樣就增加了整個系統的復雜性，使管理成本非常高。
未來，大數據必將影響醫療行業，未來醫療行業的大數據將會具體應用在：臨床輔助決策，醫療質量監管，疾病預測模型，臨床實驗分析。其發展空間有：個人健康門戶，慢病管理和健康管理，電子病歷和臨床質量監控，醫學知識管理，臨床路徑和循證醫學，遠程醫療和移動醫療，醫學研究數據倉庫和共享平台，跨醫療機構協作平台。

Ⅶ 傳統大數據存儲的架構有哪些各有什麼特點

數據時代，移動互聯、社交網路、數據分析、雲服務等應用的迅速普及，對數據中心提出革命性的需求，存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯，數據已經成為不可或缺的資產。作為數據載體和驅動力量，存儲系統成為大數據基礎架構中最為關鍵的核心。

傳統的數據中心無論是在性能、效率，還是在投資收益、安全，已經遠遠不能滿足新興應用的需求，數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗餘、綠色節能之外，新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特徵，才能滿足具備大數據特徵的應用需求。這些史無前例的需求，讓存儲系統的架構和功能都發生了前所未有的變化。

基於大數據應用需求，「應用定義存儲」概念被提出。存儲系統作為數據中心最核心的數據基礎，不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特徵之外，還要有虛擬化、並行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點，才能滿足具備大數據特徵的業務應用需求。

尤其在雲安防概念被熱炒的時代，隨著高清技術的普及，720P、1080P隨處可見，智能和高清的雙向需求、動輒500W、800W甚至上千萬更高解析度的攝像機面市，大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

目前市場上的存儲架構如下：

(1)基於嵌入式架構的存儲系統

節點NVR架構主要面向小型高清監控系統，高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房，存儲容量相對較小，用戶體驗度、系統功能集成度要求較高。在市場應用層面，超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

(2)基於X86架構的存儲系統

平台SAN架構主要面向中大型高清監控系統，前端路數成百上千甚至上萬。一般多採用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平台的重要組成部分，前端監控數據通過錄像存儲管理模塊存儲到SAN中。

此種架構接入高清前端路數相對節點NVR有了較高提升，具備快捷便利的可擴展性，技術成熟。對於IPSAN而言，雖然在ISCSI環節數據並發讀寫傳輸速率有所消耗，但其憑借擴展性良好、硬體平台通用、海量數據可充分共享等優點，仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多，比如縣級或地級市高清監控項目，大數據量的並發讀寫對千兆網路交換提出了較大的挑戰，但應用FCSAN構建相對獨立的存儲子系統，可以有效解決上述問題。

面對視頻監控系統大文件、隨機讀寫的特點，平台SAN架構系統不同存儲單元之間的數據共享冗餘方面還有待提高;從高性能伺服器轉發視頻數據到存儲空間的策略，從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬體數據並發性能、接入前端數據較少。上述問題催生了平台NVR架構解決方案。

該方案在系統架構上省去了存儲伺服器，消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由於供電和網路的不穩定帶來的文件系統損壞等問題。

平台NVR中存儲的數據可同時供多個客戶端隨時查詢，點播，當用戶需要查看多個已保存的視頻監控數據時，可通過授權的視頻監控客戶端直接查詢並點播相應位置的視頻監控數據進行歷史圖像的查看。由於數據管理伺服器具有監控系統所有監控點的錄像文件的索引，因此通過平台CMS授權，視頻監控客戶端可以查詢並點播整個監控系統上所有監控點的數據，這個過程對用戶而言也是透明的。

(3)基於雲技術的存儲方案

當前，安防行業可謂「雲」山「物」罩。隨著視頻監控的高清化和網路化，存儲和管理的視頻數據量已有海量之勢，雲存儲技術是突破IP高清監控存儲瓶頸的重要手段。雲存儲作為一種服務，在未來安防監控行業有著可觀的應用前景。

與傳統存儲設備不同，雲存儲不僅是一個硬體，而是一個由網路設備、存儲設備、伺服器、軟體、接入網路、用戶訪問介面以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心，通過應用層軟體對外提供數據存儲和業務服務。

一般分為存儲層、基礎管理層、應用介面層以及訪問層。存儲層是雲存儲系統的基礎，由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成。基礎管理層是雲存儲系統的核心，其擔負著存儲設備間協同工作，數據加密，分發以及容災備份等工作。應用介面層是系統中根據用戶需求來開發的部分，根據不同的業務類型，可以開發出不同的應用服務介面。訪問層指授權用戶通過應用介面來登錄、享受雲服務。其主要優勢在於：硬體冗餘、節能環保、系統升級不會影響存儲服務、海量並行擴容、強大的負載均衡功能、統一管理、統一向外提供服務，管理效率高，雲存儲系統從系統架構、文件結構、高速緩存等方面入手，針對監控應用進行了優化設計。數據傳輸可採用流方式，底層採用突破傳統文件系統限制的流媒體數據結構，大幅提高了系統性能。

高清監控存儲是一種大碼流多並發寫為主的存儲應用，對性能、並發性和穩定性等方面有很高的要求。該存儲解決方案採用獨特的大緩存順序化演算法，把多路隨機並發訪問變為順序訪問，解決了硬碟磁頭因頻繁尋道而導致的性能迅速下降和硬碟壽命縮短的問題。

針對系統中會產生PB級海量監控數據，存儲設備的數量達數十台上百台，因此管理方式的科學高效顯得十分重要。雲存儲可提供基於集群管理技術的多設備集中管理工具，具有設備集中監控、集群管理、系統軟硬體運行狀態的監控、主動報警，圖像化系統檢測等功能。在海量視頻存儲檢索應用中，檢索性能尤為重要。傳統文件系統中，文件檢索採用的是「目錄-》子目錄-》文件-》定位」的檢索步驟，在海量數據的高清視頻監控，目錄和文件數量十分可觀，這種檢索模式的效率就會大打折扣。採用序號文件定位可以有效解決該問題。

雲存儲可以提供非常高的的系統冗餘和安全性。當在線存儲系統出現故障後，熱備機可以立即接替服務，當故障恢復時，服務和數據回遷;若故障機數據需要調用，可以將故障機的磁碟插入到冷備機中，實現所有數據的立即可用。

對於高清監控系統，隨著監控前端的增加和存儲時間的延長，擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展櫃擴展模式和性能容量同步線性擴展的堆疊擴展模式。

雲存儲系統除上述優點之外，在平台對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建雲存儲的商業模式也亟待創新。受限於寬頻網路、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展，未來雲存儲還有很長的路要走。

Ⅷ 大數據系統架構

轉： https://www.sohu.com/a/227887005_487103

數據分析工作雖然隱藏在業務系統背後，但是具有非常重要的作用，數據分析的結果對決策、業務發展有著舉足輕重的作用。隨著大數據技術的發展，數據挖掘、數據探索等專有名詞曝光度越來越高，但是在類似於Hadoop系列的大數據分析系統大行其道之前，數據分析工作已經經歷了長足的發展，尤其是以BI系統為主的數據分析，已經有了非常成熟和穩定的技術方案和生態系統，對於BI系統來說，大概的架構圖如下：

總的來說，目前圍繞Hadoop體系的大數據架構大概有以下幾種：
傳統大數據架構

Lambda架構算是大數據系統裡面舉足輕重的架構，大多數架構基本都是Lambda架構或者基於其變種的架構。Lambda的數據通道分為兩條分支：實時流和離線。實時流依照流式架構，保障了其實時性，而離線則以批處理方式為主，保障了最終一致性。什麼意思呢？流式通道處理為保障實效性更多的以增量計算為主輔助參考，而批處理層則對數據進行全量運算，保障其最終的一致性，因此Lambda最外層有一個實時層和離線層合並的動作，此動作是Lambda里非常重要的一個動作
優點： 既有實時又有離線，對於數據分析場景涵蓋的非常到位。
缺點： 離線層和實時流雖然面臨的場景不相同，但是其內部處理的邏輯卻是相同，因此有大量榮譽和重復的模塊存在。
適用場景： 同時存在實時和離線需求的情況。

Kappa架構

Unifield架構

總結
以上幾種架構為目前數據處理領域使用比較多的幾種架構，當然還有非常多其他架構，不過其思想都會或多或少的類似。數據領域和機器學習領域會持續發展，以上幾種思想或許終究也會變得過時。