oracle大數據解決方案pdf

㈠ ORACLE大數據表Update處理

ORACLE中如果表數據量很大（M級或更大） update某個欄位是很慢的（如我的HIS項目中更新歷史業務流程表 萬條記錄 用CURSOR來更新 條MIT一次 花了 天也沒更新完） 後來嘗試過的改進辦法有

把表上的LOGGING取消

把表上的INDEX取消

但是依然很慢 無奈下找到這個

沒陪在這個主題問答里 ORA官方提了一種處理的辦法

利用CREATE table as select xxxxx的辦法來生成一新表T

在T 上創建與目標表一樣的索引

把目標表刪除或RENAME(注意備份以備反悔)

把T 改名成目標表

試了一下 果然非常歲察如地快 我的任務差不多在 Min就完成了

如csywdk table_room是一張大表 要刪除其中bakfwid在noNewYWFW 中的記錄 且要更新bakfwid在imp_table_room中記錄的ROOM_LOC為imp_table_room room_loc:

( )創建新表

create table tmp_new_table_room as

select t ROOM_ID t NEWROOMID t BUILDID t TFH t DKH t BUILD_NO t LAYER_NO t ROOM_NO t ROOM_NAME

decode(t bakfwid null t ROOM_LOC t room_loc)

t ROOM_AREA

t SURTYPE t LAYER_NAME t DEVDEP t CELL t DELFLAG t QXXZ t SJSJLSH t FD t ID t BAKFWID

from csywdk table_room t left join imp_table_room t on t bakfwid=t bakfwid

where not exists(select from noNewYWFW t where t bakfwid=t bakfwid)

( )創建備份表

create table Table_room as

select * from csywdk table_room

( )替換原表

drop table sde table_room

create table sde table_room as

select * from tmp_new_table_room

在這個問答里還提到一句ORA PL/SQL效率相關的話

能用一句語句處理的任務決不乎啟要用多句編程來實現

㈡ 大數據的預測功能是增值服務的核心

大數據的預測功能是增值服務的核心
從走在大數據發展前沿的互聯網新興行業，到與人類生活息息相關的醫療保健、電力、通信等傳統行業，大數據浪潮無時無刻不在改變著人們的生產和生活方式。大數據時代的到來，給國內外各行各業帶來諸多的變革動力和巨大價值。
最新發布的報告稱，全球大數據市場規模將在未來五年內迎來高達26%的年復合增長率——從今年的148.7億美元增長到2018年的463.4億美元。全球各大公司、企業和研究機構對大數據商業模式進行了廣泛地探索和嘗試，雖然仍舊有許多模式尚不明朗，但是也逐漸形成了一些成熟的商業模式。
兩種存儲模式為主
互聯網上的每一個網頁、每一張圖片、每一封郵件，通信行業每一條短消息、每一通電話，電力行業每一戶用電數據等等，這些足跡都以「數據」的形式被記錄下來，並以幾何量級的速度增長。這就是大數據時代帶給我們最直觀的沖擊。
正因為數據量之大，數據多為非結構化，現有的諸多存儲介質和系統極大地限制著大數據的挖掘和發展。為更好地解決大數據存儲問題，國內外各大企業和研究機構做了許許多多的嘗試和努力，並不斷摸索其商業化前景，目前形成了如下兩種比較成熟的商業模式：
可擴展的存儲解決方案。該存儲解決方案可幫助政府、企業對存儲的內容進行分類和確定優先順序，高效安全地存儲到適當存儲介質中。而以存儲區域網路（SAN）、統一存儲、文件整合/網路連接存儲（NAS）的傳統存儲解決方案，無法提供和擴展處理大數據所需要的靈活性。而以Intel、Oracle、華為、中興等為代表的新一代存儲解決方案提供商提供的適用於大、中小企業級的全系存儲解決方案，通過標准化IT基礎架構、自動化流程和高擴展性，來滿足大數據多種應用需求。
雲存儲。雲存儲是一個以數據存儲和管理為核心的雲計算系統，其結構模型一般由存儲層、基礎管理、應用介面和訪問層四層組成。通過易於使用的API，方便用戶將各種數據放到雲存儲裡面，然後像使用水電一樣按用量進行收費。用戶不用關心數據的存儲介質、網路狀況以及安全性的管理，只需按需向提供方購買空間。
源數據價值水漲船高
在紅紅火火的大數據時代，隨著數據的累積，數據本身的價值也在不斷升值，這種情況很好地反應了事物由量變到質變的規律。例如有一種罕見的疾病，得病率為十萬分之一，如果從小樣本數據來看非常罕見，但是擴大到全世界70億人，那麼數量就非常龐大。以前技術落後，不能將該病情數字化集中研究，所以很難攻克。但是，我們現在把各種各樣的數據案例搜集起來統一分析，我們很快就能攻克很多以前想像不到的科學難題。類似的例子，不勝枚舉。
正是由於可以通過大數據挖掘到很多看不見的價值，源數據本身的價值也水漲船高。一些掌握海量有效數據的公司和企業找到了一條行之有效的商業路徑：對源數據直接或者經過簡單封裝銷售。在互聯網領域，以Facebook、twitter、微博為代表的社交網站擁有大量的用戶和用戶關系數據，這些網站正嘗試以各種方式對該源數據進行商業化銷售，Google、Yahoo!、網路[微博]等搜索公司擁有大量的搜索軌跡數據以及網頁數據，他們可以通過簡單API提供給第三方並從中盈利；在傳統行業中，中國聯通[微博]（3.44, 0.03, 0.88%）、中國電信[微博]等運營商擁有大量的底層用戶資料，可以通過簡單地去隱私化，然後進行銷售盈利。
各大公司或者企業通過提供海量數據服務來支撐公司發展，同時以免費的服務補償用戶，這種成熟的商業模式經受住了時間的考驗。但是對於任何用戶數據的買賣，還需處理好用戶隱私信息，通過去隱私化方式，來保護好用戶隱私。
預測是增值服務的核心
在大數據基礎上進行深度挖掘，所衍生出來的增值服務，是大數據領域最具想像空間的商業模式。大數據增值服務的核心是什麼？預測！大數據引發了商業分析模式轉變，從過去的樣本模式到現在的全數據模式，從過去的小概率到現在的大概率，從而能夠得到比以前更准確的預測。目前形成了如下幾種比較成熟的商業模式。
個性化的精準營銷。一提起「垃圾簡訊」，大家都很厭煩，這是因為本來在營銷方看來是有價值的、「對」的信息，發到了「錯」的用戶手裡。通過對用戶的大量的行為數據進行詳細分析，深度挖掘之後，能夠實現給「對」的用戶發送「對」的信息。比如大型商場可以對會員的購買記錄進行深度分析，發掘用戶和品牌之間的關聯。然後，當某個品牌的忠實用戶收到該品牌打折促銷的簡訊之後，一定不是厭煩，而是欣喜。如優捷信達、中科嘉速等擁有強大數據處理技術的公司在數據挖掘、精準廣告分析等方面擁有豐富的經驗。
企業經營的決策指導。針對大量的用戶數據，運用成熟的數據挖掘技術，分析得到企業運營的各種趨勢，從而給企業的決策提供強有力的指導。例如，汽車銷售公司，可以通過對網路上用戶的大量評論進行分析，得到用戶最關心和最不滿意的功能，然後對自己的下一代產品進行有針對性的改進，以提升消費者的滿意度。
總體來說，從宏觀層面來看，大數據是我們未來社會的新能源；從企業微觀層面來看，大數據分析和運用能力正成為企業的核心競爭力。深入研究和積極探索大數據的商業模式，對企業的未來發展有至關重要的意義。

㈢ 大數據價值挖掘的三要素

大數據價值挖掘的三要素
如何充分利用大數據，挖掘大數據的商業價值，從而提升企業的競爭力，已經成為企業關注的一個焦點。
全面解決方案才能奏效
當前，越來越多企業將大數據的分析結果作為其判斷未來發展的依據。同時，傳統的商業預測邏輯正日益被新的大數據預測所取代。但是，我們要謹慎管理大家對大數據的期望值，因為海量數據只有在得到有效治理的前提下才能進一步發展其業務價值。
最廣為人知的大數據定義是Gartner給出的大數據的3V特性：巨大的數據量（Volume）、數據的快速處理（Velocity）、多變的數據結構和類型（Variety）。根據這一定義，大家首先想到的是IT系統中一直難以處理卻又不容忽視的非結構化數據。也就是說，大數據不僅要處理好交易型數據的分析，還把社交媒體、電子商務、決策支持等信息都融入進來。現在，分布式處理技術Hadoop和NoSQL已經能對非結構化數據進行存儲、處理、分析和挖掘，但未能為滿足客戶的大數據需求提供一個全面的解決方案。
事實上，普遍意義上的大數據范圍更加廣泛，任何涉及海量數據及多數據源的復雜計算，均屬大數據范疇，而不僅局限於非結構化數據。因此，諸如電信運營商所擁有的巨量用戶的各類詳細數據、手機開關機信息、手機在網注冊信息、手機通話計費信息、手機上網詳細日誌信息、用戶漫遊信息、用戶訂閱服務信息和用戶基礎服務信息等，均可劃歸為大數據。
與幾年前興起的雲計算相比，大數據實現其業務價值所要走的路或許更為長遠。但是企業用戶已經迫不及待，越來越多企業高層傾向於將大數據分析結果作為其商業決策的重要依據。在這種背景下，我們必須找到一種全面的大數據解決方案，不僅要解決非結構化數據的處理問題，還要將功能擴展到海量數據的存儲、大數據的分布式採集和交換、海量數據的實時快速訪問、統計分析與挖掘和商務智能分析等。
典型的大數據解決方案應該是具有多種能力的平台化解決方案，這些能力包括結構化數據的存儲、計算、分析和挖掘，多結構化數據的存儲、加工和處理，以及大數據的商務智能分析。這種解決方案在技術應具有以下四個特性：軟硬集成化的大數據處理、全結構化數據處理的能力、大規模內存計算的能力、超高網路速度的訪問。
軟硬體集成是必然選擇
我們認為，大數據解決方案的關鍵在於如何處理好大規模數據計算。過去，傳統的前端資料庫伺服器、後端大存儲的架構難以有效存儲大規模數據並保持高性能數據處理。這時候，我們讓軟體和硬體更有效地集成起來進行更緊密的協作。也就是說，我們需要軟硬一體化的專門設備來應對大數據的挑戰。
一直以來，甲骨文公司在傳統的關系型資料庫領域佔有絕對優勢，但並未因此固步自封。面對大數據熱潮，甲骨文公司根據用戶的需求不斷推陳出新，將在數據領域的優勢從傳統的關系型資料庫擴展到全面的大數據解決方案，成為業界首個通過全面的、軟硬體集成的產品來滿足企業關鍵大數據需求的公司。
甲骨文公司以軟硬體集成的方式提供大數據的捕獲、組織、分析和決策的所有能力，為企業提供完整的集成化大數據解決方案，其中的核心產品包括Oracle大數據機、Exalytics商務智能雲伺服器和OracleExadata資料庫雲伺服器。
Oracle大數據機用於多結構化大數據處理，旨在簡化大數據項目的實施與管理，其數據加工結果可以通過超高帶寬的InfiniBand網路連接到OracleExadata資料庫雲伺服器中。OracleExadata可提供高效數據存儲和計算能力，配備超大容量的內存和快速快閃記憶體，配合特有的軟硬體優化技術，可對大數據進行高效的加工、分析和挖掘。同時，甲骨文公司在OracleExadata以及資料庫軟體層面提供了非常高效和便捷的高級數據分析軟體，使數據能夠更快、更高效地得到分析、挖掘和處理。
通過Oracle大數據機快速獲得、組織大數據之後，企業還要根據對大數據全面、實時的分析結果做出科學的業務決策。OracleExalytics商務智能雲伺服器能以前所未有的速度運行數據分析應用，為客戶提供實時、快速的可視分析。同樣，它通過InfiniBand網路連接到OracleExadata上進行數據載入和讀取，讓大數據直接在內存中快速計算，滿足大數據時代對數據分析展現的快速響應需求。OracleExalytics實現了新型分析應用，可用於異構IT環境，能存取和分析來自任何Oracle或非Oracle的關系型數據、OLAP或非結構化數據源的數據。
Oracle大數據機、OracleExalytics商務智能雲伺服器和OracleExadata資料庫雲伺服器一起，組成了甲骨文最廣泛、高度集成化系統產品組合，為企業提供了一個端到端的大數據解決方案，滿足企業對大數據治理的所有需求。
堅持開放的戰略
從當前的情況來看，在大數據應用領域，僅靠一家廠商的產品難以解決所有問題。因此對於大數據解決方案供應商來說，採用開放的策略是必然選擇。甲骨文公司堅持全面、開放、集成的產品策略。這一策略在大數據領域同樣適用。
這首先體現在大數據戰略在技術上支持Hadoop和開源軟體。除了集成化產品，甲骨文公司還擁有一系列領先技術，以幫助用戶全面應對大數據應用的挑戰，其中包括OracleNoSQL資料庫，以及針對Hadoop架構的系列產品。
OracleNoSQL資料庫專門為管理海量數據而設計，可以幫助企業存取非結構化數據，並可橫向擴展至數百個高可用性節點。同時，該產品能夠提供可預測的吞吐量和延遲時間，而且更加容易安裝、配置和管理，支持廣泛的工作負載。
而專門針對Hadoop架構的產品，能夠幫助企業應對在組織和提取大數據方面所面臨的挑戰，包括Oracle數據集成Hadoop應用適配器、OracleHadoop裝載器以及OracleSQL Connector等。
此外，OracleR Enterprise實現了R開源統計環境與Oracle資料庫11g的集成，為進行更進一步的數據分析提供了一個企業就緒的、深度集成的環境。
值得一提的是，除對產品和解決方案不斷投入，甲骨文公司還致力於和合作夥伴合作開發大數據解決方案。目前，幾乎所有的甲骨文合作夥伴都在關注和測試大數據解決方案。甲骨文公司正積極尋找更多本地合作夥伴，為客戶提供更加定製化的產品和解決方案。
總而言之，大數據已經和雲計算、社交化、移動化一起，成為現階段驅動企業IT模式變革的重要因素。Oracle大數據解決方案可以橫跨IT架構的所有層面，與其他產品進行創新集成，並憑借卓越的可靠性、可擴展性和可管理性，為企業的IT發展，甚至業務發展提供理想的IT基礎支持。

㈣ Oracle 大數量 存儲 優化 DML

利用rowid分塊實現非分區表的並行update與delete
大表中海量歷史數據的更新與刪除一直是令DBA非常頭痛的事情，在表已經分區的前提下我們還可以利用並行或者truncate parition等手段來為UPDATE或者DELETE提速， 但是如果對象是普通的非分區對表(non-partitioned heap table)的話，似乎就沒有太好的加速方法了， nologging或parallel 對非分區表都沒有效果。

之前我也有介紹過一個利用rowid將非分區表分割成指定數量個區間塊的方法，見<Script:partition table into rowid extent chunks>；利用該腳本可以獲取到這些分割後的區間塊的起始rowid和結尾rowid，之後利用between start_rowid and end_rowid的條件構造多條DML語句， 因為這些DML語句所更新的數據都是在互不相關的區間內的，所以可以在多個終端內並行地運行這些DML語句，而不會造成鎖的爭用或者Oracle並行執行協調(Parallel Execution coordinator ) 所帶來的一些開銷。

http://www.askmaclean.com/archives/%E5%88%A9%E7%94%A8rowid%E5%88%86%E5%9D%97%E5%AE%9E%E7%8E%B0%E9%9D%9E%E5%88%86%E5%8C%BA%E8%A1%A8%E7%9A%84%E5%B9%B6%E8%A1%8Cupdate%E4%B8%8Edelete.html

㈤ Oracle 海量數據解決方案

解決方案？跟你說這沒有一個萬能的解決方案。
往往一個應用系統在數據版庫設計權之初就應該考慮到他的數據量
以及SQL語句，內存消耗，磁碟競爭。
都已經到測試階段了是不是晚了點？
找到你系統慢的最終原因，通常是SQL語句，索引，資源競爭。
如果以上都不是最終原因，考慮重新設計資料庫吧

㈥ 如何處理大量數據並發操作

處理大量數據並發操作可以採用如下幾種方法:

1.使用緩存：使用程序直接保存到內存中。或者使用緩存框架: 用一個特定的類型值來保存，以區別空數據和未緩存的兩種狀態。

2.資料庫優化：表結構優化;SQL語句優化，語法優化和處理邏輯優化;分區;分表;索引優化;使用存儲過程代替直接操作。

3.分離活躍數據:可以分為活躍用戶和不活躍用戶。

4.批量讀取和延遲修改: 高並發情況可以將多個查詢請求合並到一個。高並發且頻繁修改的可以暫存緩存中。

5.讀寫分離: 資料庫伺服器配置多個，配置主從資料庫。寫用主資料庫，讀用從資料庫。

6.分布式資料庫: 將不同的表存放到不同的資料庫中，然後再放到不同的伺服器中。

7.NoSql和Hadoop: NoSql，not only SQL。沒有關系型資料庫那麼多限制，比較靈活高效。Hadoop，將一個表中的數據分層多塊，保存到多個節點（分布式）。每一塊數據都有多個節點保存（集群）。集群可以並行處理相同的數據，還可以保證數據的完整性。

拓展資料:

大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

㈦ oracle 如何處理更新大數據量

樓下的看清復楚，有50k的照片，不管制blob還是long raw處理起來都是很慢的
2G數據拷貝也不是秒級的操作。
你的pga對於你的數據過小，很容易導致大量而外i/o，操作最好是分批提交，不要一條sql寫入。