oracle大数据解决方案pdf

㈠ ORACLE大数据表Update处理

ORACLE中如果表数据量很大（M级或更大） update某个字段是很慢的（如我的HIS项目中更新历史业务流程表 万条记录 用CURSOR来更新 条MIT一次 花了 天也没更新完） 后来尝试过的改进办法有

把表上的LOGGING取消

把表上的INDEX取消

但是依然很慢 无奈下找到这个

没陪在这个主题问答里 ORA官方提了一种处理的办法

利用CREATE table as select xxxxx的办法来生成一新表T

在T 上创建与目标表一样的索引

把目标表删除或RENAME(注意备份以备反悔)

把T 改名成目标表

试了一下 果然非常岁察如地快 我的任务差不多在 Min就完成了

如csywdk table_room是一张大表 要删除其中bakfwid在noNewYWFW 中的记录 且要更新bakfwid在imp_table_room中记录的ROOM_LOC为imp_table_room room_loc:

( )创建新表

create table tmp_new_table_room as

select t ROOM_ID t NEWROOMID t BUILDID t TFH t DKH t BUILD_NO t LAYER_NO t ROOM_NO t ROOM_NAME

decode(t bakfwid null t ROOM_LOC t room_loc)

t ROOM_AREA

t SURTYPE t LAYER_NAME t DEVDEP t CELL t DELFLAG t QXXZ t SJSJLSH t FD t ID t BAKFWID

from csywdk table_room t left join imp_table_room t on t bakfwid=t bakfwid

where not exists(select from noNewYWFW t where t bakfwid=t bakfwid)

( )创建备份表

create table Table_room as

select * from csywdk table_room

( )替换原表

drop table sde table_room

create table sde table_room as

select * from tmp_new_table_room

在这个问答里还提到一句ORA PL/SQL效率相关的话

能用一句语句处理的任务决不乎启要用多句编程来实现

㈡ 大数据的预测功能是增值服务的核心

大数据的预测功能是增值服务的核心
从走在大数据发展前沿的互联网新兴行业，到与人类生活息息相关的医疗保健、电力、通信等传统行业，大数据浪潮无时无刻不在改变着人们的生产和生活方式。大数据时代的到来，给国内外各行各业带来诸多的变革动力和巨大价值。
最新发布的报告称，全球大数据市场规模将在未来五年内迎来高达26%的年复合增长率——从今年的148.7亿美元增长到2018年的463.4亿美元。全球各大公司、企业和研究机构对大数据商业模式进行了广泛地探索和尝试，虽然仍旧有许多模式尚不明朗，但是也逐渐形成了一些成熟的商业模式。
两种存储模式为主
互联网上的每一个网页、每一张图片、每一封邮件，通信行业每一条短消息、每一通电话，电力行业每一户用电数据等等，这些足迹都以“数据”的形式被记录下来，并以几何量级的速度增长。这就是大数据时代带给我们最直观的冲击。
正因为数据量之大，数据多为非结构化，现有的诸多存储介质和系统极大地限制着大数据的挖掘和发展。为更好地解决大数据存储问题，国内外各大企业和研究机构做了许许多多的尝试和努力，并不断摸索其商业化前景，目前形成了如下两种比较成熟的商业模式：
可扩展的存储解决方案。该存储解决方案可帮助政府、企业对存储的内容进行分类和确定优先级，高效安全地存储到适当存储介质中。而以存储区域网络（SAN）、统一存储、文件整合/网络连接存储（NAS）的传统存储解决方案，无法提供和扩展处理大数据所需要的灵活性。而以Intel、Oracle、华为、中兴等为代表的新一代存储解决方案提供商提供的适用于大、中小企业级的全系存储解决方案，通过标准化IT基础架构、自动化流程和高扩展性，来满足大数据多种应用需求。
云存储。云存储是一个以数据存储和管理为核心的云计算系统，其结构模型一般由存储层、基础管理、应用接口和访问层四层组成。通过易于使用的API，方便用户将各种数据放到云存储里面，然后像使用水电一样按用量进行收费。用户不用关心数据的存储介质、网络状况以及安全性的管理，只需按需向提供方购买空间。
源数据价值水涨船高
在红红火火的大数据时代，随着数据的累积，数据本身的价值也在不断升值，这种情况很好地反应了事物由量变到质变的规律。例如有一种罕见的疾病，得病率为十万分之一，如果从小样本数据来看非常罕见，但是扩大到全世界70亿人，那么数量就非常庞大。以前技术落后，不能将该病情数字化集中研究，所以很难攻克。但是，我们现在把各种各样的数据案例搜集起来统一分析，我们很快就能攻克很多以前想象不到的科学难题。类似的例子，不胜枚举。
正是由于可以通过大数据挖掘到很多看不见的价值，源数据本身的价值也水涨船高。一些掌握海量有效数据的公司和企业找到了一条行之有效的商业路径：对源数据直接或者经过简单封装销售。在互联网领域，以Facebook、twitter、微博为代表的社交网站拥有大量的用户和用户关系数据，这些网站正尝试以各种方式对该源数据进行商业化销售，Google、Yahoo!、网络[微博]等搜索公司拥有大量的搜索轨迹数据以及网页数据，他们可以通过简单API提供给第三方并从中盈利；在传统行业中，中国联通[微博]（3.44, 0.03, 0.88%）、中国电信[微博]等运营商拥有大量的底层用户资料，可以通过简单地去隐私化，然后进行销售盈利。
各大公司或者企业通过提供海量数据服务来支撑公司发展，同时以免费的服务补偿用户，这种成熟的商业模式经受住了时间的考验。但是对于任何用户数据的买卖，还需处理好用户隐私信息，通过去隐私化方式，来保护好用户隐私。
预测是增值服务的核心
在大数据基础上进行深度挖掘，所衍生出来的增值服务，是大数据领域最具想象空间的商业模式。大数据增值服务的核心是什么？预测！大数据引发了商业分析模式转变，从过去的样本模式到现在的全数据模式，从过去的小概率到现在的大概率，从而能够得到比以前更准确的预测。目前形成了如下几种比较成熟的商业模式。
个性化的精准营销。一提起“垃圾短信”，大家都很厌烦，这是因为本来在营销方看来是有价值的、“对”的信息，发到了“错”的用户手里。通过对用户的大量的行为数据进行详细分析，深度挖掘之后，能够实现给“对”的用户发送“对”的信息。比如大型商场可以对会员的购买记录进行深度分析，发掘用户和品牌之间的关联。然后，当某个品牌的忠实用户收到该品牌打折促销的短信之后，一定不是厌烦，而是欣喜。如优捷信达、中科嘉速等拥有强大数据处理技术的公司在数据挖掘、精准广告分析等方面拥有丰富的经验。
企业经营的决策指导。针对大量的用户数据，运用成熟的数据挖掘技术，分析得到企业运营的各种趋势，从而给企业的决策提供强有力的指导。例如，汽车销售公司，可以通过对网络上用户的大量评论进行分析，得到用户最关心和最不满意的功能，然后对自己的下一代产品进行有针对性的改进，以提升消费者的满意度。
总体来说，从宏观层面来看，大数据是我们未来社会的新能源；从企业微观层面来看，大数据分析和运用能力正成为企业的核心竞争力。深入研究和积极探索大数据的商业模式，对企业的未来发展有至关重要的意义。

㈢ 大数据价值挖掘的三要素

大数据价值挖掘的三要素
如何充分利用大数据，挖掘大数据的商业价值，从而提升企业的竞争力，已经成为企业关注的一个焦点。
全面解决方案才能奏效
当前，越来越多企业将大数据的分析结果作为其判断未来发展的依据。同时，传统的商业预测逻辑正日益被新的大数据预测所取代。但是，我们要谨慎管理大家对大数据的期望值，因为海量数据只有在得到有效治理的前提下才能进一步发展其业务价值。
最广为人知的大数据定义是Gartner给出的大数据的3V特性：巨大的数据量（Volume）、数据的快速处理（Velocity）、多变的数据结构和类型（Variety）。根据这一定义，大家首先想到的是IT系统中一直难以处理却又不容忽视的非结构化数据。也就是说，大数据不仅要处理好交易型数据的分析，还把社交媒体、电子商务、决策支持等信息都融入进来。现在，分布式处理技术Hadoop和NoSQL已经能对非结构化数据进行存储、处理、分析和挖掘，但未能为满足客户的大数据需求提供一个全面的解决方案。
事实上，普遍意义上的大数据范围更加广泛，任何涉及海量数据及多数据源的复杂计算，均属大数据范畴，而不仅局限于非结构化数据。因此，诸如电信运营商所拥有的巨量用户的各类详细数据、手机开关机信息、手机在网注册信息、手机通话计费信息、手机上网详细日志信息、用户漫游信息、用户订阅服务信息和用户基础服务信息等，均可划归为大数据。
与几年前兴起的云计算相比，大数据实现其业务价值所要走的路或许更为长远。但是企业用户已经迫不及待，越来越多企业高层倾向于将大数据分析结果作为其商业决策的重要依据。在这种背景下，我们必须找到一种全面的大数据解决方案，不仅要解决非结构化数据的处理问题，还要将功能扩展到海量数据的存储、大数据的分布式采集和交换、海量数据的实时快速访问、统计分析与挖掘和商务智能分析等。
典型的大数据解决方案应该是具有多种能力的平台化解决方案，这些能力包括结构化数据的存储、计算、分析和挖掘，多结构化数据的存储、加工和处理，以及大数据的商务智能分析。这种解决方案在技术应具有以下四个特性：软硬集成化的大数据处理、全结构化数据处理的能力、大规模内存计算的能力、超高网络速度的访问。
软硬件集成是必然选择
我们认为，大数据解决方案的关键在于如何处理好大规模数据计算。过去，传统的前端数据库服务器、后端大存储的架构难以有效存储大规模数据并保持高性能数据处理。这时候，我们让软件和硬件更有效地集成起来进行更紧密的协作。也就是说，我们需要软硬一体化的专门设备来应对大数据的挑战。
一直以来，甲骨文公司在传统的关系型数据库领域占有绝对优势，但并未因此固步自封。面对大数据热潮，甲骨文公司根据用户的需求不断推陈出新，将在数据领域的优势从传统的关系型数据库扩展到全面的大数据解决方案，成为业界首个通过全面的、软硬件集成的产品来满足企业关键大数据需求的公司。
甲骨文公司以软硬件集成的方式提供大数据的捕获、组织、分析和决策的所有能力，为企业提供完整的集成化大数据解决方案，其中的核心产品包括Oracle大数据机、Exalytics商务智能云服务器和OracleExadata数据库云服务器。
Oracle大数据机用于多结构化大数据处理，旨在简化大数据项目的实施与管理，其数据加工结果可以通过超高带宽的InfiniBand网络连接到OracleExadata数据库云服务器中。OracleExadata可提供高效数据存储和计算能力，配备超大容量的内存和快速闪存，配合特有的软硬件优化技术，可对大数据进行高效的加工、分析和挖掘。同时，甲骨文公司在OracleExadata以及数据库软件层面提供了非常高效和便捷的高级数据分析软件，使数据能够更快、更高效地得到分析、挖掘和处理。
通过Oracle大数据机快速获得、组织大数据之后，企业还要根据对大数据全面、实时的分析结果做出科学的业务决策。OracleExalytics商务智能云服务器能以前所未有的速度运行数据分析应用，为客户提供实时、快速的可视分析。同样，它通过InfiniBand网络连接到OracleExadata上进行数据加载和读取，让大数据直接在内存中快速计算，满足大数据时代对数据分析展现的快速响应需求。OracleExalytics实现了新型分析应用，可用于异构IT环境，能存取和分析来自任何Oracle或非Oracle的关系型数据、OLAP或非结构化数据源的数据。
Oracle大数据机、OracleExalytics商务智能云服务器和OracleExadata数据库云服务器一起，组成了甲骨文最广泛、高度集成化系统产品组合，为企业提供了一个端到端的大数据解决方案，满足企业对大数据治理的所有需求。
坚持开放的战略
从当前的情况来看，在大数据应用领域，仅靠一家厂商的产品难以解决所有问题。因此对于大数据解决方案供应商来说，采用开放的策略是必然选择。甲骨文公司坚持全面、开放、集成的产品策略。这一策略在大数据领域同样适用。
这首先体现在大数据战略在技术上支持Hadoop和开源软件。除了集成化产品，甲骨文公司还拥有一系列领先技术，以帮助用户全面应对大数据应用的挑战，其中包括OracleNoSQL数据库，以及针对Hadoop架构的系列产品。
OracleNoSQL数据库专门为管理海量数据而设计，可以帮助企业存取非结构化数据，并可横向扩展至数百个高可用性节点。同时，该产品能够提供可预测的吞吐量和延迟时间，而且更加容易安装、配置和管理，支持广泛的工作负载。
而专门针对Hadoop架构的产品，能够帮助企业应对在组织和提取大数据方面所面临的挑战，包括Oracle数据集成Hadoop应用适配器、OracleHadoop装载器以及OracleSQL Connector等。
此外，OracleR Enterprise实现了R开源统计环境与Oracle数据库11g的集成，为进行更进一步的数据分析提供了一个企业就绪的、深度集成的环境。
值得一提的是，除对产品和解决方案不断投入，甲骨文公司还致力于和合作伙伴合作开发大数据解决方案。目前，几乎所有的甲骨文合作伙伴都在关注和测试大数据解决方案。甲骨文公司正积极寻找更多本地合作伙伴，为客户提供更加定制化的产品和解决方案。
总而言之，大数据已经和云计算、社交化、移动化一起，成为现阶段驱动企业IT模式变革的重要因素。Oracle大数据解决方案可以横跨IT架构的所有层面，与其他产品进行创新集成，并凭借卓越的可靠性、可扩展性和可管理性，为企业的IT发展，甚至业务发展提供理想的IT基础支持。

㈣ Oracle 大数量 存储 优化 DML

利用rowid分块实现非分区表的并行update与delete
大表中海量历史数据的更新与删除一直是令DBA非常头痛的事情，在表已经分区的前提下我们还可以利用并行或者truncate parition等手段来为UPDATE或者DELETE提速， 但是如果对象是普通的非分区对表(non-partitioned heap table)的话，似乎就没有太好的加速方法了， nologging或parallel 对非分区表都没有效果。

之前我也有介绍过一个利用rowid将非分区表分割成指定数量个区间块的方法，见<Script:partition table into rowid extent chunks>；利用该脚本可以获取到这些分割后的区间块的起始rowid和结尾rowid，之后利用between start_rowid and end_rowid的条件构造多条DML语句， 因为这些DML语句所更新的数据都是在互不相关的区间内的，所以可以在多个终端内并行地运行这些DML语句，而不会造成锁的争用或者Oracle并行执行协调(Parallel Execution coordinator ) 所带来的一些开销。

http://www.askmaclean.com/archives/%E5%88%A9%E7%94%A8rowid%E5%88%86%E5%9D%97%E5%AE%9E%E7%8E%B0%E9%9D%9E%E5%88%86%E5%8C%BA%E8%A1%A8%E7%9A%84%E5%B9%B6%E8%A1%8Cupdate%E4%B8%8Edelete.html

㈤ Oracle 海量数据解决方案

解决方案？跟你说这没有一个万能的解决方案。
往往一个应用系统在数据版库设计权之初就应该考虑到他的数据量
以及SQL语句，内存消耗，磁盘竞争。
都已经到测试阶段了是不是晚了点？
找到你系统慢的最终原因，通常是SQL语句，索引，资源竞争。
如果以上都不是最终原因，考虑重新设计数据库吧

㈥ 如何处理大量数据并发操作

处理大量数据并发操作可以采用如下几种方法:

1.使用缓存：使用程序直接保存到内存中。或者使用缓存框架: 用一个特定的类型值来保存，以区别空数据和未缓存的两种状态。

2.数据库优化：表结构优化;SQL语句优化，语法优化和处理逻辑优化;分区;分表;索引优化;使用存储过程代替直接操作。

3.分离活跃数据:可以分为活跃用户和不活跃用户。

4.批量读取和延迟修改: 高并发情况可以将多个查询请求合并到一个。高并发且频繁修改的可以暂存缓存中。

5.读写分离: 数据库服务器配置多个，配置主从数据库。写用主数据库，读用从数据库。

6.分布式数据库: 将不同的表存放到不同的数据库中，然后再放到不同的服务器中。

7.NoSql和Hadoop: NoSql，not only SQL。没有关系型数据库那么多限制，比较灵活高效。Hadoop，将一个表中的数据分层多块，保存到多个节点（分布式）。每一块数据都有多个节点保存（集群）。集群可以并行处理相同的数据，还可以保证数据的完整性。

拓展资料:

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

㈦ oracle 如何处理更新大数据量

楼下的看清复楚，有50k的照片，不管制blob还是long raw处理起来都是很慢的
2G数据拷贝也不是秒级的操作。
你的pga对于你的数据过小，很容易导致大量而外i/o，操作最好是分批提交，不要一条sql写入。