oracle大数据表

Ⅰ 如何向Oracle数据库表中进行大数据量的插入并提交

一次折腾几千万的话,
那么设置一下,
有
20W了，
就自动提交一下。
set
autocommit
on;
set
autocommit
200000;
然后，假如你的目标数据库，
是归档的话，
可以
INSERT
/*+
append
*/
INTO
目标表
nologging
SELECT
*
FROM
源表@DBLINK;
commit;
set
autocommit
off;
假如你的
目标表
上面，
有
索引的话，
建议先删除
索引。
等
上面的
INSERT
语句执行完毕后，
再重建索引。

Ⅱ Oracle 如何快速删除大数据表中的内容

truncate 或者delete from 表名， 没有其他办法。

Ⅲ 如何向Oracle数据库表中进行大数据量的插入并提交

一次折腾几千万的话, 那么设置一下, 有 20W了， 就自动提交一下。
set autocommit on;
set autocommit 200000;

然后，假如你回的目标数据库， 是归档的答话， 可以

INSERT /*+ append */ INTO 目标表 nologging SELECT * FROM 源表@DBLINK;

commit;
set autocommit off;

假如你的 目标表 上面， 有 索引的话， 建议先删除 索引。
等 上面的 INSERT 语句执行完毕后， 再重建索引。

Ⅳ 浅谈Oracle中大数据量表的管理

简介

随着信息业的发展 在企业级数据库应用中 经常会有一些几十GB 上百GB的数据表 这些大数据量表的设计 维护及其备份都是数据库管理中的重点及其难点 本文就从设计 维护及其备份方面探讨一下大数据量表的管理

设计

大表时效性

大数据量表的数据量一般来说是跟时间成正比的 时间越久 数据量越大 在设计阶段首先要考虑这些大表的时效性

通常情况 在一定的时间区间 数据的访问频度比较大 超过这个区间 数据的访问频度极小 这个时间区间根据不同的应用类型而不同 通常是几个月 超过这个时间区间的数据可以认为是历史数据 数据访问的可能性不打 在企业应用中 并不是所有的数据都需要保留在生产数据库中 对于这些历史数据 可以考虑离线存放 或者是存放在另外的数据库中 比如数据仓库等

大表的时效性可以通过在表上加时间戳列来实现

使用分区表

Oracle 以后提供了分区表的功能 分区表可以把一个表的数据从物理和逻辑上分割成小的区域 Oracle支持非常大的分区表 一个对象可以允许多达 个分区 对于大表来说 使用分区表是首选方案 分区表可以改善表的维护 备份 恢复及查询性能

分区表有 种分区方式

n Range Partitioning

n Hash Partitioning

n Composite Partitioning

n List Partitioning

对于有时效性的大表 可以采用按时间分区的 Range Partitioning表 例如按天分区的分区表

CREATE TABLE Test(

DATATIME DATE NOT NULL

P NUMBER NULL

P NUMBER NULL

P NUMBER NULL

P NUMBER NULL

P NUMBER NULL

P NUMBER NULL

P NUMBER NULL

P NUMBER NULL

CONSTRAINT PK_TEST PRIMARY KEY (datatime p p ) USING INDEX LOCAL TABLESPACE USERINDEX

)

PARTITION BY RANGE (DATATIME)

(PARTITION Test_ VALUES LESS THAN (TO_DATE( YYYY MM DD ))

(PARTITION Test_ VALUES LESS THAN (TO_DATE( YYYY MM DD ))

……

);

对于按时间分区仍然不能满足性能需求的表 还可以根据应用需求 使用子分区对表进一步细化

应用设计中 要充分利用分区表的特性 对大表的访问要完全避免全表访问 缩小访问范围 在查询条件中 尽量使用分区的列

维护

大表的维护工作比较繁琐 索引的维护 存储空间的维护 历史数据的清理等等 使用分区表可以简化大表的维护工作 但是如果表很多的话 手动的创建 删除分区也是一件很繁琐 而且容易出错的事情

此章节以按天分区的分区表为例讨论大表的自动维护

分区表的命名规则

分区表分区的命名应当按照一定的规则命名 以利于自动维护的实现 本例采用按天分区的分区表 分区的命名方式为TABLENAME_YYMMDD 例如 TEST表的 年 月 日的分区命名为TEST _

维护字典

在数据库中创建维护字典表 存放需要自动维护的分区表的信息 包括表名 schema 表的类型 数据在数据库中的保留时间等信息

Table Name: H_RETENTION

Column Type Null? Description

tablename Varchar ( ) Not null 表名

schemaname Varchar ( ) Not null Schema

typeid Varchar ( ) Not null 表类型 PARTITION NORMAL …

retention Number( ) Not null 该表的保存天数

自动创建分区

对于按时间分区的分区表 若不能及时创建新的数据分区 会导致数据无法插入到分区表的严重后果 数据库会产生报错信息ORA : inserted partition key does not map to any partition 插入失败

创建分区可以手工创建 也可以根据维护字典 通过系统的任务调度来创建分区 通常是在月底创建下个月的分区

自动创建分区实现如下

/**************************************************************************

Program Name:Add_Partition

Description:

创建某个用户下个月的所有分区

***************************************************************************/

PROCEDURE add_partition (v_schema IN VARCHAR )

IS

CURSOR c_td_table

IS

SELECT tablename

FROM h_retention

WHERE typeid ＝ PARTITION

AND schemaname = UPPER (v_schema)

ORDER BY tablename;

v_cur BINARY_INTEGER;

v_int BINARY_INTEGER;

v_partition VARCHAR ( );

v_date DATE;

v_days NUMBER;

sql_stmt VARCHAR ( ); String used to save sql statement

err_msg VARCHAR ( );

BEGIN

v_date := TRUNC (ADD_MONTHS (SYSDATE ) MM );

v_days :=

TO_NUMBER (TO_CHAR (LAST_DAY (ADD_MONTHS (SYSDATE )) DD ));

v_cur := DBMS_SQL open_cursor;

FOR v_table IN c_td_table

LOOP

v_date := TRUNC (ADD_MONTHS (SYSDATE ) MM );

v_partition := v_table tablename;

FOR i IN v_days

LOOP

BEGIN

sql_stmt :=

ALTER TABLE

|| v_schema

||

|| v_table tablename

|| ADD PARTITION

|| v_partition

|| _

|| TO_CHAR (v_date YYMMDD )

||

|| VALUES LESS THAN (TO_DATE(

|| TO_CHAR (v_date + YYYY MM DD )

|| YYYY MM DD )) ;

DBMS_SQL parse (v_cur sql_stmt DBMS_SQL native);

v_int := DBMS_SQL EXECUTE (v_cur);

EXCEPTION

WHEN OTHERS

THEN

err_msg :=

v_partition

|| : Create

|| TO_CHAR (v_date YYMMDD )

|| partition unsuccessfully! Error Information:

|| SQLERRM;

log_insert (err_msg); You can define your own log_insert function

MIT;

END;

v_date := v_date + ;

END LOOP;

END LOOP;

DBMS_SQL close_cursor (v_cur);

END;

自动删除过期分区

为了释放存储空间并提高大表的性能 要从数据库中删除大表中过期的历史数据 删除操作可以手工执行 也可以通过系统的任务调度来自动删除 分区表数据删除只需要删除相应的数据分区 与delete相比 有如下好处

u 速度快

u 占用回滚表空间少

u 产生日志量少

u 释放空间

如果有global的索引 删除分区后需要重建索引

自动删除分区实现如下

Ⅳ Oracle数据库大数据量表如何优化

要看数据多到何种程度。
比如一个表的笔数只是几百，如果不需要和其他大表关联查询数据，连索引都不用建。
如果是几十万级别的表，一般正确建索引就可以。
如果是千万级别的表，不但要正确建索引，而且要定时手工进行收集统计信息维护，不建议系统自动维护，以免影响使用性能。
如果是亿以上级别的表，则可考虑按一定条件拆分表资拆好租料，将旧资料归档，这样可改旅兆善生成表的使用。
数据库优化的同时，程序也要袜盯进行相应优化，程序和
数据科学
搭配，才能使性能达到最佳。

Ⅵ Oracle数据库大数据量表如何优化

要看数据多到何种程度。
比如一个表的笔数只是几百，如果不需要和其他大表关联内查询数据，连索引都不用建。
如果容是几十万级别的表，一般正确建索引就可以。
如果是千万级别的表，不但要正确建索引，而且要定时手工进行收集统计信息维护，不建议系统自动维护，以免影响使用性能。
如果是亿以上级别的表，则可考虑按一定条件拆分表资料，将旧资料归档，这样可改善生成表的使用。
数据库优化的同时，程序也要进行相应优化，程序和数据科学搭配，才能使性能达到最佳。

Ⅶ oracle大数据表建立索引需要管理员吗

需要。大数据量表加索引，不适用在线创建索引的方式，会锁表。大数据表建立索引离不开数据库管理员做出的努力。给表创建索引，可以提高查询的效率。

Ⅷ Oracle 如何快速删除大数据表中的内容

可以写个存储过程循环删除，把你的删除条件分成若干份，每次删除1份的数据（比如条件是1个月的时间范围，可以分成30份，每次删除其中1天的）。
因为不知道你的具体表分区情况和删除条件情况，所以没办法进一步提供更好的方法。