oracle集群大数据

① Oracle数据库大数据量表如何优化

要看数据多到何种程度。
比如一个表的笔数只是几百，如果不需要和其他大表关联内查询数据，连索引都不用建。
如果容是几十万级别的表，一般正确建索引就可以。
如果是千万级别的表，不但要正确建索引，而且要定时手工进行收集统计信息维护，不建议系统自动维护，以免影响使用性能。
如果是亿以上级别的表，则可考虑按一定条件拆分表资料，将旧资料归档，这样可改善生成表的使用。
数据库优化的同时，程序也要进行相应优化，程序和数据科学搭配，才能使性能达到最佳。

② oracle rac 能支撑大数据处理么

oracle支持大数据量是业界有名的，而rac主要是解决高可用。如果只是处理大数据，考虑用hadoop架构

③ GP数据库与Oracle数据库有什么区别

GP数据库与Oracle数据库区别为：侧重不同、数据库类型不同、查询不同。

一、侧重不同

1、GP数据库：GP数据库重计算的，对大数据集进行统计分析的OLAP类型。

2、Oracle数据库：Oracle数据库面向前台应用，重吞吐和高并发的OLTP类型。

二、数据库类型不同

1、GP数据库：GP数据库的数据库类型为分布式数据库。

2、Oracle数据库：Oracle数据库的数据库类型为传统关系型数据库。

三、查询不同

1、GP数据库：GP数据库支持海量数据存储，支持列的扩展，查询速度快，但是查询操作较复杂。

2、Oracle数据库：Oracle数据库虽然可以搭建集群，但是当数据量达到一定限度之后，查询处理速度会变得很慢，且对机器性能要求很高。

④ oracle可以做大数据分析吗

可以。

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。

简介

可以说Oracle数据库系统是世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小微机环境。它是一种高效率的、可靠性好的、适应高吞吐量的数据库方案。

就业前景

1、就业面广：ORACLE帮助拓展技术人员择业的广度，全球前100强企业99家都在使用ORACLE相关技术，中国政府机构，大中型企事业单位都能有ORACLE技术的工程师岗位，不论你想进入金融行业还是电信行业或者政府机构，ORACLE都能够在你的职业发展中给你最强有力的支撑。

2、技术层次深：如果期望进入IT服务或者产品公司（类似毕博、DELL、IBM等），Oracle技术能够帮助提高就业的深度。Oracle技术已经成为全球每个IT公司必选的软件技术之一，熟练掌握Oracle技术能够为从业人员带来技术应用上的优势，同时为IT技术的深入应用起到非常 关键的作用。

⑤ oracle中对大数据处理有哪些方式

一、大数据存储方式：
1. BLOB，二进制大数据
2. CLOB，文本类型大数据
3. BFILE（推荐），文件方式大内数据，以连接（容文件位置）方式存储，实际在数据库外
4. RAW，二进制大数据（ORACLE老版本的，9i后逐渐被BLOB/CLOB/BFILE代替）
二、大数据的处理内置函数
1. BLOB/CLOB/BFILE：DBMS_LOB包
2. RAW：UTL_RAW包

⑥ 大数据工程师的日常工作做什么

【导读】时至今日，相信大家对大数据工程师一点也不陌生，作为时下比较热门的高薪职业，很多人想转行做大数据工程师，那么你知道大数据工程师的日常工作做什么?工作强度大不大呢?为此小编整理了以下内容，一起来看看吧!

1， 写 SQL ：一般来说许多入职一两年的大数据工程师首要的工作就是写 SQL ;

2 ，为集群搭大数据环境(一般公司招大数据工程师环境都现已搭好了，公司内部会有现成的大数据途径);

3 ，维护大数据途径(这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作);

4， 数据搬家(有部分公司需求把数据从传统的数据库 Oracle、MySQL 等数据搬家到大数据集群中，这个是比较繁琐的工作);

5 ，运用搬家(有部分公司需求把运用从传统的数据库 Oracle、MySQL
等数据库的存储进程程序或许SQL脚本搬家到大数据途径上，这个进程也是非常繁琐的工作，高度重复且杂乱)

6 ，数据收集(收集日志数据、文件数据、接口数据，这个触及到各种格式的转化，一般用得比较多的是 Flume 和 Logstash)

7， 数据处理

7.1 ，离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和首要点有点重复了)

7.2 ，实时数据处理(这个触及到音讯部队，Kafka，Spark，Flink 这些，组件，一般就是 Flume 收集到数据发给 Kafka 然后
Spark 消费 Kafka 的数据进行处理)

8 ，数据可视化(这个我司是用 Spring Boot 联接后台数据与前端，前端用自己魔改的 echarts)

9 ，大数据途径开发(偏Java方向的，大约就是把开源的组件整合起来整成一个可用的大数据途径这样，常见的是各种难用的 PaaS 途径)

10
，数据中台开发(中台需求支撑接入各种数据源，把各种数据源清洗转化为可用的数据，然后再根据原始数据建立起宽表层，一般为了节省开发本钱和服务器资源，都是根据宽表层查询出业务数据)

11 ，建立数据仓库(这儿的数据仓库的建立不是指 Hive ，Hive 是建立数仓的东西，数仓建立一般会分为三层 ODS、DW、DM
层，其间DW是最重要的，它又能够分为DWD,DWM,DWS，这个层级仅仅逻辑上的概念，类似于把表名按照层级差异隔来的操作，分层的目的是防止开发数据运用的时分直接访问底层数据，能够减少资源，留意，减少资源开支是减少
内存 和 CPU
的开支，分层后磁盘占用会大大增加，磁盘不值钱所以没什么联络，分层能够使数据表的逻辑更加清楚，便当进一步的开发操作，假定分层没有做好会导致逻辑紊乱，新来的员工难以接手业务，跋涉公司的运营本钱，还有这个建数仓也分为建离线和实时的)

以上就是小编今天给大家整理发送的关于“大数据工程师的日常工作做什么?”的相关内容，希望对大家有所帮助。想了解更多关于大数据工程师要求具备的能力，关注小编持续更新。

⑦ 简述Oracle数据库RAC真实应用集群的工作原理

Oracle集群
Oracle集群，最早称作OPS(Oracle Parallel Server)出现在Oracle 7版本中，从Oracle 9i开始正式改称为Oracle RAC，RAC即Real Application Clusters的简写，译为“真正应用集群”；RAC 是Oracle新版数据库中采用的一项新技术，也是Oracle数据库支持网格计算环境的核心技术。 10g以前的OPS或者RAC都依赖于第三方集群软件(Vendor Clusterware)方能正常工作，在10g版本中Oracle推出了Oracle Clusterware集群软件以及ASM自动存储管理技术，换而言之10g以后版本的RAC不再依赖于第三方的集群软件(譬如IBM的HACMP,Veritas的VCS等)，但必须安装Oracle自己的Clusterware集群软件。 Oracle RAC主要支持Oracle9i、10g、11g版本，可以可以支持24 x 7 有效的数据库应用 系统，在低成本服务器上构建高可用性数据库系统，并且自由部署应用，无需修改代码。 在Oracle RAC环境下，Oracle集成提供了集群软件和存储管理软件，为用户降低了应用成本。当应用规模需要扩充时，用户可以按需扩展系统，以保证系统的性能。 参考编辑本段Oracle集群参考文档
Oracle RAC一般也可构建于大型SMP主机，IBM的AIX系列服务器往往是其中高端平台，Intel Linux往往作为其低端平台。当AIX UNIX用来运行Oracle RAC作为大型数据库系统平台时，其集群系统构建、实施、运维、高可用设置，有其平台特点。可以参照《Oracle大型数据库系统在AIX/UNIX上的实战详解》，该书以AIX UNIX平台为主线，以其他UNIX系统为参照，描述了数据库系统Oracle 10g、Oracle 11g的RAC的构架方法和过程。在Linux平台，则《大话OracleRAC集群、高可用性、备份与恢复》有着很好的论述。

⑧ oracle如何提高大数据group by 的效率

设一些参数 或者 调整执行计划，见下面的语句：
-- Script Tested above 10g
-- Create a new temporary segment tablespace specifically for creating the index.
-- CREATE TEMPORARY TABLESPACE tempindex tempfile 'filename' SIZE 20G ;
-- ALTER USER username TEMPORARY TABLESPACE tempindex;

REM PARALLEL_EXECUTION_MESSAGE_SIZE can be increased to improve throughput.
REM but need restart instance,and should be same in RAC environment
REM this doesn't make sense,unless high parallel degree

-- alter system set parallel_execution_message_size=65535 scope=spfile;

alter session set workarea_size_policy=MANUAL;
alter session set workarea_size_policy=MANUAL;

alter session set db_file_multiblock_read_count=512;
alter session set db_file_multiblock_read_count=512;

--In conclusion, in order to have the least amount of direct operations and
--have the maximum possible read/write batches these are the parameters to set:

alter session set events '10351 trace name context forever, level 128';

REM set sort_area_size to 700M or 1.6 * table_size
REM 10g bug need to set sort_area_size twice
REM remember large sort area size doesn't mean better performance
REM sometimes you should rece below setting,and then sort may benefit from disk sort
REM and attention to avoid PGA swap

alter session set sort_area_size=734003200;
alter session set sort_area_size=734003200;

REM set sort area first,and then set SMRC for parallel slave
REM Setting this parameter can activate our previous setting of sort_area_size
REM and we can have large sort multiblock read counts.

alter session set "_sort_multiblock_read_count"=128;
alter session set "_sort_multiblock_read_count"=128;

alter session enable parallel ddl;

⑨ Oracle 海量数据解决方案

解决方案？跟你说这没有一个万能的解决方案。
往往一个应用系统在数据版库设计权之初就应该考虑到他的数据量
以及SQL语句，内存消耗，磁盘竞争。
都已经到测试阶段了是不是晚了点？
找到你系统慢的最终原因，通常是SQL语句，索引，资源竞争。
如果以上都不是最终原因，考虑重新设计数据库吧