dba转大数据

『壹』 从dba的角度，有哪些手段进行数据安全性的保障

有人说，数据库管理员（DBA）有三个基本任务。按照重要性大小的顺序进行排列，它们分别是：保护数据、保护数据再保护数据。

虽然数据完整性显然是DBA的首要职责（如果数据“质量”不好的话，谁在乎数据库是不是可用的或快速的），不过除此之外，他还有很多其它工作要做。下面就列出了一个DBA日常执行的实际工作。（有些任务是所有DBA通用的，其它的则是需要在某些特殊的数据库环境才需要完成的）。

DBA的一般任务

◆安装、配置、升级和迁移

虽然系统管理员通常负责安装、维护服务器上的硬件和操作系统，不过数据库软件的安装通常是由DBA负责的。要胜任这一工作需要了解什么样的硬件配置才能使一个数据库服务器发挥最大的作用，并且还要就这些硬件需求与系统管理员进行沟通。在完成了上述工作之后，DBA就着手安装数据库软件，并从各种不同的产品配置选项中选择一个与硬件匹配的并且能使数据库效率最高的方案。当有新版本的数据库或者补丁包发布时，决定是否要用或者用哪一个升级或补丁包也是DBA的工作之一。如果企业购买了新的数据库服务器，那么DBA也要负责将数据从原有数据库服务器中迁移到新的服务器上来。

◆备份和恢复

DBA负责为他们所管理的数据库制定、实施并定期测试数据库备份和恢复方案。即使在一个大型企业中有一个单独的系统管理员专门负责数据库的备份工作，不过最终的决定权还是由DBA掌握---他来确保备份工作要如期完成，并且在数据库出现故障执行恢复工作后，能包含所需要的所有文件。当数据库故障发生时，DBA需要知道如何使用备份使数据库返尽快回到正常状态，会丢失任何所完成的事务。数据库出现故障的原因可能又很多种，当出现故障时，DBA必须能很快就能判断出故障所在并采取有效的应对策略。从商业的角度来看，数据库备份是有成本的，DBA需要让企业的管理人员知道各种数据库备份方法的成本和风险。

◆数据库安全

因为数据库主要负责集中存储数据，这些数据有可能是非常机密并且非常有价值的，因此数据库往往是黑客甚至好奇的员工最感兴趣的目标。DBA必须了解所用数据库产品的详细安全模型、该数据库产品的用途、以及如何使用它来有效地控制数据存取。DBA最基本的三个安全任务是验证（设置用户帐户控制用户登录数据库）、授权（对数据库的各部分设置权限，防止非法用户访问）、审计（跟踪用户执行了什么数据库操作）。就目前而言，因为监管法规比如Sarbanes-Oxley 和HIPAA的报告要求必须得到满足，这使得数据库审计工作尤为重要。

◆存储和容量规划

创建数据库得一个主要目就是存储和检索数据，所以规划需要多少磁盘存储空间和监测可用的磁盘存储空间是DBA的关键责任。观察数据的增长趋势也是非常重要的，因为只有这样DBA才能向企业的管理层提出一个长远的存储容量规划。

◆性能监控和调整

DBA负责定期监测数据库服务器，从而找出数据库瓶颈（使数据库性能降低的某些部分）并制定补救措施。对数据库服务器的调整工作要在多个层次上完成。数据库服务器硬件的性能以及操作系统的配置都可能成为造成数据库瓶颈的因素，同样数据库软件的配置也是如此。数据库在磁盘驱动器上的物理安装方式以及索引的选择对于数据库的性能也有影响。数据库查询的编码方式也可能显著改变查询结果返回的快慢程度。DBA需要了解在上述各个层次需要用哪些监测工具，以及如何使用它们来调整系统。从应用设计一开始把性能因素考虑在内是积极主动调整的反映，而不是等待问题发生之后再去修复它们。DBA还需要与数据库应用开发人员紧密合作，以确保应用是按照最佳方式开发出来的，并且能带来良好的性能。

◆疑难解答

当数据库服务器出现某些差错的时候，DBA需要知道如何快速确定问题所在并正确地解决问题，保证不丢失数据或使情况变得更糟。

特殊环境下DBA的任务

除了上述基本职责外，由于某些特殊的数据库环境，一些DBA们还需要掌握一些特别的技巧。

◆高可用性

随着互联网时代的到来，过去那种数据库只需要在白天正常运转的时代已经结束了，现在数据库必须能够提供须提供每周7天每天24小时的全天候服务。网站也已经从静态的、预定义的内容发展成为动态创建的内容---在页面请求发送过来之后，使用数据库创建页面布局。如果网站是全天候可用的，那么支持网站的基础数据库也必须能够全天候工作。在这种环境下管理数据库，DBA需要知道哪些类型的维护业务可以在线完成（也就是在不中断数据库运行的情况下），以及在数据库有可能关闭时制定一个维护“期限”。此外，DBA还要规划为冗余的数据库硬件和软件组件，以便万一数据库出现故障时，冗余系统仍然能够继续要用户提供服务。DBA可以使用在线备份、集群、复制和应急数据库等技术和工具确保更高的可用性。

◆大型数据库（VLDB）

随着企业发现数据库技术的用途越来越多，他们往往用它来保存更多的数据。此外，数据库存储的数据类型也发生了变化，从过去行列整齐的结构化数据发展现在的非结构化数据，比如文件、图像、声音、甚至指纹。这两种趋势带来的结果是一样的：那就是大型数据库（VLDB）的出现。要管理VLDB，DBA需要特殊的技能。过去被认为是非常简单的操作比如复制一个表，所需要的时间可能是非常巨大的。为了保证数据库扩展到非常大的规模时仍然是可管理的，DBA需要了解一些技术，比如表分割（Oracle）、联合数据库（SQL Server）和复制（MySQL）等等。

◆数据提取、转化和加载（ETL）

在数据仓库环境中，一个非常关键的任务是如何有效地加载数据仓库或数据集市中的大量数据，而这些数据是从多个现有的生产系统中提取的。通常情况下，这些生产系统的格式与数据仓库中的标准化定义是不同的，所以数据在加载之前必须要转化（或“清洗”）。在一个特定的公司里，提取数据可能是也可能不是DBA的责任，但是DBA需要确定什么样的提取是有用的，它是数据库决策团队一个关键组成部分。

『贰』 请有经验的DBA进来回答一下，sqlserver大批量数据迁移问题

1 不需要的数据当然删除最好 减轻压力。
1） 删除前先删除索引。因内为删除的同时也容需要对索引进行维护。我们先删除索引再删除数据效率会有一点提高
2） 删除完数据后，再重新创建索引。为数据转换做准备。

2 数据转换过程
1）不知道你是如何实现的。我推荐的方法是将数据导出来成一个或者一系列的文件。
2）再将导出的文件导入到oracle中。可能需要进行数据类型等的转换。
我的想法就是将你的所有动作分解，一个个完成。这样出问题也能及时解决，而且互不影响。如果从sqlserver导出数据的同时还需要往sqlserver中插入数据，那么我推荐插入的数据放入一个新表中，最后将这个新表的数据也导出来再导入。

3 导入到oracle数据库中。
1）做好详细规划。删除不必要的数据大概还有接近4亿行。oracle中的表是否要做分区等？
2）数据导入后再在表上建索引。

『叁』 大数据相关的职位都有哪些啊DBA属于大数据行业吗

数据库管理员（Database
Administrator，简称DBA），是从事管理和维护数据库管理系统(DBMS)的相关工作人员的统称，属于运维工程师的一个分支，主要负责业务数据库从设计、测试到部署交付的全生命周期管理。
DBA的核心目标是保证数据库管理系统的稳定性、安全性、完整性和高性能。
大数据相关的应该叫数据挖掘师=
=你连这个都分不清还咋找工作

『肆』 大数据时代下,DBA该何去何从

大数据时代下,DBA该何去何从
数据库管理员（DBA）的职能已扩展到数据管理、基础架构管理以及工作负载和SLA管理上。作为大数据战略的一部分，DBA的角色又是如何变化的呢？
数据管理
* 为成为数据管理专家而努力。虽然SQL数据库可以扩展以处理大数据，但数据库并不是最优解决方案。DBA正在预算方面做努力，在预算范围内，以最低的成本满足SLA。
* 出现数据ops概念。数据管理和数据治理。数据操作是团队的一部分，在收集和创建数据时共享目标、协作工作。使用自动化来挤压延迟、采取最合适的敏捷方案以提高提高效率。
* 管理、治理和软件交付。维护数据库模型和模式。在大数据中，从定义明确的转换到应用程序和工程师之间的协同工作，一切都是具有探索性的。

* 虽然开发人员认为不需要数据管理，但为了后续的分析数据，DBA们仍需要进行数据管理。
* DBA从管理数据库转变为跨多个系统的数据工程师。他们关注的是数据如何从一个数据库转移到另一个数据库、数据的消耗、数据的调整以及数据流程的管理，对于数据自动分配和执行来说这些都至关重要。
* DBA已经不再是单单只关注像SQLServer和Oracle这样的个人产品，而是必须要处理好企业大数据实施方案的执行问题。
基础架构和平台
DBA的角色已经被推到第一线上。对IT栈的演变负责。基础设施和平台的认定范围变的更大。
*这是一个不容忽视的大挑战，应用程序所使用的数据库技术不再归于DBA的控制范围内。迁移到云上的比重越大，DBA的控制范围就越小。数据越来越多，同时也在不断推出新的数据库。管理数据基础设施、提出大数据的解决喝整合方案、掌握如何归档和处理灾难恢复的技能。AWS似乎将云中的数据库选项绑定到了DBA上。DBA仍然需要在备份、灾难恢复和海量存储上多费心思。值得在备份和存储方面进行更具战略性的思考。
DBA比以往更重要，因此他们也需要学习：如何有效地集成存储在RDBMS系统中的遗留数据，同时大数据技术也是必不可少的。
* 由于大数据改变了数据架构，DBA的存在可能需要不是立竿见影的，但确实是实实在在的。新技术为数据管理提供了新的契机，使DBA和数据模式打开了一个新时代。
* 事实上，没有数据模式和Hadoop的NoSQL平台，以及支持它的一系列工具，会越来越多地部署在企业中。现在开发人员在数据本身的设计上有更多的影响力。
* 这在扩大DBA的专业范围上起到了推动作用：必须学习NoSQL系统的机制和操作；掌握管理Hadoop集群的能力；实施“无需存储数据存储数据”的方法。
* 而且，NoSQL的灵活性是以数据完整性为代价，这种模型的难度更高。目前，许多公司的网络应用程序的数据完整性已经给灵活性让位了。
* DBA必须适应设计和开发的风格变化。DBA也需要运行几个关系系统，并且认真学习NoSQL技术，对指导公司做出的部署负责。将来可能会划分出几种类型的DBA：局限于技术的；传统的管理员；努力学习并适应管理大数据的新技术和工具的。
* DBA始终是整个软件开发流程的一部分。在目前的环境中，更是需要所有的DBA都参与到整个开发过程中，尤其是规划、范围界定和原型设计部分。DBA能为企业提供有关数据基础设施功能、所需变更成本、潜在性能影响以及总体容量规划等项目的具体信息。
*鉴于对数据的使用要求，更多特定数据平台范围之外的技术正被用于实施解决方案。DBA不仅仅要专注于SQL、DDL等，还要掌握javaScript、Java、.NET等技术。DBA会越来越精通应用容器化和系统容器化（Docker、Rkt、Linux容器等）。DBA压力会越来越大，一旦与其他角色联系到一起，数据及其管理都是穿插着多条生命线，因此需要掌握的技术就不断增加。
成功采用大数据策略的企业，早已经把DBA转变为新型数据基础管理员，包括NoSQL数据库和Hadoop在内。与开发数据管理逻辑的数据开发人员、处理和准备数据的数据科学家以及业务线上的数据分析人员相结合，DBA是操作大数据战略的重要部分。现在，DBA依赖于更智能的工具，这些工具可以管理并报告各种数据库和技术框架的数据基础架构和流程。
工作负载和SLA
* 工作结构消失了。有类型更为广泛的问题需要解决。要实现混合的环境在流和批处理中交付新的工作负载，同时又能跟得上变化。
* 现在，有许多不在数据库中管理数据，而是将数据组织成超级管理数据的数据生态系统一部分的做法。了解通信、链接的速度、安全性以及如何将来源汇集在一起。
* 比起以往，现在有更多的技术管理。理解并管理一个数据仓库的技术方法有10到20种。为了能给问题选择出正确的技术，便于管理，规模较大的企业正在考虑将搜索、NoSQL、Hadoop和GPU技术标准化。
* 从一个拥有数据库领域知识的系统管理员，到现在需要掌握处理数据集成、非结构化数据、自然语言处理、文档存储和统计。工具集可以能够简化工作。关系数据库不会有大的进展，但大数据存储会有新变化。
1. 大数据时代，DBA的角色发生了重大变化。在很长一段时间里，DBA仅仅只是一个系统管理员。他们的确有SQL知识、知道该如何优化SQL，以及对构建数据库的理解，但他们并没有主动参与到数据库系统里数据的特定用途上。
2. 大数据DBA对数据和非关系数据模型的应用程序有更深入的了解，并且必须具备执行数据集成的知识，这些数据集超出了用于商业智能（BI）应用的传统提取——转换——加载过程（ETL）。

『伍』 关于JAVA开发人员转行 到底该选DBA还是SAP实施顾问

我是觉得做JAVA的话，如果不在大公司做，很难有发展，如果做了4，5年，其实可以考虑往项目经理方面转，当然，DBA是一个非常不错的职业，目前大数据需要非常强大的DBA实力来架设，目前在一家大公司任职，以上是我的个人看法。

『陆』 传统Oracle dba是否有转大数据学习hadoop等的必要

.如果转型还是搞技术的话，学大数据产品是必然的，还需要学习一些开发相关东西，例如java。

『柒』 云计算时代 对oracle数据库DBA的影响,是否今后也不需要太多数据库管理员

云计算，理论上来说，数据库也可以放在云上，但是数据库的管理还是需要有人来做的，
就是云服务商可以帮你做一部分数据库的备份工作，但是数据库的调优，维护还是需要DBA来做，毕竟谁也不可能把自家数据让别人去维护。
其次现在数据库还是很少有放到公有云上的，最多是放在企业的私有云上，那么DBA还是不会失业！

最后说一点现在云计算一样火的就会大数据，大数据时代最重要的是什么--数据。
数据多了，必定需要更多的专业的人员来维护，来分析。

所有说对DBA来说，大数据和云计算更多的是机遇而不是挑战！

『捌』 php程序员数据库 大数据DBA这两个哪个方向好

不要想的太宽，建议从PHP先学起，试想哪个公司会让新人一上去就去设计数据库呢。数据库在工作中自然能慢慢锻炼，并且由于硬件和实践的原因，在工作中学到的数据库方面的知识绝对是在学校拼命看书所不能比的

『玖』 DBA应该做些什么

数据库管理员应该做:
（1）决定数据库中的信息内容和结构
数据库中要存放哪些信息，DBA要参与决策。因此DBA必须参加数据库设计的全过程，并于用户、应用程序员、系统分析员密切合作共同协商，搞好数据库设计。
（2）决定数据库的存储结构和存取策略
DBA要综合各用户的应用要求，和数据库设计人员共同决定数据的存储结构和存取策略以求获得较高的存取效率和存储空间利用率。
（3）定义数据的安全性要求和完整性约束条件
DBA的重要职责是保证数据库的安全性和完整性。因此DBA负责确定各个用户对数据库的存取权限、数据的保密级别和完整性约束条件。
（4）监控数据库的使用和运行
DBA还有一个重要的职责就是监视数据库系统的运行情况，及时处理运行过程中出现的问题。比如系统发生各种故障时，数据库会因此遭到不同程度的破坏，DBA必须在最短时间内将数据库恢复到正确状态，并尽可能不影响或少影响计算机系统其他部分的正常运行。因此，DBA要定义和实施适当的后备和恢复策略。如周期性的转储数据、维护日志文件等。
（5）数据库的改进和重组重构
DBA还负责在系统运行期间监视系统的空间利用率、处理效率等性能指标，对运行情况进行记录、统计分析，依靠工作实践并根据实际应用环境，不断改进数据库设计。不少数据库产品都提供了对数据库运行状况进行监视和分析的实用程序，DBA可以使用这些实用程序完成这项工作。
另外，在数据库运行过程中，大量数据不断插入、删除、修改，时间一长，会影响系统的性能。因此，DBA要定期对数据库进行重组织，以提高系统的性能。
当用户的需求增加和改变时，DBA还要对数据库进行较大的改造，包括修改部分设计，即数据库的重构造。
一般小型数据库的数据库管理员和数据库设计者是同一个人，中型或大型数据库有多个数据库设计者，要按照DBA制定的规范进行设计。

『拾』 大数据开发和DBA哪个发展前景好

应该是大数据开发比较好的，毕竟大数据，云计算和物联网是未来发展的三大趋版势。大数据权现在虽然没有发展到成熟的阶段。但是在以后的5到10年里，会渐渐的走向成熟的阶段的。以后我们的生活中时时都会出现大数据的影子的。