❶ 大数据时代下,DBA该何去何从
大数据时代下,DBA该何去何从
数据库管理员（DBA）的职能已扩展到数据管理、基础架构管理以及工作负载和SLA管理上。作为大数据战略的一部分，DBA的角色又是如何变化的呢？
数据管理
* 为成为数据管理专家而努力。虽然SQL数据库可以扩展以处理大数据，但数据库并不是最优解决方案。DBA正在预算方面做努力，在预算范围内，以最低的成本满足SLA。
* 出现数据ops概念。数据管理和数据治理。数据操作是团队的一部分，在收集和创建数据时共享目标、协作工作。使用自动化来挤压延迟、采取最合适的敏捷方案以提高提高效率。
* 管理、治理和软件交付。维护数据库模型和模式。在大数据中，从定义明确的转换到应用程序和工程师之间的协同工作，一切都是具有探索性的。
* 虽然开发人员认为不需要数据管理，但为了后续的分析数据，DBA们仍需要进行数据管理。
* DBA从管理数据库转变为跨多个系统的数据工程师。他们关注的是数据如何从一个数据库转移到另一个数据库、数据的消耗、数据的调整以及数据流程的管理，对于数据自动分配和执行来说这些都至关重要。
* DBA已经不再是单单只关注像SQLServer和Oracle这样的个人产品，而是必须要处理好企业大数据实施方案的执行问题。
基础架构和平台
DBA的角色已经被推到第一线上。对IT栈的演变负责。基础设施和平台的认定范围变的更大。
*这是一个不容忽视的大挑战，应用程序所使用的数据库技术不再归于DBA的控制范围内。迁移到云上的比重越大，DBA的控制范围就越小。数据越来越多，同时也在不断推出新的数据库。管理数据基础设施、提出大数据的解决喝整合方案、掌握如何归档和处理灾难恢复的技能。AWS似乎将云中的数据库选项绑定到了DBA上。DBA仍然需要在备份、灾难恢复和海量存储上多费心思。值得在备份和存储方面进行更具战略性的思考。
DBA比以往更重要，因此他们也需要学习：如何有效地集成存储在RDBMS系统中的遗留数据，同时大数据技术也是必不可少的。
* 由于大数据改变了数据架构，DBA的存在可能需要不是立竿见影的，但确实是实实在在的。新技术为数据管理提供了新的契机，使DBA和数据模式打开了一个新时代。
* 事实上，没有数据模式和Hadoop的NoSQL平台，以及支持它的一系列工具，会越来越多地部署在企业中。现在开发人员在数据本身的设计上有更多的影响力。
* 这在扩大DBA的专业范围上起到了推动作用：必须学习NoSQL系统的机制和操作；掌握管理Hadoop集群的能力；实施“无需存储数据存储数据”的方法。
* 而且，NoSQL的灵活性是以数据完整性为代价，这种模型的难度更高。目前，许多公司的网络应用程序的数据完整性已经给灵活性让位了。
* DBA必须适应设计和开发的风格变化。DBA也需要运行几个关系系统，并且认真学习NoSQL技术，对指导公司做出的部署负责。将来可能会划分出几种类型的DBA：局限于技术的；传统的管理员；努力学习并适应管理大数据的新技术和工具的。
* DBA始终是整个软件开发流程的一部分。在目前的环境中，更是需要所有的DBA都参与到整个开发过程中，尤其是规划、范围界定和原型设计部分。DBA能为企业提供有关数据基础设施功能、所需变更成本、潜在性能影响以及总体容量规划等项目的具体信息。
*鉴于对数据的使用要求，更多特定数据平台范围之外的技术正被用于实施解决方案。DBA不仅仅要专注于SQL、DDL等，还要掌握JavaScript、Java、.NET等技术。DBA会越来越精通应用容器化和系统容器化（Docker、Rkt、Linux容器等）。DBA压力会越来越大，一旦与其他角色联系到一起，数据及其管理都是穿插着多条生命线，因此需要掌握的技术就不断增加。
成功采用大数据策略的企业，早已经把DBA转变为新型数据基础管理员，包括NoSQL数据库和Hadoop在内。与开发数据管理逻辑的数据开发人员、处理和准备数据的数据科学家以及业务线上的数据分析人员相结合，DBA是操作大数据战略的重要部分。现在，DBA依赖于更智能的工具，这些工具可以管理并报告各种数据库和技术框架的数据基础架构和流程。
工作负载和SLA
* 工作结构消失了。有类型更为广泛的问题需要解决。要实现混合的环境在流和批处理中交付新的工作负载，同时又能跟得上变化。
* 现在，有许多不在数据库中管理数据，而是将数据组织成超级管理数据的数据生态系统一部分的做法。了解通信、链接的速度、安全性以及如何将来源汇集在一起。
* 比起以往，现在有更多的技术管理。理解并管理一个数据仓库的技术方法有10到20种。为了能给问题选择出正确的技术，便于管理，规模较大的企业正在考虑将搜索、NoSQL、Hadoop和GPU技术标准化。
* 从一个拥有数据库领域知识的系统管理员，到现在需要掌握处理数据集成、非结构化数据、自然语言处理、文档存储和统计。工具集可以能够简化工作。关系数据库不会有大的进展，但大数据存储会有新变化。
1. 大数据时代，DBA的角色发生了重大变化。在很长一段时间里，DBA仅仅只是一个系统管理员。他们的确有SQL知识、知道该如何优化SQL，以及对构建数据库的理解，但他们并没有主动参与到数据库系统里数据的特定用途上。
2. 大数据DBA对数据和非关系数据模型的应用程序有更深入的了解，并且必须具备执行数据集成的知识，这些数据集超出了用于商业智能（BI）应用的传统提取——转换——加载过程（ETL）。
❷ mysql select 大数据量表,如何优化 SQL 语句
你用 in语句就意味着你抛弃了索引了，in语句对索引不理想，可以先用table2和table1 查询， 然后用结果再和table3匹配，这样貌似给ID加上索引能用的充分点，
❸ 请教MS Sql Server 2008 大数据处理方案(10亿以上)
如果你每次查找的数据都是在一个固定的范围，那么就可以按照这个条件来做表分区。
如果作为条件的字段的记录重复率不高，那么创建索引肯定可以提高查询速度。
另外不知道你每次查询需要返回的数据量是多少？
❹ sqlserver2000 如何提高分页查询大数据量的效率
sqlserver2005及以上的版本有row_number()函数可以高效分页，sqlserver2000的话只能看算法了
❺ 大数据其实就是写sql吗
大数据产业上游是基础支撑层，主要包括网络设备、计算机设备、存储设备等硬件供应，此外，相关云计算资源管理平台、大数据平台建设也属于产业链上游;
大数据产业中游立足海量数据资源，围绕各类应用和市场需求，提供辅助性的服务，包括数据交易、数据资产管理、数据采集、数据加工分析、数据安全，以及基于数据的IT运维等;
大数据产业下游则是大数据应用市场，随着我国大数据研究技术水平的不断提升，目前，我国大数据已广泛应用于政务、工业、金融、交通、电信和空间地理等行业。
❻ 如何提高SQL Server大数据条件下的查询速度
1.关于索引优化
建索引的选择必须结合SQL查询、修改、删除语句的需要，一般的说法是在WHERE里经常出现的字段建索引。如果在WHERE经常是几个字段一起出现而且是用AND连接的，那就应该建这几个字段一起的联合索引，而且次序也需要考虑，一般是最常出现的放前面，重复率低的放前面。
SQL
Server提供了一种简化并自动维护数据库的工具。这个称之为数据库维护计划向导（Database
Maintenance
Plan
Wizard
，DMPW）的工具也包括了对索引的优化。如果你运行这个向导，你会看到关于数据库中关于索引的统计量，这些统计量作为日志工作并定时更新，这样就减轻了手工重建索引或者DBCC
INDEXDEFRAG所带来的工作量。如果你不想自动定期刷新索引统计量，你还可以在DMPW中选择重新组织数据和数据页，这将停止旧有索引并按特定的填充因子重建索引。
2.
改善硬件（双CPU，Raid
5，增加内存）
tempdb这个临时数据库，它对性能的影响较大。tempdb和其他数据库一样可以增大，可以缩小。当数据文件需要增长的时候，通常不能保持剩余部分的连续性。这时文件就会产生碎片，这种碎片会造成性能下降。这种碎片属于外来性碎片。要阻止在tempdb中产生外来性碎片，必须保证有足够的硬盘空间。一般将tempdb的容量放到平均使用容量。而你也应该允许tempdb自动增长，比如你有个一个超大的join操作，它建立了一个超过tempdb容量的时候，该查询将失败。你还要设置一个合理的单位增长量。因为如果你设得太小，将会产生许多外来性碎片，反而会占用更多资源。sqlserver调优最有效的做法之一，就是把争夺资源的操作独立出去。tempdb就是一个需要独立出去的部分而tempdb和其他系统库一样是公用的，是存取最可能频繁的库，所有处理临时表、子查询、GROUP
BY、排序、DISTINCT、连接等等。它最适合放到一个具有快速读写能力的设备上。比如RAID0卷或RAID0+1卷上。
查询语句一定要使用存储过程；
3、查询尽量使用TOP子句
4.将表按一定的约束分成子表,(如按分类)创建约束,在用Like
时,先用分类
and
like
,
应该可能解决问题.
而且效果立秆见影!(你要确定SQL会认识你建的分区视图).我一个表有上百万的记录(700兆),用分区视图后,查询速度基本跟10万行一样.
如果还是太慢,还可以考滤分布式分区视图!这总可以解决问题了吧!
关键在于你能否把大表按某种约束分解成子表.
❼ 关于SQL大数据量的优化问题.可以有哪些有效办法
比如：
CREATE TABLE `admin` (
`username` varchar(255) DEFAULT NULL,
`password` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
❽ 如何优化大数据高并发量的系统的SQL语句提高效率
1、HTML静态化
效率最高、消耗最小的就是纯静态化的html页面，所以尽可能使网站上的页面采用静态页面来实现，这个最简单的方法其实也是最有效的方法。但是对于大量内容并且频繁更新的网站，无法全部手动去挨个实现，于是出现了常见的信息发布系统CMS，像常访问的各个门户站点的新闻频道，甚至他们的其他频道，都是通过信息发布系统来管理和实现的，信息发布系统可以实现最简单的信息录入自动生成静态页面，还能具备频道管理、权限管理、自动抓取等功能，对于一个大型网站来说，拥有一套高效、可管理的CMS是必不可少的。
2、图片服务器分离
对于Web服务器来说，不管是Apache、IIS还是其他容器，图片是最消耗资源的，于是有必要将图片与页面进行分离，这是基本上大型网站都会采用的策略，他们都有独立的图片服务器，甚至很多台图片服务器。这样的架构可以降低提供页面访问请求的服务器系统压力，并且可以保证系统不会因为图片问题而崩溃，在应用服务器和图片服务器上，可以进行不同的配置优化，比如apache在配置ContentType的时候可以尽量少支持，尽可能少的LoadMole，保证更高的系统消耗和执行效率。 这一实现起来是比较容易的一现，如果服务器集群操作起来更方便，如果是独立的服务器，新手可能出现上传图片只能在服务器本地的情况下，可以在令一台服务器设置的IIS采用网络路径来实现图片服务器，即不用改变程序，又能提高性能，但对于服务器本身的IO处理性能是没有任何的改变。
3、数据库集群和库表散列
大型网站都有复杂的应用，这些应用必须使用数据库，那么在面对大量访问的时候，数据库的瓶颈很快就能显现出来，这时一台数据库将很快无法满足应用，于是需要使用数据库集群或者库表散列。
4、缓存
缓存一词搞技术的都接触过，很多地方用到缓存。网站架构和网站开发中的缓存也是非常重要。架构方面的缓存，对Apache比较熟悉的人都能知道Apache提供了自己的缓存模块，也可以使用外加的Squid模块进行缓存，这两种方式均可以有效的提高Apache的访问响应能力。
网站程序开发方面的缓存，Linux上提供的Memory Cache是常用的缓存接口，可以在web开发中使用，比如用Java开发的时候就可以调用MemoryCache对一些数据进行缓存和通讯共享，一些大型社区使用了这样的架构。另外，在使用web语言开发的时候，各种语言基本都有自己的缓存模块和方法，PHP有Pear的Cache模块，Java就更多了，.net不是很熟悉，相信也肯定有。