『壹』 对数据库进行多表联合查询,是不是有很大的性能影响
必须的。影响比较大,10万不到的两个表 left outer join 如果右表有null 还要group 之类 没2 30秒 查不出来
常用的话, 建议做新表 外键约束 或者过程存储
『贰』 数据库-联表查询
SQL使用(一)——联合查询
1.联合查询分类
内连接(inner Join 或 Join)
外连接(outer Join)
左外连接(left outer Join 或 left Join)
右外连接(right outer Join 或 right Join)
全外连接(full outer Join 或 full Join)
交叉连接 (cross Join)
结果集链接 (union 和 union all)
2.联合查询介绍
相关数据表如下:
A表
B表
C表
2.1内连接(Inner Join)
内连接:仅显示两个表中匹配行,即两表中都有才显示。
SQL如下:
SELECT A.id AS AID, A.content AS AContent, B.id AS BID, B.content AS BContent FROM A INNERJOIN B ON (A.id = B.id);
1
2
3
4
5
6
7
8
查询结果:
由查询结果可以看出,内连接根据连接条件(A.id=B.id)查询出了A、B两表中都存在的数据信息。2个表的联合查询结果如此,那么3个表甚至更多表联合查询的结果呢?
A、B、C三表联合内查询SQL
SELECTA.idASAID, A.contentASAContent, B.idASBID, B.contentASBContent, C.idASCID, C.(A.id = B.id)INNERJOINCON(A.id = C.id)
1
2
3
4
5
6
7
8
9
10
11
查询结果:
啊?怎么多了一行数据?不用惊讶,其实C表中有2个id为1的记录,然而我们怎么理解得到的查询结果呢?
可以把A、B两表的查询结果作为T表(中间结果表),然后T表内连接C表,连接条件为T.A.id=C.id。
简单来说n(n>=2)都可以看做两张表的联合查询,后面的小节将只介绍两个表的联合查询。
2.2外连接(Outer Join)
2.2.1左外连接(Left outer Join)
左外连接:左表有就显示,不论右表。
SQL:
SELECTA.idASAID, A.contentASAContent, B.idASBID, B.(A.id = B.id);
1
2
3
4
5
6
7
8
查询结果:
左连接并不是把B表左连接到A表上,而是把A表作为基准表。由查询结果可以看出,A、B两表左连接,只要A中有结果,无论B表中有无结果,都会被查询出来。
2.2.2右外连接(Right outer Join)
右外连接:右表有就显示,不论左表。
SQL:
SELECTA.idASAID, A.contentASAContent, B.idASBID, B.(A.id = B.id);
1
2
3
4
5
6
7
8
9
查询结果:
右连接和左连接类似,只是把B表(连接的表)作为基准表。由查询结果可以看出,无论A表是否存在其他数据,只要B表数据存在就会被查询出来。
2.2.3全外连接(Full outer Join)
全外连接:左表/右表,有一个有就显示。
SQL:
SELECTA.idASAID, A.contentASAContent, B.idASBID, B.(A.id = B.id);
1
2
3
4
5
6
7
8
9
查询结果:
全外连接查询就字面意思也不难看出是查询出两表(A、B)中的所有记录信息。
注:MySQL中不支持全外连接(但是可以union来实现,后面会介绍)。
2.2交叉连接(Cross Join)
SQL:
SELECTA.idASAID, A.contentASAContent, B.idASBID, B.;
1
2
3
4
5
6
7
8
9
查询结果:
由结果可以看出,交叉连接是对A、B量表进行笛卡尔积的结果查询出来。即A的每条记录都有和B中所有记录相对应的信息。
2.3 SQL Union
SQL Union用于将多个select结果集进行合并。值得注意的是,UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时,每条 SELECT 语句中的列的顺序必须相同。
SQL:
SELECT*FROMAUNIONSELECT*fromB;
1
查询结果:
Union是把2个Select结果集进行合并,由查询结果也不难看出,A、B两表的结果数据进行了合并,并且都被查询出来了。
如果2个Select结果集中存在相同的结果,用Union则会把相同的记录进行合并,查询结果中仅仅会显示一条。那么如果想都显示出来,把Union换成Union All 即可。
Union实现Full outer Join:
1.首先获取A、B表中id的不同组合。
SQL:
CREATEVIEWvasSELECTA.idfromAUNIONSELECTB.idfromB;
1
视图内存如下:
2.以视图V为基本表,Left Join A、B表即可。
SQL:
SELECTA.id, A.content, B.id, B.contentFROMvLEFTJOINAON(A.id = v.id)LEFTJOINBON(B.id = v.id);
1
2
3
4
5
6
7
8
9
查询结果如下:
『叁』 mysql索引建多了有什么坏处
你现在种方法效率其实是差不多的,都非常低,极端低,最低
一、如果不改进效率,只简化程序,我有建议你对新闻类别进行二进制编码,仍然使用features一个字段来表示,字段为整数类型,使用最低开始的四个二进制位是否为1来表示是否为图片新闻、头条新闻、首页新闻、重要新闻,例如7(二进制的0111)表示具有头条、首页、重要三个属性。查询的时候使用位运算&来实现,图片新闻、头条新闻、首页新闻、重要新闻的权重分别是8、4、2、1,这时候假若调用三条是图片新闻的新闻时,直接可以用sql语句:
select * from news where features & 8=8 order by news_id desc limit 0,3;
假若调用三条是图片新闻、并且重要新闻时,直接可以用sql语句:
select * from news where features & 9=9 order by news_id desc limit 0,3;
看见没有,可以查询具有一种属性的,也可以查询具有多种属性的数据,程序很方便。
二、高效的办法是另外建立表来记录各类新闻,冗余保存数据到多个表中,需要查什么新闻就在哪一个表中查询。但是程序会非常复杂,保存的时候要根据类别存储到不同的表中,修改的最麻烦,如果修改类别还需要把数据从一个表移动到另外的表。当然,作为新闻这样的应用,都是保存一次、修改一二次、查看成千上万次,为了整体效率肯定是关键优化查询代码。
另外,站长团上有产品团购,便宜有保证
『肆』 多表连接查询和多次单表查询哪个效率高为什么
如果数据量小的表,这样的设计意义不大,而且当然是单表速度快。若在大数据量情况下,设计非常有意义。在多表连接中注意数据的条目和外健,避免出行大量冗余数据导致性能下降。下面我以Oracle讲讲数据查询的整个过程技术。
由于数据分布到数据块,在大量数据设计中可以将数据存储于多个数据块,在高并发进程的随机访问的情况下,能有效减少块冲突 同样的数据需要更多的数据块来存储,由于数据块的块头元信息大小固定,所以需要更多的空间来存储块头元信息。行长度过大容易导致行连接,从而导致Oracle获取数据块的效率降低 ,在行长度固定的前提下,单块能够存储更多的数据行,也就意味着Oracle一次I/O能读取更多的数据行。适合连续顺序读或者存放大对象数据(如LOB数据) 由于大数据块可以存放更多的索引叶节点信息,容易引起争用,所以大数据块不适合存放索引叶节点信息。
大量数据表的数据库参数设置DB_FILE_MULTIBLOCK_READ_COUNT表示Oracle一次顺序I/O读操作最多能读取的数据块块数。该参数的默认值随操作系统的不同而不同。在全表扫描或者索引快速扫描比较多的系统中(如DSS系统),建议将该值设置得较大。但是DB_FILE_MULTIBLOCK_READ_COUNT参数受操作最大单次I/O大小的限制,大多数操作系统单次读操作的大小不能超过1MB,这也就意味着在8KB数据块大小的情况下,该参数最大值为128。值得一提的是,该参数的大小还会影响Oracle CBO对执行计划的评估,如果设成较大值,Oracle的执行计划倾向于全表扫描。当该参数设置为0或者保持默认时,CBO假设全表扫描时最多能连续读取8个数据块。从Oracle 11R2开始,DB_FILE_MULTIBLOCK_READ_COUNT的取值算法如下:
db_file_multiblock_read_count = min(1048576/db_block_size , db_cache_size/
(sessions * db_block_size))
注意数据库参数BLOCK_SIZE在设定之后,在数据库生命周期内不可更改。
当执行SELECT语句时,如果在内存里找不到相应的数据,就会从磁盘读取进而缓存至LRU末端(冷端),这个过程就叫物理读。当相应数据已在内存,就会逻辑读。我物理读是磁盘读,逻辑读是内存读;内存读的速度远比磁盘读来得快。
下面将本人大数据分区设计截图,为大家参考学习。
先贴俩图镇镇场。
引言
对于内连接,使用单个查询是有意义的,因为你只获得匹配的行。
对于左连接,多个查询要好得多。
看看下面的基准测试:
5个连接的单个查询
一行5个查询
注意,我们在两种情况下得到了 相同的结果 (6 x 50 x 7 x 12 x 90 = 2268000)
对于冗余数据,左连接使用更多的内存。
如果只执行两个表的连接,那么内存限制可能没有那么糟糕,但通常是三个或更多的表,因此值得进行不同的查询。
用过Laravel吗?还记得 Eloquent ORM模型吗?
不知道有没有注意到,debug所打印出来的多表联合查询,
都是拆分为“单个表查询”,然后使用PHP处理的。
Happy coding :-)
是做表连接查询还是做分解查询要具体情况具体分析。
如果数据库的结构合理,索引设计得当,表连接的效率要高于分解查询。比如,在有外键的时候,数据库可以为外键建表并建立索引从而提升多个表连接查询的效率。另外,多表连接查询不需要把数据传输到应用程序中,直接在数据库端执行,这在很大程度上提升了效率。
但是多表连接也有一些缺点。多表连接对表结构的依存度很高,只要表结构出现变更就会同时对数据库检索和应用处理两个部分产生较大影响。另外,多表连接的兼容性不好,数据库不同SQL文也多少有些差异。而且采用分散数据库的时候,实现多表连接即麻烦又没有什么好处。因此,一些大型系统或者是支持多种类数据库的系统一般不会使用多表连接,而倾向于采用分解查询。
这个得看情况,一般数据不大的情况下多表连接查询和多次单表查询的效率差不多。如果数据量足够大,那肯定是多次单表查询的效率更高。在很多大的公司里面,都会禁用多表连接查询,原因就是一旦数据量足够大的时候多表连接查询效率会很慢,而且不利于分库分表的查询优化。那么看一下下面这个例子。
两种查询方式的比较我这里有一个数据库,我们拿里面的客户表和地区表做两种查询的对比。用户表数据是31万条,地区表3511条。
1. 使用连表查询成都市的客户总数
2.使用多次单表查询客户总数
可以看到,查询出来的结果都是一样,但是第一种的连表查询用了0.67秒中,而第二种多次单表查询一共用时0.14秒。这个对比已经是很明显了吧。
虽然这只是一个很简单的例子,但是对比结果是非常明显的。在实际应用中可能会更复杂、数据更多,如果还使用连表查询时非常慢的,而且还消耗服务器资源。
所以现在在很多大了公司明确要求禁止使用join查询,比如阿里、腾讯就明确规定禁用三表以上的join查询。
总结一下,单表查询的优点1. 多次单表查询,让缓存的效率更高。
许多应用程序可以方便地缓存单表查询对应的结果对象。另外对于MySQL的查询缓存来说,如果关联中的某个表发生了变化,那么就无法使用查询缓存了,而拆分后,如果某个表很少改变,那么基于该表的查询就可以重复利用查询缓存结果了。
2. 将查询分解后,执行单个查询可以减少锁的竞争。
3. 在应用层做关联,更容易对数据库进行拆分,更容易做到高性能和可扩展。
4. 查询本身效率也可能会有所提升。
5. 可以减少冗余记录的查询。
6. 在应用中实现了哈希关联,而不是使用MySQL的嵌套环关联,某些场景哈希关联的效率更高很多。
7. 单表查询有利于后期数据量大了分库分表,如果联合查询的话,一旦分库,原来的sql都需要改动。
8. 很多大公司明确规定禁用join,因为数据量大的时候查询确实很慢
所以在数据量不大的情况下,两种方式的查询都没什么明显的差别,使用多表连接查询更方便。但是在数据量足够大几十万、几百万甚至上亿的数据,或者在一些高并发、高性能的应用中,一般建议使用单表查询。
如果觉得笨猫的回答对你有用,点个关注,非常感谢。
做java的,在orm框架下,分解查询是最符合面向对象操作的,挺支持分解查询的(拙见)
先说结论:不一定。
多表查询效率低的时候,可以考虑拆解sql成多个小的sql,至于效率是否一定会提高,这个还不一定,具体问题具体问题。当多表查询效率低的时候,拆解成单个小sql,这只是一个可能的思路,起不起作用,不一定。
sql是一个很复杂的东西,sql引擎会分析执行计划,并可能按照他认为最优的执行计划执行sql,但他认为的也不一定是正确的。不同的sql执行计划不一样,所以很难断定sql拆解或者合并的效率。
说了这么多,那到底是多表联合查询还是拆解呢?有没有一个原则? 有!如果你确定你的单个sql的执行效率比较快,当然可以写多个单个sql。当然了,具备这个能力需要你对数据库足够了解,比如什么时候走索引,什么时候nested loop等等。如果你现在的多表联合查询比较慢,你需要找出来慢的原因,并分析拆解后的sql的执行计划,看是否避免了多表联合查询的效率问题。
总之吧。这个问题,只能给你一个大体的思路,因为牵扯到很多基础问题,我觉得最起码sql执行计划应该需要了解,一个sql可能的执行计划有几十中,复杂sql的执行计划又是这几十种的组合。哪种效率低,哪种效率高应该有个大体了解。
多表查询可以很快,也可以很慢。主要看执行计划。
单次肯定是多表连接查询的效率高,但多次单表查询的吞吐量高,而且容易优化,例如分库分表,使用缓存减少DB访问次数等等,所以在大数据量高并发场景通常使用多次单表查询的方式。另外,不管是单表还是多表连接查询,SQL的执行时间和数据量、并发量都有很大关系,和扫描的数据行数也很有关系。如果一条SQL,平时执行一次要2秒,10个并发时,系统可能一点问题都没有,1000个并发时,数据库可能就被拖死了。我们组之前碰到过好几次这种问题,一张只有几万条数据的表,因为忘记加索引,平时执行只有几百毫秒,高峰期直接飙到几十秒,DB差点被拖垮。
单纯从效率来讲,join的表不太多时,join效率比较高。但是占用的主要是数据库服务器的资源。数据库资源又是个瓶颈,不易横向扩展。所以在数据量大的时候,我们会采用单表查询,把循环和匹配等大量工作移到应用服务器上。应用服务器容易扩展,对并发支持更好。
当数据量大到千万级以上,就建议尽可能减少join,鼓励使用单表查询。查询优化比较容易。这时候使用join的一个大型查询就可能花很久,对其他查询造成阻塞,导致服务不可用。
当考虑单表查询后,就会衍生一系列的策略,比如冷热数据分离,将热数据和 历史 数据分离,大幅降低数据量级以提高热数据查询性能,并可以使用内存缓存。这样又促使你考虑引入微服务架构。
总结,数据量小,查询并发少,那么使用join的性能是可控的,开发成本低。当数量级上升到千万级且不断增加,尽早考虑向单表查询切换,否则可能有性能下降会导致系统奔溃。而且性能下降不是线性的,会陡降。
『伍』 影响数据库性能的主要因素有哪些
以MySQL为例:
1、sql查询速度
2、网卡流量
3、服务器硬件
4、磁盘IO
以上因素并不是时时刻刻都会影响数据库性能,而就像木桶效应一样。如果其中一个因素严重影响性能,那么整个数据库性能就会严重受阻。另外,这些影响因素都是相对的。
例如:当数据量并没有达到百万千万这样的级别,那么sql查询速度也许就不是个重要因素,换句话说,你的sql语句效率适当低下可能并不影响整个效率多少,反之,这种情况,无论如何怎么优化sql语句,可能都没有太明显的效果。
1、SQL查询速度
风险:效率低下的SQL
2、网卡流量
风险:网卡IO被占满(100Mb/8=100MB)
方案:
①减少从服务器的数量。从服务器都要从主服务器上复制日志,所以,从服务器越多,网络流量越大。
②进行分级缓存。前方大量缓存突然失效会对数据库造成严重的冲击。
③避免使用“select * ”进行查询
④分离业务网络和服务器网络
3、磁盘IO
风险:磁盘IO性能突然下降。
方案:使用更好的磁盘设备解决。