本文目录

1. sql一次查询需要关联十几张表，有什么优化方案么
2. 企业关联报表用不用报
3. 什么是连表查询
4. 如何让两张表的数据关联

sql一次查询需要关联十几张表，有什么优化方案么

不知道开发的同学有没有遇到过类似这样的需求：

相同类型的数据在多个系统中，如果要得到全部的信息，就要连续调多个系统的接口；

业务复杂，一个需求需要关联几张表甚至几十张表才能得到想要的结果；

系统做了分库分表，但是需要统计所有的数据。

那么此类需求要如何满足呢？我们选择了“通过ETL提前进行数据整合”的方案。

说到ETL，很多开发伙伴可能会有些陌生，更多的时候ETL是用在大数据、数据分析的相关岗位；我也是在近几年的工作过程中才接触到ETL的，现在的项目比较依赖ETL，可以说是项目中重要的一部分。

ETL是三个单词的缩写：

Extraction：抽取、提取；就是把数据从数据库里面取出来；

Transformation：转换；包括但不限于：数据筛选校验、数据关联、数据内容及结构的修改、运算、统计等等；

Loading：加载；将处理后的数据保存到目标数据库。

从这三个单词基本可以了解ETL的作用：将各个业务系统的数据，通过抽取、清洗、转换之后，将加工后的数据落地到数据库中（数据仓库）；在这个过程中，ETL可以将分散、零乱、标准不统一的数据整合到一起。

我接触过的项目，使用ETL工具的场景有这个几种：

1.报表、BI系统：

在公司建设的初期，业务比较少，系统也比较少，一台数据库就搞定了；随着公司业务的增加，业务系统被拆成很多系统；随着数据量的继续增加，单个系统的数据增加到一定程度的时候，也做了分库分表；

这时候领导、业务人员在用数据做分析的时候，数据来源可能是多个系统的多张表，这时候企图通过一个复杂的SQL跑出来结果就很困难了；通常公司会建立一个数据仓库，通过ETL工具把数据抽取到数据仓库中，再做数据的拟合和展示。

2.跨系统的数据加工或查询：

我们现在所在公司，业务系统有几百个，由于业务流程比较复杂，前端系统在做业务操作的时候，在正式提交交易之前，有很多业务校验；

比如要查询客户在X系统的交易历史，在Y系统的交易历史，在Z系统的交易历史；那么就需要分别调用X、Y、Z系统的接口，这个对前端系统很不友好，那么通常的解决方案是什么？

A方案：做一个中间服务，中间服务去调用X、Y、Z系统的接口，客户端直接调用这个中间服务；这种方案只是把前端要做的事情，转移到了中间服务；

B方案：整合X、Y、Z三个系统，建服务中台；这种方法很好，但是极为难，对于很多公司来说，别说把X、Y、Z三个系统整合成一个中台系统，就是其中一个系统本身进行重构，都是非常困难的；

C方案：把X、Y、Z三个系统中需要的数据，通过ETL抽取加工到一个数据仓库中，对外提供服务；这个系统最大的好处是在不改造X、Y、Z三个系统的前提下，又可以实现跨系统的查询。

我们在C方案的基础上又往前做了一步，就是将落地后的数据又做了一次加工，将需要跨表关联的数据，提前关联好存入MongoDB中，对外提供查询服务；这样可以将多表关联查询，变成了单表查询。

接上文中第二个例子中的C方案，有些同学可能会有个疑问：数据抽取，需要抽取哪些数据呢？为什么不让这些系统把数据吐出来呢？

答案也简单，“有的时候，数据不一定能吐出来”。

MySQL数据库往外吐数据有比较成熟的中间件，比如Canal，它可以通过监听Mysql的binlog日志来获取数据，binlog设置为row模式，能够获取到每一条新增、删除、修改的日志，同时还能获取到修改前后的数据；

其他商用数据库，比如Oracle、DB2等，我也查阅过相关的资料，也是有触发器机制，可以当数据发生变化的时候通知出来，比如调用一段程序，将数据发送到消息队列中，再由其他程序监听消息队列做后续处理。

不管什么类型的数据库，这种“吐数据”的方案，对于基础设施的要求都比较高，并且对原有系统有一定的侵入性；所以我们采用了对原有系统侵入性更小的方案：主动抽数据。

1.优点

侵入性较低，数据源系统只需要开通数据库的访问权限即可，为保证数据抽取对业务的影响，通常是访问源系统的备库，并且单独设置一个只读权限的数据库用户；

支持不同类型数据源的数据抽取，比如源库有Mysql、DB2、Oracle，通过ETL也可以轻松搞定；

数据整合，将不同业务系统的相同数据整合在一起，比如有些系统M/F表示男女，有些系统1/0表示男女，ETL在抽取加工后转换成统一的编码；

2.缺点

比较致命的一个缺点，就是数据抽取和加工有一定的延迟，需要根据业务场景进行评估，是否接受这个延迟；

可能会受到源库表结构变化的影响；

如果源库中的表没有时间戳，或者时间戳不准确，那么增量抽取就变得很困难；

需要招聘ETL开发岗，从我目前的经验看，不是特别好招。

企业关联报表用不用报

企业的关联报表是需要上报的。在关联报表的内容中，反映了关联企业的应收账款股权结构，债权债务等情况。有利于决策层对关联企业的情况准确掌握

什么是连表查询

连表查询是指在关系型数据库中，通过多张表之间的关联字段进行查询，从而实现跨表查询数据的过程。在实际应用中，很多数据需要存储在不同的表中，因此就需要使用连表查询来获取这些数据。

例如，在一个包含订单和客户信息的数据库中，如果需要查询某个客户的所有订单记录，就需要通过客户ID关联订单表中的客户ID字段，才能得到相关的订单信息。

如何让两张表的数据关联

1通过使用vlookup函数或index+match函数实现两个表数据的对应关联。2vlookup函数可以通过在一个表中查找一个数值，并且在另一个表中返回相关信息。index+match函数则是先使用match函数确定匹配行，然后通过index函数返回该行相应列的值。3此外，需要确保两个表的对应数据字段一致，否则关联将失败。补充说明：对于初学者来说，在进行数据处理的过程中，对表格进行合并、比较数据时，表格的对应关系是非常重要的。因此，熟练掌握数据处理软件中数据关联的相关函数，可以帮助我们更好地应对各种数据处理挑战。

关于本次sql一次查询需要关联十几张表，有什么优化方案么和不建议关联多张表查询的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。