当前位置:网站首页 > 数据科学与大数据 > 正文

怎么将sql文件转成表格(sql 表数据生成到文件)



sql server 用数据生产新表_数据仓库

最近公司打算集中梳理几大业务系统的数据,希望将各个业务系统中的数据集中到数据仓库中。总共有5000多张数据表,但是好在业务数据量没有像电商那么庞大,也就几十个G。

其实这个需求很简单,就是把这5000多张不同数据库中的表放到一个地方。需要注意的有以下几点:1、数据来自各种不同类型的数据库,有SQL Server,MySQL和Oracle2、表的数据量较多,一个一个写查询代码肯定不现实3、后续数据仓库的维护

由于数据量不是很大,我打算用DBLINK来实现从不同的库中抽取数据到数据仓库中。

1、创建不同的DBLINK

数据仓库我们目前使用的是SQL Server的服务器,整体性能还可以。但是业务系统的数据库类型不一,在新建DBLINK时有不同的要求:a、针对SQL Server的业务数据库可以直接在服务器上新建

sql server 用数据生产新表_数据库_02

b、针对MySQL和Oracle的业务数据库需要先使用ODBC作用中间组件来配置。

sql server 用数据生产新表_数据表创建它的实体类和业务类_03

2、查询数据库中的所有表表名

每个业务数据库都是全库抽取,那么首先需要找到这些数据库中的所有表。这里我们以SQL Server为例来查找数据库中的所有表。

上面的代码就可以把当前库中的所有表的表名都给查询出来,我这里在家里电脑测试了一下,给大家看下截图:

sql server 用数据生产新表_数据表创建它的实体类和业务类_04

大家也可以在自己的电脑上试一试就知道了。

Oracle获取用户表表名的代码如下:

MySQL获取用户表表名的代码如下:

3、循环抽取数据

我们在完成上面两步后,就可以开始循环抽取各业务系统的数据了。这里我们需要写一个游标来循环执行。具体代码如下:

目前只是测试代码,后续在性能上还可以继续优化。

4、设置定时任务

代码写好了,肯定不可能每天手动去执行,这时候我们可以使用数据库的定时任务,这个我在以前的文章中有提到过。《数据库任务自动化其实很简单,JOB的简单介绍》

sql server 用数据生产新表_sql server 用数据生产新表_05

我们把代码放到定时任务里面,让它每天凌晨1点执行即可。

这个办法在处理数据量不多的情况下是可行的,如果数据量较大,性能上会存在较大风险。

下面我们回顾一下做了哪些内容:

1、创建不同数据库的DBLINK

2、查询到每个数据库的所有表名

3、使用游标循环插入到数据仓库

4、设置定时任务执行上面的游标

到此这篇怎么将sql文件转成表格(sql 表数据生成到文件)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • st7735s中文数据手册 pdf(st7735 spi)2025-01-19 11:36:05
  • 全文数据库的缩写(数据库的缩写是什么)2025-01-19 11:36:05
  • 学数据库的基础(数据库要什么基础)2025-01-19 11:36:05
  • 数据库增删改查关键字(数据库查删改增语句)2025-01-19 11:36:05
  • 自动驾驶数据集 yolo(自动驾驶数据集搭建)2025-01-19 11:36:05
  • 自动驾驶数据安全问题文献(自动驾驶数据安全问题文献汇编)2025-01-19 11:36:05
  • druid数据库连接池一直满(druid连接池满了)2025-01-19 11:36:05
  • 数据库课程名称叫什么(数据库的课程名称)2025-01-19 11:36:05
  • oracle数据库入门教程菜鸟(oracle数据库 菜鸟)2025-01-19 11:36:05
  • 大数据培训班一般多少钱一年(大数据培训费用一般多少钱)2025-01-19 11:36:05
  • 全屏图片