Hadoop-25 Sqoop迁移 增量数据导入 CDC 变化数据捕获 差量同步数据 触发器 快照 日志
创始人
2025-01-15 22:37:06
0次

章节内容

上节我们完成了如下的内容:

  • Sqoop MySQL迁移到Hive
  • Sqoop Hive迁移数据到MySQL
  • 编写脚本进行数据导入导出测试

背景介绍

这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。
之前已经在 VM 虚拟机上搭建过一次,但是没留下笔记,这次趁着前几天薅羊毛的3台机器,赶紧尝试在公网上搭建体验一下。

  • 2C4G 编号 h121
  • 2C4G 编号 h122
  • 2C2G 编号 h123

在这里插入图片描述

CDC

全称为:变化数据捕获(Change Data Capture)
我们前面执行的都是全量数据的导入。

  • 如果数据量很小,则采取完全源数据抽取
    • 如果源数据量很大,则需要抽取发生变化的数据,这种数据抽取模式叫:“变化数据捕获”,简称 CDC。

如果CDC是侵入式的,那么操作会给源系统带来性能的影响。

基于时间戳

抽取过程可以根据某些属性列来判断哪些数据是增量的,最常见的属性列有以下两种:

  • 时间戳:最好有两个列,一个插入时间戳,表示何时创建,一个更新时间戳表示最后一次更新时间。
  • 序列:大多数数据库都提供自增功能,表中的列定义成自增的,很容易得根据该列识别新插入的数据

时间戳是最简单且常用的,但是有如下缺点:

  • 不能记录删除记录的操作
  • 无法识别多次更新
  • 不具有实时的能力

基于触发器

当执行:INSERT、UPDATE、DELTE 这些 SQL 语句时,激活数据库的触发器,使用触发器可捕获变更的数据,并把数据保存中间临时表里。
大多数场合下,不允许向操作性数据库里添加触发器,且这种会降低系统性能,基本不会采用。

基于快照

可以通过比较源表和快照表来得到数据的变化,基于快照的CDC可以检测插入、更新、删除等数据,这是相对于时间戳的CDC方案的优点。
缺点就是需要大量的空间。

基于日志

最复杂和没有侵入性的就是基于日志的方式,数据库把每个插入、更新、删除都记录到日志里,解析日志文件,就可以获取相关的信息。
每个关系型数据库:日志格式不一致,没有通用的产品。
阿里巴巴的Canal可以完成MySQL日志文件解析。

Append方式

初始化数据

删除 MySQL 中的数据

-- 删除 MySQL 表中的全部数据 truncate table sqoop.goodtbl; 

删除Hive中的数据

-- 删除 Hive 表中的全部数据 truncate table mydb.goodtbl; 

重新生成数据

这个SQL是之前章节写的函数方法,如果你第一次看到这里,你可能需要把前边的文章执行一次。

-- 向MySQL的表中插入100条数据 call batchInsertTestData(1, 100); 

导入Hive

sqoop import \ --connect jdbc:mysql://h122.wzk.icu:3306/sqoop \ --username hive --password hive@wzk.icu \ --table goodtbl \ --incremental append \ --hive-import \ --fields-terminated-by "\t" \ --hive-table mydb.goodtbl \ --check-column serialNumber \ --last-value 50 \ -m 1 

以上参数说明:

  • check-column 用来指定一些列,来检查是否可以作为增量数据进行导入,和关系型数据库自增或时间戳类似。
  • last-value 制定上一次导入检查列指定字段的最大值

在这里插入图片描述

检查Hive

我们通过指令查看 Hive 同步了多少数据过来:

select count(*) from mydb.goodtbl; 

继续生成

call batchInsertTestData(200, 1000); 

增量导入

sqoop import \ --connect jdbc:mysql://h122.wzk.icu:3306/sqoop \ --username hive --password hive@wzk.icu \ --table goodtbl \ --incremental append \ --hive-import \ --fields-terminated-by "\t" \ --hive-table mydb.goodtbl \ --check-column serialNumber \ --last-value 100 \ -m 1 

检查Hive

重新查看Hive,看看目前同步了多少数据过来

select count(*) from mydb.goodtbl; 

相关内容

热门资讯

重大发现透视器!东游大厅透视器... 重大发现透视器!东游大厅透视器多功能AI脚本,东游大厅总是有透视器脚本1、进入游戏-大厅左侧-新手福...
每日必备作弊器!六六互娱作弊器... 每日必备作弊器!六六互娱作弊器多功能AI插件,六六互娱好像存在有作弊器插件1、六六互娱破解器简单,六...
一分钟了解作弊器!战皇大厅作弊... 一分钟了解作弊器!战皇大厅作弊器多功能AI攻略,战皇大厅都是真的有作弊器攻略1、很好的工具软件,可以...
记者发布透视挂!天久大厅透视挂... 记者发布透视挂!天久大厅透视挂多功能AI软件,天久大厅都是真的是有透视挂软件一、天久大厅游戏安装教程...
推荐一款外挂!道游互娱外挂多功... 推荐一款外挂!道游互娱外挂多功能AI软件,道游互娱切实真的是有外挂软件1、完成道游互娱有辅助插件,帮...
如何分辨真伪作弊器!新棋联盟作... 如何分辨真伪作弊器!新棋联盟作弊器多功能AI插件,新棋联盟真是真的是有作弊器插件1、许多玩家不知道新...
一分钟了解透视器!螺旋互娱透视... 一分钟了解透视器!螺旋互娱透视器多功能AI教程,螺旋互娱果然真的是有透视器教程1、进入到螺旋互娱是否...
玩家爆料外挂!至友互娱外挂多功... 玩家爆料外挂!至友互娱外挂多功能AI教程,至友互娱确实真的有外挂教程1、很好的工具软件,可以解锁游戏...
总算了解透视器!新西游大厅透视... 总算了解透视器!新西游大厅透视器多功能AIapp,新西游大厅好像有透视器app1、新西游大厅破解器简...
2分钟细说辅助器!甘孜大厅辅助... 2分钟细说辅助器!甘孜大厅辅助器多功能AI攻略,甘孜大厅果然真的有辅助器攻略1、这是跨平台的甘孜大厅...