从零开始:大数据组件实现增量同步工具(maxwell,canal):上
创始人
2024-11-18 05:07:26
0

一.软件安装包

1.1 window上使用到的工具:

Vmare ,finalshell ,Navicat , centos7 ,mysql 

1.2 linux上各个工具的版本信息

mysql8.0
javajdk-11.0.23
kafka kafka_2.12-2.4.1
zookeeperapache-zookeeper-3.5.9-bin
maxwell maxwell-1.29.2
canal canal_1.14

已经打包好了在这

链接:https://pan.baidu.com/s/11peATgs1Ox3NMZQA4ciuBg?pwd=sufg 
提取码:sufg 
--来自百度网盘超级会员V1的分享

二.集群化环境前置准备

2.1 创建一台初始虚拟机

 

进入主界面选择文件,选择新建虚拟机 ,选择典型

选择稍后安装操作系统

为虚拟机命名,并配置安装路径

其他设置如图,当然如果你电脑配置足够好,开个8+4+4简直是随心所欲的话,怎么开心怎么来。

但这种设置也基本就上可以了

打开虚拟机前为其做如下配置

2.1.1固定IP地址

1.在VMware Workstation 中配置IP地址的网关和网段 2.在Linux系统中手动修改配置文件,固定Ip

第一步:打开虚拟机---->点击编辑----->点击虚拟网络编辑器

第二步:把子网IP网段设置成自己想要的 , 掩码设置为255.255.255.0

第三步:点开NAT网关设置,把网关IP设置为IP网段中的任意IP

第四步:打开root用户,使用vim 打开 /etc/sysconfig/network-scripts/ifcfg-ens33 , 做如下修改

第五步:重启网卡

systemctl stop network systemctl start network

2.1.2:设置主机名

hostnamectl set-hostname node1

2.1.3 :windows中映射虚拟机ip

在windows中以管理员的方式打开记事本找到文件hosts

配置如下

192.168.8.131 node1 192.168.8.132 node2 192.168.8.133 ndoe3

此后我们已经把此虚拟机配置成ip固定为 192.168.8.13

主机名为:node1

并且在windows系统中用node1就可以直接映射到虚拟机的ip地址

设置完成之后我们可以在finalshell用固定ip远程登录虚拟机了

2.2:安装mysql

2.2.1 配置yum仓库

# 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023  # 安装Mysql8.x版本 yum库 rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-2.noarch.rpm

2.2.2 使用yum安装Mysql

# yum安装Mysql yum -y install mysql-community-server

2.2.3 安装完成后,启动MySQL并配置开机自启动

systemctl start mysqld		# 启动 systemctl enable mysqld		# 开机自启

2.3配置mysql

2.3.1获取Mysql的初始密码

# 通过grep命令,在/var/log/mysqld.log文件中,过滤temporary password关键字,得到初始密码 grep 'temporary password' /var/log/mysqld.log

2.3.2登录mysql

# 执行 mysql -uroot -p # 解释 # -u,登陆的用户,MySQL数据库的管理员用户同Linux一样,是root # -p,表示使用密码登陆  # 执行完毕后输入刚刚得到的初始密码,即可进入MySQL数据库

2.3.3修改root密码

set global validate_password.policy=0;		# 密码安全级别低 set global validate_password.length=4;		# 密码长度最低4位即可  ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '密码';	-- 密码需要符合:大于8位,有大写字母,有特殊符号,不能是连续的简单语句如123,abc

2.3.4允许远程登录

# 第一次设置root远程登录,并配置远程密码使用如下SQL命令 create user 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码!';	-- 密码需要符合:大于8位,有大写字母,有特殊符号,不能是连续的简单语句如123,abc  # 后续修改密码使用如下SQL命令 ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码';

设置完成之后可在windows系统中远程登录虚拟机中的mysql了

2.4安装java环境

把网盘里的文件通过finalshell直接传带虚拟机中

这里拿canal举例

创建文件夹,用来部署JDK,将JDK和安装部署到:/export/server 内

mkdir -p /export/server

解压jdk安装文件

tar -zxvf jdk-8u351-linux-x64.tar.gz -C /export/server

配置JDK的软链接

ln -s /export/server/jdk1.8.0_351 /export/server/jdk

配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

# 编辑/etc/profile文件 vim /etc/profile   #在最后添加 export JAVA_HOME=/export/server/jdk export PATH=$PATH:$JAVA_HOME/bin

生效环境变量

source /etc/profile

配置java执行程序的软链接

# 删除系统自带的java程序 rm -f /usr/bin/java # 软链接我们自己安装的java程序 ln -s /export/server/jdk/bin/java /usr/bin/java

执行验证

java -version javac -version

相关内容

热门资讯

科技新动态!开心跑得快有辅助工... 科技新动态!开心跑得快有辅助工具吗(透明挂)外挂透明挂辅助神器(2021已更新)(哔哩哔哩)1)开心...
4分钟实锤!吉祥麻将,微扑克切... 4分钟实锤!吉祥麻将,微扑克切实是真的有挂,介绍教程(有挂揭秘);一、吉祥麻将AI软件牌型概率发牌机...
实测发现!鄂州晃晃外 挂(透视... 实测发现!鄂州晃晃外 挂(透视)透视辅助工具(2021已更新)(哔哩哔哩)1、鄂州晃晃外 挂系统规律...
三分钟了解!好彩麻将怎样才可以... 三分钟了解!好彩麻将怎样才可以拿好牌(透视辅助)外挂透明挂辅助机制(2020已更新)(哔哩哔哩)1、...
九分钟辅助!斗棋辅助器在哪,w... 九分钟辅助!斗棋辅助器在哪,wepoker本来真的是有挂,教你攻略(有挂教程)1、下载好斗棋辅助器在...
记者揭秘!!广东雀神麻雀辅助器... 记者揭秘!!广东雀神麻雀辅助器在哪里下载(透视)透视辅助app(2020已更新)(哔哩哔哩)1、很好...
终于清楚!皮皮跑胡子输赢规律(... 终于清楚!皮皮跑胡子输赢规律(辅助挂)外挂透明挂辅助机制(2026已更新)(哔哩哔哩)1)皮皮跑胡子...
二分钟科普!花城牌舍系统规律,... 二分钟科普!花城牌舍系统规律,aAPOKER竟然存在有挂,揭秘教程(有挂插件)进入游戏-大厅左侧-新...
一分钟教你!心悦手机麻将辅牌器... 一分钟教你!心悦手机麻将辅牌器(透视辅助)外挂透视辅助挂(2024已更新)(哔哩哔哩)1、每一步都需...
科技新动态!四方河南麻将赢牌技... 科技新动态!四方河南麻将赢牌技巧(透视)外挂透明挂辅助神器(2026已更新)(哔哩哔哩)1、每一步都...