logstash收集数据库数据
创始人
2024-11-15 03:04:16
0

利用logstash收集mysql数据库表中的数据,logstash支持jdbc插件,可以用来采集数据库中的数据。

jdbc插件官方手册参考:https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

logstash具体配置示例:

input{     jdbc{         jdbc_driver_library => "/data/jdbc/mysql-connector-java-5.1.49.jar"  # mysql驱动存放路径         jdbc_driver_class => "com.mysql.jdbc.Driver"         jdbc_connection_string => "jdbc:mysql://mysql-ip:3306/database-name" # jdbc连接地址         jdbc_user => "username"    # 数据库用户名         jdbc_password => "passwd"  # 数据库密码         use_column_value => true         tracking_column => "id"    # 每次查询基于哪个字段筛选,这个字段必须是自增的(比如这里是字段名是id)         schedule => "*/5 * * * *"  # 采集频率,每5分钟采集一次         statement => "select * from tabname where id > :sql_last_value"   # 查询语句(:sql_last_value是固定的语法)         record_last_run => true 		# 重点在这里,mysql语句中查询的时候必须包含作为偏移量的字段(这里指id字段),如果不包含的话就不更新偏移量文件,然后就会重复的从之前保留的那个偏移量读取数据         last_run_metadata_path => "/data/jdbc/logstash_offset.txt"  # 每次查询执行后,变量字段的值保存的位置,即sql_last_value的值         clean_run => false     } }  output{ 	stdout{} } 

相关内容

热门资讯

黑科技辅助(pokernow)... 黑科技辅助(pokernow)外挂透明挂辅助挂(透视)必胜教程(2022已更新)(哔哩哔哩)是一款可...
黑科技总结!wepoke有辅助... 您好:wepoke有辅助挂这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户...
黑科技辅助挂!菠萝德州app有... 您好,菠萝德州app有挂这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家...
黑科技辅助!wepoke挂真的... 黑科技辅助!wepoke挂真的假的,wepoke有外挂,wepoke教程(有挂教学)-哔哩哔哩;1....
黑科技辅助(微扑克工具)外挂透... 黑科技辅助(微扑克工具)外挂透明挂辅助下载(透视)新2025版(2022已更新)(哔哩哔哩)是一款可...
黑科技苹果版!德州ai辅助器算... 黑科技苹果版!德州ai辅助器算外挂(透视)往昔有挂(有挂教学)-哔哩哔哩;一、德州ai辅助器算外挂有...
黑科技辅助挂!wpk微扑克辅助... 黑科技辅助挂!wpk微扑克辅助是真的,太坑了最初是真的有挂(详细透视ai智能辅助黑科技)-哔哩哔哩;...
黑科技辅助!鱼扑克app ai... 黑科技辅助!鱼扑克app ai,悟空黑桃a扑克牌,AA德州教程(证实有挂)-哔哩哔哩;1、黑科技辅助...
黑科技辅助(传奇扑克)外挂透明... 黑科技辅助(传奇扑克)外挂透明挂辅助下载(透视)技巧教程(2024已更新)(哔哩哔哩);1、界面简单...
黑科技ai代打!gg扑克软件(... 黑科技ai代打!gg扑克软件(透视)最初真的是有挂(有挂辅助)-哔哩哔哩;黑科技ai代打!gg扑克软...