KafkaOffsetMonitorji监控工具的配置及使用

一、 KafkaOffsetMonitor简述
KafkaOffsetMonitor,它是由Kafka开源社区提供的一款Web管理界面,是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,通过KafkaOffsetMonitor,我们可以很直观的知道,每个Partition的Message是否消费掉,有没有阻塞等。

通过web界面,可以方便的得知以下信息:
(1)对Consumer的消费监控,并列出每个Consumer的Offset数据
(2)保护消费者组列表信息
(3)每个Topic的所有Partition列表包含:Topic、Pid、Offset、LogSize、Lag以及Owner等
(4)浏览查阅Topic的历史消费信息

二、KafkaOffsetMonitor下载
KafkaOffsetMonitor托管在Github上,可以通过Github下载。
下载地址:https://github.com/quantifind/KafkaOffsetMonitor/releases

点击该链接后,跳转到该页面:
这里写图片描述

注意,在该页面下还有一个版本是: KafkaMonitor v0.2.0 d3.js visualizations,如下图所示:
这里写图片描述

三、 KafkaOffsetMonitor安装部署
KafkaOffsetMonitor的安装部署是较为简单,因为它把所有的资源都打包到一个JAR文件中了,因此不用配置文件,直接运行即可。下面为具体的操作流程:

(1)在Linux系统上面建立一个目录,用来存放 KafkaOffsetMonitor jar包。
我在 /usr/local/kafka/目录下 创建一个目录 名为kafkaOffsetMonitor的目录,用来存放KafkaOffsetMonitor jar包。
这里写图片描述

(2)使用 filezilla工具 或其他的 linux远程连接工具,将下载的 KafkaOffsetMonitor-assembly-0.2.0.jar 包上传到该目录 /usr/local/kafka/kafkaOffsetMonitor 下。

(3)通过java编译命令来运行这个KafkaOffsetMonitor-assembly-0.2.0.jar包,具体命令如下:(Linux终端输入该命令后,回车,就会看到下面的信息)

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 192.168.158.147:2181 --port 8123 --refresh 5.seconds --retain 1.days
serving resources from: jar:file:/data/KafkaMonitor/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
2018-01-05 21:17:36.267:INFO:oejs.Server:jetty-7.x.y-SNAPSHOT
log4j:WARN No appenders could be found for logger (org.I0Itec.zkclient.ZkConnection).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
2018-01-05 21:17:36.630:INFO:oejsh.ContextHandler:started o.e.j.s.ServletContextHandler{/,jar:file:/data/KafkaMonitor/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp}
2018-01-05 21:17:36.662:INFO:oejs.AbstractConnector:Started SocketConnector@0.0.0.0:8123

上面我们指定了 port 端口,如果没有指定端口,则默认会开启一个随机端口。对于上面的命令,这里做一个详细的说明:
参数说明:

zk :zookeeper主机地址,如果有多个,用逗号隔开
port :应用程序端口(注意是应用程序端口,而不是 zeekeeper 或broker 端口)
refresh :应用程序在数据库中刷新和存储点的频率
retain :在db中保留多长时间
dbName :保存的数据库文件名,默认为offsetapp, 见下图:
这里写图片描述


每次执行上面的命令,比较麻烦,而且稍不注意就写错。因此为了更方便的启动KafkaOffsetMonitor,可以写一个shell 启动脚本来直接运行。我这里新建一个名为:start.sh的脚本,然后编辑这个脚本:

#!/bin/sh
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m  -cp KafkaOffsetMonitor-assembly-0.2.0.jar  com.quantifind.kafka.offsetapp.OffsetGetterWeb \
                                              --port 8123 \
                                              --zk 192.168.158.147:2181 \
                                              --refresh 5.minutes \
                                              --retain 1.day >/dev/null 2>&1

然后保存退出,并且修改该 start.sh 文件的权限。

root@lxg:/usr/local/kafka/kafkaOffsetMonitor# chmod 777 start.sh 

启动KafkaOffsetMonitor

root@lxg:/usr/local/kafka/kafkaOffsetMonitor# nohup /usr/local/kafka/kafkaOffsetMonitor/start.sh &
[1] 6551
root@lxg:/usr/local/kafka/kafkaOffsetMonitor# lsof -i:8123  //查看8123端口的具体信息
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    6325 root   16u  IPv6  26047      0t0  TCP *:radan-http (LISTEN) //说明8123已经启动并开启监听

四、 KafkaOffsetMonitor Web 查看kafka消费信息
在浏览器中输入: http://ip:port 即可以查看KafkaOffsetMonitor Web 界面,如下图
这里写图片描述

已经可以看到 KafkaMonitor的管理界面了。但是问题来了,不管怎么点击,这个界面都不会变化,不会相应用户的操作。很显然肯定是哪里出现了问题。查找了很久的资料才找出问题。如下所述:


注意:这里有个坑,从 github 上面下载的 jar 包是有问题的(因为缺少核心的js插件-angularjs,它并没有使用本地的插件,而是去google地址上下载,所以最终打开web时候,是没有任何反应的,除了有一个 KafkaOffsetMonitor 的背景界面 。解决办法是用好压把KafkaOffsetMonitor-assembly-0.2.1.jar解压的一个文件夹,然后找到offsetapp,打开,编辑index.html,修改三个angular地址),


需要下载百度网盘的 jar 包:
链接:https://pan.baidu.com/s/1geEBEvT 密码:jaeu

使用从该百度网盘下载的KafkaOffsetMonitor-assembly-0.2.0.jar 包后,就可以成功的看到了kafka 消费的数据。如下图:
这里写图片描述

版权声明:本文为lixiaogang_theanswer原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/lixiaogang_theanswer/article/details/80979678

智能推荐

1264页面推荐(中等 union all )稍微的难点在于找1的朋友

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200904233840843.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQ1NTMxNTk0,size_16,color_FFFFFF,t...

单链表+单链表代码(链表最基础)

链表 链表是有顺序的表,在内存中存储: 链表是以节点的方式存储的 每个节点包括data域,next域:指向下一个节点 如图:发现链表的各个节点不一定是连续存放的,有跳跃的,不是连续存储 链表分为带头节点的链表和没有头结点的链表 添加: 1.先创建一个head头结点,作用就是单链表的头 2.后面每添加一个节点,就直接加入到链表最后 遍历: 代码 添加节点到链表里: 这里借助于temp节点,通过循环找...

Rtthread学习笔记(十三)RT-Thread Studio开启硬件看门狗Watchdog

一、开启硬件看门狗Watchdog 1、配置RT-Thread Settings 2、开启stm32f1xx_hal_conf.h中的宏定义 3.使用RT接口函数初始化硬件看门狗...

TYVJ 4864 天天去哪吃 || 清北学堂金秋杯大奖赛

题目描述: 记录一下i这个值上次出现的位置在哪里,就是pre...

java反编译

jvm 把Boolean类型的值flag当做int类型处理。​​​ Foo.java: 由 class 文件生成 jasm 文件:java -jar asmtools.jar jdis Foo.class > Foo.jasm  修改jasm文件: 执行反编译: java -jar jd-gui-1.6.6.jar File 打开Foo.class文件:b修改为2 重新执行java...

猜你喜欢

【学习笔记】03-v-html的学习和示例

v-html的认识和使用 示例: 显示结果: 注意:v-html是有复制的...

Java实现在线考试系统(系统介绍)

1.和现在有的考试系统有以下几种优势: a.和现在有的系统比较起来,本系统有科目、章节、老师、学生、班级等信息的管理,还有批阅试卷查看已批阅试卷等。传统的考试系统划分并不细,业务功能简单。 b.和学校的考试系统还有外面的考试系统比较起来,本系统是B/S结构,学校的考试系统一般为C/S结构,性能方面不如B/S结构,并且C/S接口需要安装客户端,客户端压力很大,我的系统只需要电脑具有浏览器,在同一局域...

计算机视觉--多视几何初步尝试

基础矩阵的原理 K和K’分别是两个相机的参数矩阵。p和p’是X在平面π的坐标表示。所以可以得出 具体计算过程 代码: #!/usr/bin/env python coding: utf-8 from PIL import Image from numpy import * from pylab import * import numpy as np from imp ...

java初学者怎么学习才可以快速入门

java初学者怎么学习才可以快速入门 一、了解JAVA 我们要知道:Java是由Sun Microsystems公司于1995年5月推出的Java面向对象程序设计语言。 Java之父:詹姆斯·高斯林 1.1 java的三个体系 Java SE(Java Platform Standard Edition)。Java SE 以前称为 J2SE。它允许开发和部署在桌面、服务器、嵌入式环境...

字段属性之主键&增删改查&自增长&唯一键约束

字段属性之主键&自增长&唯一键约束 主键 主键:primary key 主要的键 一张表中只有一个字段可以使用对应的键,用来唯一的约束该字段里面的数据,不能重复,这种称之为主键 一张表只能最多一个主键 增加主键 SQL操作中有多种方式增加主键大体分为三种 1.在创建表的时候直接在字段之后跟primary key关键字(主键本身不允许为空) 优点:非常直接:缺点:只能使用一个字段作为...