kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它。最近实践了一波Kafka,确实很好很强大。今天我们来从三个方面学习下Kafka:Kafaka在linux下的安装,Kafka的可视化工具,Kafka和Spri
kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它。最近实践了一波Kafka,确实很好很强大。今天我们来从三个方面学习下Kafka:Kafaka在linux下的安装,Kafka的可视化工具,Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka,掌握这个流行的消息中间件!
Kafka是由LinkedIn公司开发的一款开源分布式消息流平台,由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台,其本质是基于发布订阅模式的消息引擎系统。
Kafka具有以下特性:
我们将采用Linux下的安装方式,安装环境为Centos 7.6。此处没有采用Docker来安装部署,个人感觉直接安装更简单(主要是官方没提供Docker镜像)!
cd /mydata/kafka/tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
# 后台运行服务,并把日志输出到当前文件夹下的zookeeper-out.file文件中nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-out.file 2>&1 &
############################# Socket Server Settings ############################## The address the socket server listens on. It will get the value returned from# java.net.InetAddress.getCanonicalHostName() if not configured.# FORMAT:# listeners = listener_name://host_name:port# EXAMPLE:# listeners = PLaiNTEXT://your.host.name:9092listeners=PLAINTEXT://192.168.5.78:9092
# 后台运行服务,并把日志输出到当前文件夹下的kafka-out.file文件中nohup bin/kafka-server-start.sh config/server.properties > kafka-out.file 2>&1 &
接下来我们使用命令行来操作下Kafka,熟悉下Kafka的使用。
bin/kafka-topics.sh --create --topic consoleTopic --bootstrap-server 192.168.5.78:9092
bin/kafka-topics.sh --describe --topic consoleTopic --bootstrap-server 192.168.5.78:9092
Topic: consoleTopic TopicId: tJmxUQ8QRJGlhCSf2ojuGw PartitionCount: 1 ReplicationFactor: 1 Configs: segment.bytes=1073741824 Topic: consoleTopic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
bin/kafka-console-producer.sh --topic consoleTopic --bootstrap-server 192.168.5.78:9092
bin/kafka-console-consumer.sh --topic consoleTopic --from-beginning --bootstrap-server 192.168.5.78:9092
使用命令行操作Kafka确实有点麻烦,接下来我们试试可视化工具kafka-eagle。
如果你使用的是CentOS的话,默认没有安装完整版的JDK,需要自行安装!
cd /mydata/javatar -zxvf OpenJDK8U-jdk_x64_linux_xxx.tar.gzmv OpenJDK8U-jdk_x64_linux_xxx.tar.gz jdk1.8
vi /etc/profile# 在profile文件中添加export JAVA_HOME=/mydata/java/jdk1.8export PATH=$PATH:$JAVA_HOME/bin# 使修改后的profile文件生效. /etc/profile
cd /mydata/kafka/tar -zxvf kafka-eagle-WEB-2.0.5-bin.tar.gz
vi /etc/profile# 在profile文件中添加export KE_HOME=/mydata/kafka/kafka-eagle-web-2.0.5export PATH=$PATH:$KE_HOME/bin# 使修改后的profile文件生效. /etc/profile
####################################### multi zookeeper & kafka cluster list######################################kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=localhost:2181####################################### kafka eagle webui port######################################kafka.eagle.webui.port=8048####################################### kafka sqlite jdbc driver address####################################### kafka.eagle.driver=org.sqlite.JDBC# kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db# kafka.eagle.username=root# kafka.eagle.passWord=www.kafka-eagle.org####################################### kafka mysql jdbc driver address######################################kafka.eagle.driver=com.mysql.cj.jdbc.Driverkafka.eagle.url=jdbc:mysql://localhost:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNullkafka.eagle.username=rootkafka.eagle.password=root
$KE_HOME/bin/ke.sh start
# 停止服务$KE_HOME/bin/ke.sh stop# 重启服务$KE_HOME/bin/ke.sh restart# 查看服务运行状态$KE_HOME/bin/ke.sh status# 查看服务状态$KE_HOME/bin/ke.sh stats# 动态查看服务输出日志tail -f $KE_HOME/logs/ke_console.out
bin/kafka-console-consumer.sh --topic testTopic --from-beginning --bootstrap-server 192.168.5.78:9092
vi kafka-server-start.sh# 暴露JMX端口if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70" export JMX_PORT="9999"fi
在SpringBoot中操作Kafka也是非常简单的,比如Kafka的消息模式很简单,没有队列,只有Topic。
org.springframework.kafka spring-kafka 2.7.1
server: port: 8088spring: kafka: bootstrap-servers: '192.168.5.78:9092' consumer: group-id: "bootGroup"
@Componentpublic class KafkaProducer { @Autowired private KafkaTemplate kafkaTemplate; public void send(String message){ kafkaTemplate.send("bootTopic",message); }}
@Slf4j@Componentpublic class KafkaConsumer { @KafkaListener(topics = "bootTopic") public void proceSSMessage(String content) { log.info("consumer processMessage : {}",content); }}
@api(tags = "KafkaController", description = "Kafka功能测试")@Controller@RequestMapping("/kafka")public class KafkaController { @Autowired private KafkaProducer kafkaProducer; @ApiOperation("发送消息") @RequestMapping(value = "/sendMessage", method = RequestMethod.GET) @ResponseBody public CommonResult sendMessage(@RequestParam String message) { kafkaProducer.send(message); return CommonResult.success(null); }}
2021-05-19 16:59:21.016 INFO 2344 --- [ntainer#0-0-C-1] c.m.mall.tiny.component.KafkaConsumer : consumer processMessage : Spring Boot message!
通过本文的一波实践,大家基本就能入门Kafka了。安装、可视化工具、结合SpringBoot,这些基本都是和开发者相关的操作,也是学习Kafka的必经之路。
来源地址:https://blog.csdn.net/weixin_43398645/article/details/131613727
--结束END--
本文标题: 吊炸天的 Kafka 图形化工具 Eagle,必须推荐给你
本文链接: https://www.lsjlt.com/news/423205.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-06-11
2024-06-11
2024-06-11
2024-06-11
2024-06-11
2024-06-11
2024-06-11
2024-06-11
2024-06-11
2024-06-11
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0