广告
返回顶部
首页 > 资讯 > 操作系统 >在Linux环境下安装Kafka
  • 518
分享到

在Linux环境下安装Kafka

Kafka安装Kafka 2022-06-04 23:06:35 518人浏览 八月长安
摘要

目录二、生产与消费2.1 kafka-topics.sh 用于管理主题2.2 kafka-console-consumer.sh用于消费消息2.3 kafka-console-producer.sh用于生产消息2.4 具

目录
  • 二、生产与消费
    • 2.1 kafka-topics.sh 用于管理主题
    • 2.2 kafka-console-consumer.sh用于消费消息
    • 2.3 kafka-console-producer.sh用于生产消息
    • 2.4 具体操作

一、环境准备

jdk下载地址链接:jdk 1.8,提取码: dv5h
ZooKeeper下载地址链接:zookeeper3.4.14 ,提取码: 3Dch
kafka下载地址链接:kafka2.12,提取码: 61bc

1.1 java环境为前提

1.1.1 上传jdk-8u261-linux-x64.rpm服务器并安装


# 安装命令
rpm -ivh jdk-8u261-linux-x64.rpm 

在这里插入图片描述

1.1.2 配置环境变量


# 编辑配置文件,jdk的bin目录到/etc/profile文件,对所有用户的shell有效
vim /etc/profile
# 生效
source /etc/profile

在这里插入图片描述


export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述


# 验证
java -version

在这里插入图片描述
至此,jdk安装成功。

1.2 Zookeeper的安装配置

1.2.1 上传zookeeper-3.4.14.tar.gz到服务器,解压到/opt


# 解压zk到指定目录
tar -zxf zookeeper-3.4.14.tar.gz -C /opt

在这里插入图片描述

1.2.2 修改Zookeeper保存数据的目录,dataDir


# 进入conf配置目录
cd /opt/zookeeper-3.4.14/conf
# 复制zoo_sample.cfg命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
# 编辑zoo.cfg文件
vim zoo.cfg
dataDir=/var/riemann/zookeeper/data

在这里插入图片描述
在这里插入图片描述

1.2.3 编辑/etc/profile,使配置生效

设置环境变量ZOO_LOG_DIR,指定Zookeeper保存日志的位置;
ZOOKEEPER_PREFIX指向Zookeeper的解压目录;
Zookeeperbin目录添加到PATH中:

在这里插入图片描述


export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH=$PATH:$ZOOKEEPER_PREFIX/bin
export ZOO_LOG_DIR=/var/riemann/zookeeper/log

配置完以后再生效配置:


source /etc/profile 

1.2.4 启动Zookeeper,确认Zookeeper的状态


zkServer.sh start

在这里插入图片描述

至此,zookeeper安装成功。

1.3 Kafka 的安装与配置

1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压


tar -zxf kafka_2.12-1.0.2.tgz -C /opt

在这里插入图片描述

1.3.2 配置环境变量并生效


vim /etc/profile 

export KAFKA=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA/bin

source /etc/profile 

1.3.3 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件


vi  /opt/kafka_2.12-1.0.2/config/server.properties

在这里插入图片描述

Kafka连接Zookeeper的地址,此处使用本地启动的Zookeeper实例
连接地址是localhost:2181
后面的 myKafkaKafka在Zookeeper中的根节点路径

在这里插入图片描述

配置kafka存储持久化数据目录

在这里插入图片描述


log.dirs=/var/riemann/kafka/kafka-logs

创建上述持久化数据目录


mkdir -p /var/riemann/kafka/kafka-logs

1.4 启动Kafka

进入Kafka安装的根目录,执行如下命令:


kafka-server-start.sh ../config/server.properties

在这里插入图片描述

启动成功,可以看到控制台输出的最后一行的started状态:此时kafka安装成功。

在这里插入图片描述

1.5 重新开一个窗口,查看Zookeeper的节点


在这里插入图片描述

1.6 此时Kafka是前台模式启动,要停止,使用Ctrl+C

如果要后台启动,使用命令:


kafka-server-start.sh -daemon config/server.properties 

查看Kafka的后台进程:


ps -ef | grep kafka

在这里插入图片描述

停止后台运行的Kafka:


kafka-server-stop.sh 

二、生产与消费

查看zookeeper状态,zookeeper启动成功,再启动kafka。

在这里插入图片描述

2.1 kafka-topics.sh 用于管理主题

查看命令的帮助信息


[root@master1 bin]# kafka-topics.sh
Create, delete, describe, or change a topic.
Option                                   Description                            
------                                WGoKLQPdjD   -----------                            
--alter                                  Alter the number of partitions,        
                                           replica assignment, and/or           
                                           configuration for the topic.         
--config <String: name=value>            A topic configuration override for the 
                                           topic being created or altered.The   
                                           following is a list of valid         
                                           configurations:                      
                                         	cleanup.policy                        
                                         	compression.type                      
                                         	delete.retention.ms                   
                                         	file.delete.delay.ms                  
                                         	flush.messages                        
                                         	flush.ms                              
                                         	follower.replication.throttled.       
                                           replicas                             
                                         	index.interval.bytes                  
                                         	leader.replication.throttled.replicas 
                                         	max.message.bytes                     
                                         	message.fORMat.version                
                                         	message.timestamp.difference.max.ms   
                                         	message.timestamp.type                
                                         	min.cleanable.dirty.ratio             
                                         	min.compaction.lag.ms                 
                                         	min.insync.replicas                   
                                         	preallocate                           
                                         	retention.bytes                       
                                         	retention.ms                          
                                         	segment.bytes                         
                                         	segment.index.bytes                   
                                         	segment.jitter.ms                     
                                         	segment.ms                            
                                         	unclean.leader.election.enable        
                                         See the Kafka documentation for full   
                                           details on the topic configs.        
--create                                 Create a new topic.                    
--delete                                 Delete a topic                         
--delete-config <String: name>           A topic configuration override to be   
                                           removed for an existing topic (see   
                                           the list of configurations under the 
                                           --config option).                    
--describe                               List details for the given topics.     
--disable-rack-aware                     Disable rack aware replica assignment  
--force                                  Suppress console prompts               
--help                                   Print usage information.               
--if-exists                              if set when altering or deleting       
                                           topics, the action will only execute 
                                           if the topic exists                  
--if-not-exists                          if set when creating topics, the       
                                           action will only execute if the      
                                           topic does not already exist         
--list                                   List all available topics.             
--partitions <Integer: # of partitions&gt;  The number of partitions for the topic 
                                           being created or altered (WARNING:   
                                           If partitions are increased for a    
                                           topic that has a key, the partition  
                                           logic or ordering of the messages    
                                           will be affected                     
--replica-assignment <String:            A list of manual partition-to-broker   
  broker_id_for_part1_replica1 :           assignments for the topic being      
  broker_id_for_part1_replica2 ,           created or altered.                  
  broker_id_for_part2_replica1 :                                                
  broker_id_for_part2_replica2 , ...>                                           
--replication-factor <Integer:           The replication factor for each        
  replication factor>                      partition in the topic being created.
--topic <String: topic>                  The topic to be create, alter or       
                                           describe. Can also accept a regular  
                                           expression except for --create option
--topics-with-overrides                  if set when describing topics, only    
                                           show topics that have overridden     
                                           configs                              
--unavailable-partitions                 if set when describing topics, only    
                                           show partitions whose leader is not  
                                           available                            
--under-replicated-partitions            if set when describing topics, only    
                                           show under replicated partitions     
--zookeeper <String: urls>               REQUIRED: The connection string for    
                                           the zookeeper connection in the form 
                                           host:port. Multiple URLS can be      
                                           given to allow fail-over.            
[root@master1 bin]# 

# 列出现有的主题
[root@master1 ~]# kafka-topics.sh --list --zookeeper localhost:2181/myKafka
# 创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。
[root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_test --partitions 1 --replication-factor 1
# 查看分区信息
[root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --list
# 查看指定主题的详细信息
[root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --describe --topic topic_test 
# 删除指定主题
[root@master1 ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --delete --topic topic_test 

列出现有主题,创建主题,该主题包含一个分区,该分区为Leader分区,它没有Follower分区副本。

在这里插入图片描述

查看指定主题的详细信息

在这里插入图片描述

创建主题,该主题包含多个分区

多个分区:横向扩展
多个副本:高可用

在这里插入图片描述

2.2 kafka-console-consumer.sh用于消费消息


# 开启消费者
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_test 
# 开启消费者方式二,从头消费,不按照偏移量消费
[root@node1 ~]# kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_test --from-beginning

2.3 kafka-console-producer.sh用于生产消息


# 开启生产者
[root@node1 ~]# kafka-console-producer.sh --topic topic_test --broker-list  localhost:9020

2.4 具体操作

开启消费者和生产者,生产并消费消息。

在这里插入图片描述

消费者,按照偏移量消费

在这里插入图片描述

消费者从头消费,不按照偏移量消费

在这里插入图片描述

到此这篇关于在Linux环境下安装Kafka的文章就介绍到这了,更多相关Linux下安装Kafka内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

--结束END--

本文标题: 在Linux环境下安装Kafka

本文链接: https://www.lsjlt.com/news/21351.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 在Linux环境下安装Kafka
    目录二、生产与消费2.1 kafka-topics.sh 用于管理主题2.2 kafka-console-consumer.sh用于消费消息2.3 kafka-console-producer.sh用于生产消息2.4 具...
    99+
    2022-06-04
    Kafka安装 Kafka
  • 在linux环境下安装docker
    1、安装环境此处在Centos7进行安装,可以使用以下命令查看CentOS版本lsb_release -a在 CentOS 7安装docker要求系统为64位、系统内核版本为 3.10 以上,可以使用以下命令查看uname&nbs...
    99+
    2022-10-23
    Linux docker
  • MySQL——在Linux环境下安装(在线安装)
    MySQL的安装(在线安装) mysql的安装并不是比赛的内容,所以我们用比较方便的在线安装的方法,比起安装,我们更要知道如何去使用: 首先看一下自己有没有安装MySQL的服务,或者自己的服务器上有没有自带的MySQL服务: rpe -ga...
    99+
    2023-09-05
    mysql linux 数据库
  • 怎么在Linux环境下安装Oracle
    怎么在Linux环境下安装Oracle?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。1、系统信息查看系统信息查看首先服务器ip...
    99+
    2022-10-18
    linux oracle
  • oracle 在 Linux下安装环境配置
    1.查看内存情况 2.查看swap情况 3.查看磁盘空间 4./tmp目录空间大于400MB 1.创建用户组 2.创建用户 3.给oracle用户设定密...
    99+
    2022-10-18
    linux 安装 环境
  • 如何在Linux下安装php环境
    这篇文章给大家介绍如何在Linux下安装php环境,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。如果想一步到位,则使用下面的流程进行安装: 安装cmakeyum install epel-relea...
    99+
    2023-06-28
  • Linux环境下安装python3
    1.python下载 请在终端输入如下命令: cd /home wget http://cdn.npm.taobao.org/dist/python/3.6.5/Python-3.6.5.tgz 说明:这句话的作用主要是...
    99+
    2022-07-08
    Linux 安装python3
  • Linux环境下安装MongoDB
    下载安装包 下载地址:https://www.mongodb.com/download-center/community curl -O https://fastdl.mongodb.org/linux/mongodb-linux...
    99+
    2017-05-27
    Linux环境下安装MongoDB
  • Linux环境下安装Redis
      1.Linux环境下安装Redis   (1)下载Redis安装包,并解压到安装路径【没有wget就使用yum install wget安装】 [root@localhost ~]#wget http://download.r...
    99+
    2017-09-26
    Linux环境下安装Redis
  • Linux环境下安装JDK1.8
    目录一、安装环境二、安装步骤第一步:下载安装包第二步、解压安装包第三步、修改环境变量第四步、测试是否安装成功本文主要介绍的是如何是linux环境下安装JDK的,因为Linux环境下,很多时候也离不开java的,下面笔者就...
    99+
    2022-06-04
    Linux环境安装JDK Linux安装JDK Linux安装JDK1.8
  • Linux环境下怎么安装docker环境
    这篇文章主要介绍“Linux环境下怎么安装docker环境”,在日常操作中,相信很多人在Linux环境下怎么安装docker环境问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Linux环境下怎么安装docke...
    99+
    2023-06-22
  • Linux环境下mysql的安装
    1、环境准备 (1)卸载自带的Mariadb 命令:rpm –qa|grep mariadb  ---------查询已经安装的mariadb rpm –e –nodeps 文件名------------------卸载mariadb (...
    99+
    2019-03-30
    Linux环境下mysql的安装 数据库入门 数据库基础教程 数据库 mysql
  • 环境搭建:linux环境下安装mysql数库
    1. 安装数据库 1) yum -y install mysql-server(简单) yum命令自动从网上寻找mysql服务资源,下载至本地并完成安装     2) 也可以自己在网上下载mysql服务,通过xftp传输至Linu...
    99+
    2016-01-21
    环境搭建:linux环境下安装mysql数库
  • Linux环境下安装docker环境(亲测无坑)
    目录安装前提条件第一步:检查并清除系统残余项,并安装docker依赖环境第二步:Docker依赖环境搭建好之后,安装并启动Docker安装前提条件 Docker 要求 CentOS 系统的内核版本高于 3.10 ,首先验...
    99+
    2022-06-04
    Linux安装docker环境 docker环境安装
  • Linux环境下安装docker环境(亲测无坑)
    目录安装前提条件第一步:检查并清除系统残余项,并安装Docker依赖环境第二步:Docker依赖环境搭建好之后,安装并启动Docker安装前提条件 Docker 要求 CentOS ...
    99+
    2022-11-12
    Linux安装docker环境 docker环境安装
  • Linux环境下安装maven详解
    安装maven 需要本地有一个maven文件,例如apache-maven-3.8.6-bin.tar.gz 下载地址:Maven – Download Apache Maven,选择需要下载的文件,我选的是apache-maven-3.8...
    99+
    2023-08-31
    maven linux java
  • Linux环境下安装nginx教程
    目录1、安装所需环境 //安装gcc yum install gcc-c++ //安装PCRE pcre-devel yum install -y pcre pcre-devel //安装zlib yum ins...
    99+
    2022-06-04
    详解Linux下安装配置Nginx Linux安装nginx
  • 详解linux下安装python3环境
    1、下载python3.5源码包首先去python官网下载python3的源码包,网址:https://www.python.org/   进去之后点击导航栏的Downloads,也可以鼠标放到Downloads上弹出菜单选择Source ...
    99+
    2023-01-31
    详解 环境 linux
  • linux环境下如何安装php7.3.0
    这篇文章主要为大家展示了linux环境下如何安装php7.3.0,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带大家一起来研究并学习一下“linux环境下如何安装php7.3.0”这篇文章吧。什么是Linux系统Linux是...
    99+
    2023-06-06
  • linux环境下怎么安装mysql8.0
    本篇内容主要讲解“linux环境下怎么安装mysql8.0”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“linux环境下怎么安装mysql8.0”吧!一、linux更改yum源(如果MYSQL安...
    99+
    2023-06-22
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作