iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >Zookeeper分布式集群搭建
  • 533
分享到

Zookeeper分布式集群搭建

Zookeeper分布式集群搭建 2015-10-26 10:10:09 533人浏览 无得
摘要

文中ZooKeeper分布式集群搭建在linux Centos7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。 一、环境准备 软件 版本 Linux系统 CentOS7

文中ZooKeeper分布式集群搭建在linux Centos7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。

一、环境准备

软件 版本
Linux系统 CentOS7
jdk jdk-8u221-linux-x64.tar.gz
Zookeeper zookeeper-3.4.5-cdh5.14.2.tar.gz

 

二、机器配置

主机名 hadoop01 hadoop02 hadoop03
内存 8G 8G 8G
CPU 4核 4核 4核
硬盘 500G 500G 500G
服务 QuorumPeerMain QuorumPeerMain  QuorumPeerMain  

 

三、前期准备工作

  1、关闭防火墙(使用root权限,将ip修改成对应的ip地址)

firewall-cmd --state # 查看防火墙状态
systemctl stop firewalld.service # 停止防火墙
systemctl disable firewalld.service # 禁止开机启动防火墙

  2、配置host主机映射(使用root权限,将ip修改成对应的ip地址)

sudo vi /etc/hosts

ip1 hadoop01
ip2 hadoop02
ip3 hadoop03

  3、创建普通用户(bigdata)

useradd bigdata  # 添加普通用户
passwd bigdata # 为普通用户设置密码

  4、为bigdata用户配置ssh免密码登陆(具体操作步骤略,执行命令如下)

ssh-keygen -t rsa # 生成密钥对(一路回车即可)
ssh-copy-id hadoop01 # 分别拷贝公钥到三台机器上

  5、配置三台机器的时间同步

    待更新

 

四、Zookeeper分布式集群搭建

  1、安装jdk,将jdk安装在/usr/local目录下, 要求执行用户需要有该目录下的权限

    1.1、解压jdk

tar zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local

    1.2、配置环境变量

vi ~/.bash_profile

## 在行末添加以下内容,并保存关闭 ############# JAVA_HOME ################ export JAVA_HOME
=/usr/local/jdk1.8.0_221 export PATH=$PATH:$JAVA_HOME/bin

    1.3、生效环境变量

source ~/.bash_profile

    1.4、验证

java -version

  2、搭建zk环境,zk安装在/opt/software目录下,要求执行用户需要有该目录下的权限

    2.1、下载并解压安装包

tar zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software

    2.2、创建目录

mkdir -p /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData

    2.3、修改配置文件

mv zoo_sample.cfg zoo.cfg # 重命名配置文件
vi zoo.cfg

# 修改dataDir属性
dataDir=/opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData
# 添加以下内容
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888

    2.4、向另外两台机器分发

scp -r zookeeper-3.4.5-cdh5.14.2 hadoop02:/opt/software
scp -r zookeeper-3.4.5-cdh5.14.2 hadoop03:/opt/software

    2.5、分别在三台机器上添加myid文件

# 在hadoop01上执行
echo 1 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

# 在hadoop02上执行
echo 2 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

# 在hadoop03上执行
echo 3 > /opt/software/zookeeper-3.4.5-cdh5.14.2/data/zkData/myid

    2.6、分别在三台机器上配置ZK环境变量

vi ~/.bash_profile

## 在行末添加以下内容,并保存关闭
############# ZK_HOME  ################
export ZK_HOME=/opt/software/zookeeper-3.4.5-cdh5.14.2
export PATH=$PATH:$ZK_HOME/bin

    2.7、生效环境变量

source ~/.bash_profile

    2.8、分别在三台机器上启动zk

zkServer.sh start # 启动zk
zkServer.sh status # 查看zk状态
zkServer.sh stop # 停止zk

  至此,zookeeper分布式集群搭建完成,可以通过jps命令查看QuorumPeerMain进程是否存在,或者使用zkCli.sh进入zk客户端,来验证集群是否安装成功。

欢迎大家提出建议或疑问。

您可能感兴趣的文档:

--结束END--

本文标题: Zookeeper分布式集群搭建

本文链接: https://www.lsjlt.com/news/2447.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Hadoop+HBase+ZooKeeper分布式集群环境搭建步骤
    目录一、环境说明2.1 安装JDK2.2 添加Hosts映射关系2.3 集群之间SSH无密码登陆三、Hadoop集群安装配置3.1 修改hadoop配置3.2 启动hadoop集群四...
    99+
    2024-04-02
  • zookeeper集群搭建实例分析
    今天小编给大家分享一下zookeeper集群搭建实例分析的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。一、准备三台虚拟机,并...
    99+
    2023-07-02
  • kafka---- zookeeper集群搭建
    1.准备工作:##准备3个节点,要求配置好主机名称,服务器之间系统时间保持一致##注意/etc/hostname 和/etc/hosts 配置主机名称(在这个里我准备Prac-zk-133, Prac-zk-134 , Prac-zk-13...
    99+
    2023-08-30
    kafka zookeeper debian
  • mysql分布式集群怎么搭建
    要搭建一个 MySQL 分布式集群,可以采用以下步骤: 选择合适的分布式架构:MySQL 分布式集群可以采用主从复制、主从同步复制...
    99+
    2024-04-18
    mysql
  • Zookeeper集群如何搭建
    这篇文章主要介绍“Zookeeper集群如何搭建”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Zookeeper集群如何搭建”文章能帮助大家解决问题。一、Zookeeper原理简介ZooKeeper...
    99+
    2023-06-28
  • Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建
    这篇文章主要介绍“Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建”,在日常操作中,相信很多人在Hadoop2.7.5+Spark2.2.1分布式集群怎么搭建问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对...
    99+
    2023-06-03
  • windows怎么搭建Redis分布式集群
    要搭建Redis分布式集群,您可以按照以下步骤进行操作:1. 下载Redis的稳定版本,并解压到不同的目录,例如:redis1、re...
    99+
    2023-09-11
    windows redis
  • 如何进行HA分布式集群搭建
    今天就跟大家聊聊有关如何进行HA分布式集群搭建,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。一:HA分布式配置的优势:  1,防止由于一台namenode挂掉,集群失败的情形  2,...
    99+
    2023-06-03
  • docker下怎么搭建fastdfs分布式集群
    这篇文章主要讲解了“docker下怎么搭建fastdfs分布式集群”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“docker下怎么搭建fastdfs分布式集群”吧!本文在centos6.8下...
    99+
    2023-06-19
  • 如何进行Zookeeper分析与集群搭建
    本篇文章为大家展示了如何进行Zookeeper分析与集群搭建,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Zookeeper简介Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命...
    99+
    2023-06-02
  • Zookeeper集群的搭建及介绍
    本篇内容主要讲解“Zookeeper集群的搭建及介绍”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Zookeeper集群的搭建及介绍”吧!1.搭建怎么搭建单机无安全校验的就不说了,百度一搜一大堆...
    99+
    2023-06-19
  • docker zookeeper集群搭建的方法
    本篇内容主要讲解“docker zookeeper集群搭建的方法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“docker zookeeper集群搭建的方法”吧!准备工具一、安装docker 二...
    99+
    2023-06-19
  • Hadoop完全分布式集群搭建(超详细)
    目录 1.1.1 完全分布式介绍 1.1.2 平台软件说明 1.1.3 守护进程布局 1.2.1 集群搭建准备 1.2.2 总纲 1.2.3防火墙关闭 1.2.4 主机映射 1.2.5 免密登陆 1.2.6 jdk安装和hadoop安装及...
    99+
    2023-10-23
    hadoop 分布式 hdfs
  • zookeeper集群搭建超详细过程
    目录一、准备三台虚拟机,并列出对应的IP地址和主机名,如下图所示二、环境准备(下面的步骤每一台虚拟机都需要做!!)1.关闭防火墙2. 配置操作系统3. 设置本机IP地址与MAC地址三...
    99+
    2024-04-02
  • ZooKeeper集群操作及集群Master选举搭建启动
    目录ZooKeeper介绍ZooKeeper特征分层命名空间搭建ZK集群启动zk集群zk集群master选举ZooKeeper介绍 ZooKeeper 是一个为 分布式应用 提供的 ...
    99+
    2022-11-13
    ZooKeeper集群操作选举 ZooKeeper集群Master
  • 浅析Hadoop完全分布式集群搭建问题
    目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具(链接如下,自行下载)四、Hadoop集群配置前期准备五、H...
    99+
    2024-04-02
  • MySQL分布式集群搭建的方法是什么
    MySQL分布式集群可以通过以下几种方法来搭建:1. MySQL Replication(复制):使用MySQL的复制功能,将一个M...
    99+
    2023-09-21
    MySQL
  • docker搭建Zookeeper集群的方法步骤
    目录0.前言1.前提2.开始搭建解释创建zoo.cfg3.docker搭建1.docker创建网络2.启动第1个zk节点3.启动第2个zk节点4.启动第3个zk节点4.访问节点1.进...
    99+
    2024-04-02
  • Zookeeper集群搭建以及python操作zk
    ZooKeeper是一个开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper设计目的最终一致性:client不论连接到那个Server,展示给它的都是同一个...
    99+
    2023-01-31
    集群 操作 Zookeeper
  • 如何使用Docker Swarm搭建分布式爬虫集群
    今天小编给大家分享一下如何使用Docker Swarm搭建分布式爬虫集群的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作