iis服务器助手广告广告
返回顶部
首页 > 资讯 > 服务器 >Hadoop部署的基础设施操作详解
  • 476
分享到

Hadoop部署的基础设施操作详解

Hadoop部署基础操作Hadoop部署 2023-02-22 15:02:29 476人浏览 安东尼
摘要

目录官网导读基础设施设置IP及主机名关闭防火墙&selinux设置hosts映射时间同步安装jdk设置ssh免秘钥结论官网导读 hadoop.apache.org/docs

官网导读

hadoop.apache.org/docs/r2.6.5…

  • 支持最好的平台:GNU/Linux

  • 依赖的软件:

    • Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.Hadoop基于Java开发,Java的移动性好
    • ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons.
  • 部署模式:

    • Local (Standalone) Mode 单机模式,主要用于debug
    • Pseudo-Distributed Mode 伪分布式单节点多角色
    • Fully-Distributed Mode 完全分布式,多节点多角色

基础设施

操作系统、环境、网络、必须软件

  • 设置IP及主机名
  • 关闭防火墙&selinux
  • 设置hosts映射
  • 时间同步
  • 安装jdk
  • 设置SSH免秘钥

设置IP及主机名

可以正常联网查看IP

[root@localhost ~]# ifconfig
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.118  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::3Db1:f589:4820:5457  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:18:10:17  txqueuelen 1000  (Ethernet)
        RX packets 462062  bytes 670399544 (639.3 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 166351  bytes 11096211 (10.5 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 84  bytes 13940 (13.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 84  bytes 13940 (13.6 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:5a:69:e1  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
// 配置
DEVICE=eth0
#HWADDR=00:0C:29:42:15:C2
TYPE=Ethernet
ONBOOT=yes
NM_TROLLED=yes
BOOTPROTO=static
IPADDR=192.168.150.11
NETMASK=255.255.255.0
GATEWAY=192.168.150.2
DNS1=223.5.5.5
DNS2=114.114.114.114

修改配置文件设置主机名

[root@localhost ~]# vi /etc/sysconfig/network
// 设置主机名并保存退出
HOSTNAME=node01

关闭防火墙&selinux

//关闭防火墙
[root@localhost ~]# systemctl stop firewalld
//关闭开机启动防火墙
[root@localhost ~]# systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# 
[root@localhost ~]# vi /etc/selinux/config
//将配置文件中的SELINUX设置为disabled
SELINUX=disabled

设置hosts映射

增加映射关系,因为在现在搭建环境的时候,一般会做解耦,不会再软件配置文件中写ip地址,主要使用主机名,就和dns解析一样,避免ip改变时要修改很多配置文件

[root@localhost ~]# vi /etc/hosts
// 增加映射关系
192.168.0.118 node01
192.168.0.119 node02

时间同步

所有节点时间需同步一致,不然未来做心跳的时候会有问题

[root@localhost ~]# date
Fri Dec 30 22:23:45 CST 2022
// 安装ntp
[root@localhost ~]# yum install ntp -y
Loaded plugins: fastestmirror, langpacks
Loading mirror speeds from cached hostfile
 * base: mirrors.163.com
 * extras: mirrors.163.com
 * updates: mirrors.163.com
Package ntp-4.2.6p5-29.el7.Centos.2.x86_64 already installed and latest version
Nothing to do
[root@localhost ~]# vi /etc/ntp.conf
// 增加配置
server ntp1.aliyun.com
// 启动ntpd
[root@localhost ~]# systemctl start ntpd.service
// 配置开机启动ntpd
[root@localhost ~]# systemctl enable ntpd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[root@localhost ~]# 

安装jdk

设置环境变量的时候要记得设置两次,一次在安装jdk的时候设置,一次在搭建Hadoop的时候设置

去官网下载jdk,最好是rpm包,然后上传到服务器节点中(使用jdk压缩包解压安装需要做很多其他的配置)

这里使用过windows下载,通过scp命令上传到118节点中

F:\workspace\demo>scp C:\Users\43866\Downloads\jdk-8u351-linux-x64.rpm root@192.168.0.118:/usr/jdk
root@192.168.0.118's passWord: 
jdk-8u351-linux-aarch64.rpm                                                                                           100%   59MB  70.1MB/s   00:00     
F:\workspace\demo> 

在118节点中使用命令安装jdk

[root@node01 jdk]# rpm -i jdk-8u351-linux-x64.rpm 
warning: jdk-8u351-linux-x64.rpm: Header V3 RSA/SHA256 Signature, key ID ec551f03: NOKEY
Unpacking jar files...
        tools.jar...
        plugin.jar...
        javaws.jar...
        deploy.jar...
        rt.jar...
        jsse.jar...
        charsets.jar...
        localedata.jar...
[root@node01 jdk]# 

设置JAVA_HOME环境变量

[root@node01 default]# vi /etc/profile
// 追加环境变量并保存文件
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

设置SSH免秘钥

想要使用Hadoop脚本就必须设置ssh免密

1、检查是否已设置ssh免密

[root@node01 default]# ssh localhost
The authenticity of host 'localhost (::1)' can't be established.
ECDSA key fingerprint is SHA256:rDsunaro1f5LyKkEeNohXfDD9oEglNXtviD/JZtA1dw.
ECDSA key fingerprint is MD5:51:38:8d:fc:e4:d2:c7:ce:66:09:c8:f2:e6:9e:a7:f2.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
root@localhost's password: 

通过ssh localhost命令检查发现需要输入密码,说明还未设置ssh免密,而且还可以自动生成.ssh文件,这个文件要创建的话比较麻烦

2、生成秘钥和公钥

如果118节点想免密登录到118节点(自己):

118节点就要生成公钥和秘钥,且将公钥放到 ~/.ssh/authorized_keys中

[root@node01 .ssh]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
Generating public/private dsa key pair.
Your identification has been saved in /root/.ssh/id_dsa.
Your public key has been saved in /root/.ssh/id_dsa.pub.
The key fingerprint is:
SHA256:GHhKB7GeoYYlNPWJpCZ+VoABUyIgDbdYrjjyAdgui1k root@node01
The key's randomart image is:
+---[DSA 1024]----+
|@BB+o.           |
|=X=.++.          |
|*o=.=++          |
|=B +.* o         |
|B.Eo+ . S        |
|oOo.             |
|+ .              |
|                 |
|                 |
+----[SHA256]-----+
[root@node01 .ssh]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[root@node01 .ssh]# 
[root@node01 .ssh]# ssh 192.168.0.118
Last login: Sat Dec 31 13:52:49 2022 from 192.168.0.117
[root@node01 ~]#

结论

119节点包含了118节点的公钥,118就可以免密登录

以上就是Hadoop部署的基础设施操作详解的详细内容,更多关于Hadoop部署基础操作的资料请关注编程网其它相关文章!

--结束END--

本文标题: Hadoop部署的基础设施操作详解

本文链接: https://www.lsjlt.com/news/197165.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Hadoop部署的基础设施操作详解
    目录官网导读基础设施设置IP及主机名关闭防火墙&selinux设置hosts映射时间同步安装jdk设置SSH免秘钥结论官网导读 hadoop.apache.org/docs...
    99+
    2023-02-22
    Hadoop部署基础操作 Hadoop 部署
  • Hadoop部署的基础设施操作有哪些
    这篇文章主要介绍了Hadoop部署的基础设施操作有哪些的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Hadoop部署的基础设施操作有哪些文章都会有所收获,下面我们一起来看看吧。官网导读支持最好的平台:GNU/L...
    99+
    2023-07-05
  • RAC基础设施部署的示例分析
    这篇文章主要为大家展示了“RAC基础设施部署的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“RAC基础设施部署的示例分析”这篇文章吧。总体图整体的分图如...
    99+
    2024-04-02
  • 操作系统 IaaS:打造云端基础设施的基石
    操作系统 IaaS:云端基础设施的基石 操作系统 IaaS(Infrastructure as a Service)是云计算领域中不可或缺的组件,它为云端基础设施提供了可扩展、灵活和高可用的运行环境。通过提供操作系统和底层硬件,操作系统...
    99+
    2024-03-06
    操作系统 IaaS 云计算 基础设施 可扩展 灵活 高可用性
  • GolangDefer基础操作详解
    目录defer的执行顺序defer与return谁先谁后函数的返回值初始化有名函数返回值遇见defer情况defer遇见panicdefer中包含panicdefer下的函数参数包含...
    99+
    2024-04-02
  • Python Pandas基础操作详解
    目录数据结构&Series:DataFrame的构建:索引操作:DataFrame基本操作:广播运算:索引增删改查:字符串元素处理:数据规整:总结数据结构&Serie...
    99+
    2024-04-02
  • 【MySQL基础】MySQL基本操作详解
    系列文章目录 第1篇:【MySQL基础】MySQL介绍及安装 第2篇:【MySQL基础】MySQL基本操作详解 文章目录 ✍1,数据库操作     🔍1.1,查看数据库     🔍1.2,创建数据库    ...
    99+
    2023-08-16
    mysql 数据库 服务器
  • 揭秘操作系统 IaaS:现代企业的基础设施
    操作系统 IaaS:现代企业的基础设施 操作系统 IaaS 是一种云计算服务模型,它提供一个虚拟化的操作系统平台,供用户在其上运行自己的应用程序和服务。与传统的本地基础设施相比,操作系统 IaaS 具有显著的优势,使其成为现代企业数字化...
    99+
    2024-03-06
    操作系统 IaaS 云计算 基础设施 即服务 数字化转型
  • (1)Flowable基础操作-部署、创建、查询、完成
    1、Flowable介绍 Flowable是一个使用Java编写的轻量级业务流程引擎。Flowable流程引擎可用于部署BPMN 2.0流程定义(用于定义流程的行业XML标准), 创建这些流程定义的流...
    99+
    2023-09-22
    java
  • 区块链操作系统:解密下一代数字基础设施
    ...
    99+
    2024-04-02
  • MySQL——MySQL的基础操作部分
    使用命令行登录 mysql -u root -p 直接敲击回车后输入密码即可: 当看到出现“mysql>“的符号之后,就表示已经进入到了MySQL系统中,就可以输入MySQL的命令对数据库进行操作了。 查看数据库 使用命令查看所有的数据库...
    99+
    2023-09-08
    mysql pycharm
  • Redis数据库安装部署及基本操作详解
    Redis数据库概述 Redis是一个开源的、使用c语言编写NoSQL数据库,它是基于内存运行并支持持久化,采用key-value(键值对)的存储形式, 是目前分布式结构中不可或缺...
    99+
    2024-04-02
  • Docker 部署RocketMQ的详细操作
    拉取镜像 docker search rocketmq docker pull foxiswho/rocketmq:4.8.0 启动NameServer docker run -d...
    99+
    2024-04-02
  • C++中文件操作基础详解
    目录文件操作文件分类文本文件写文件读文件二进制文件写文件读文件文件操作 意义:利用文件操作可以保存我们程序运行的信息,是持久化技术的体现 文件分类 按文件类型分为: 1、文本文件 &...
    99+
    2024-04-02
  • python字符串基础操作详解
    目录字符串的赋值单引号字符串赋值给变量双引号字符串赋值给变量三引号字符串赋值给变量(多行)字符串的截取截取指定位置的字符获取指定位置之后的所有字符截取指定位置之前的所有字符获取所有的...
    99+
    2024-04-02
  • React使用redux基础操作详解
    目录一,什么是redux二,安装redux谷歌调试工具三,操作store 改变四,写redux的小技巧一,什么是redux Redux是一个用来管理管理数据状态和UI状态的JavaS...
    99+
    2023-01-13
    React使用redux React redux
  • mysql操作数据库基础详解
    目录一、介绍二、SQL分类三、基本操作创建查询修改删除使用数据库一、介绍 MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这...
    99+
    2022-11-13
    mysql 操作数据库基础 mysql 操作数据库
  • 详解Python+OpenCV进行基础的图像操作
    目录介绍形态变换腐蚀膨胀创建边框强度变换对数变换线性变换去噪彩色图像使用直方图分析图像介绍 众所周知,OpenCV是一个用于计算机视觉和图像操作的免费开源库。 OpenCV 是用 C...
    99+
    2024-04-02
  • Kubernetes上使用Jaeger分布式追踪基础设施详解
    目录正文微服务架构中的可观察性分布式追踪Jaeger组件架构图Jaeger客户端Jaeger代理Jaeger SideCar 代理Jaeger Daemonset 代理Jaeger ...
    99+
    2023-03-06
    Kubernetes Jaeger分布式追踪 Kubernetes Jaeger
  • Git基础学习之分支基本操作详解
    目录1、创建分支(1)创建分支(2)图示理解2、查看分支列表3、分支切换4、查看所有分支的最后一个提交5、删除分支1、创建分支 (1)创建分支 Git 是怎么创建新分支的呢? 很简单...
    99+
    2022-11-13
    Git分支基本操作 Git分支操作 Git基础学习
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作