Hadoop 安装教程 (Mac m1/m2版)

安装jdk1.8

这里最好是安装1.8版本的jdk

进入官网Java Downloads | Oracle Hong Kong SAR, PRC,下滑到中间区域找到JDK8

选择Mac os,下载ARM64 DMG Installer对应版本

注：这里下载需要注册oracle账号，不过很简单，只需要提供邮箱即可，什么邮箱都可以

下载完成后，双击.pkg文件，安装步骤安装即可。

输入命令：java -version 验证

配置JAVA_HOME环境

查看JDK所在位置，将路径录制下来后续会用到。

/usr/libexec/java_home -V

直接在终端输入vim ~/.bash_profile打开文件,没有文件则使用【touch .bash_profile】创建文件,在最后添加下方内容,Java_home 中的参数就是JDK所在路径

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-11.jdk/Contents/HomePATH=$JAVA_HOME/bin:$PATH:.CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.export JAVA_HOMEexport PATHexport CLASSPATH

保存文件后退出

输入命令【source ~/.bash_profile】 使配置文件生效。

输入 【echo $JAVA_HOME】 显示刚才配置的路径

设置ssh免密

打开系统偏好设置，在输入框输入sharing

勾选远程登录选项

 ​​​​​​​

打开终端，依次输入如下命令

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/id_rsa.pub

输入【ssh localhost】验证

下载hadoop

进入网址Apache Hadoop，选择最新版本Hadoop，选择binary download

获取.gz文件后双击解压该文件，获取到hadoop-3.3.6文件夹，将此文件放入根目录下（USER/[你的名字])

修改配置文件

(1)vim ～/.zprofile

打开 zprofile，添加以下内容,HADOOP_HOME=/Users/wangxiaoxuan/Documents/download/hadoop-3.3.6/  修改为你自己的路径

# Hadoopexport HADOOP_HOME=/Users/wangxiaoxuan/hadoop-3.3.6/export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_hdfs_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"

输入【source ~/.zprofile】是内容生效

(2)进入/Users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop 目录

cd /Users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop 

(3)打开hadoop-env.sh 【vim hadoop-env.sh】,添加如下内容，路径为jdk所在路径，上文有提到如何获取

export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home"

(4)打开core-site.sh文件【vim core-site.xml】，将标签中内容替换如下，路径需换成自己的路径

            hadoop.tmp.dir        /Users/wangxiaoxuan/hdfs/tmp/                fs.default.name        hdfs://127.0.0.1:9000    

(5)打开hdfs-site.xml文件【vim hdfs-site.xml】，将标签中内容替换如下，路径需换成自己的路径

        dfs.data.dir      /Users/wangxiaoxuan/hdfs/namenode          dfs.data.dir      /Users/wangxiaoxuan/hdfs/datanode          dfs.replication      1  

(6)打开mapred-site.xml文件【vim mapred-site.xml】，将标签中内容替换如下，无需更改路径

      mapReduce.framework.name    yarn  

(7)打开yarn-site.xml文件【vim yarn-site.xml】，将标签中内容替换如下，无需更改路径。

      yarn.nodemanager.aux-services    mapreduce_shuffle        yarn.nodemanager.aux-services.mapreduce.shuffle.class    org.apache.hadoop.mapred.ShuffleHandler        yarn.resourcemanager.hostname    127.0.0.1        yarn.acl.enable    0        yarn.nodemanager.env-whitelist    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME  

执行【hdfs namenode -fORMat】 如果报错，需要先执行【stop-all.sh】

正常应显示如下：

执行【start-all.sh】,查看resourcemanager 和nodemanagers是否启动成功

执行【jps】可查看进程

验证

在浏览器中输入http://localhost:9870/

显示如下：​​​​​​​

此安装教程参考:

https://www.youtube.com/watch?v=inDC9jgwpWY​​​​​​​​​​​​

https://codewitharjun.medium.com/install-hadoop-on-macos-m1-m2-6f6a01820cc9​​​​​​​

在安装过程中如遇设置免密登陆错误可参考：

networking - How to ssh to localhost without password? - Stack Overflow

来源地址：https://blog.csdn.net/xiaoqingqing521/article/details/133770612