在mac上如何安装和搭建Hadoop集群

在 MacOS 上安装和搭建 hadoop 集群可以分为以下步骤：

安装 Java

Hadoop 需要依赖 Java 运行环境，因此需要先安装 Java。macOS 自带了 Java，可以通过终端命令 java -version 来查看 Java 版本。

安装 Hadoop

可以从 Hadoop 官网下载 Hadoop 安装包，或者通过 Homebrew 进行安装。使用 Homebrew 安装 Hadoop，可以通过以下命令：

brew install hadoop

配置 Hadoop

在 Hadoop 的安装目录下，有一个 etc/hadoop 目录，里面包含了 Hadoop 的配置文件。其中，需要修改的配置文件包括 hadoop-env.sh、core-site.xml、hdfs-site.xml 和 mapred-site.xml。

具体来说，需要设置以下参数：

• hadoop-env.sh：设置 Java 环境变量，将 JAVA_HOME 设置为 Java 的安装路径。

• core-site.xml：设置 Hadoop 的通用参数，包括文件系统默认的 URI 和文件系统类型。在 标签中添加以下配置：

  fs.defaultFS  hdfs://localhost:9000

hdfs-site.xml：设置 HDFS 的参数，包括数据块的大小和副本数量。在 标签中添加以下配置：

  dfs.replication  1  dfs.blocksize  128M

mapred-site.xml：设置 mapReduce 的参数，包括 MapReduce 框架的工作机制。在 标签中添加以下配置：

  mapreduce.framework.name  yarn

启动 Hadoop

在终端中执行以下命令启动 Hadoop：

start-all.sh

执行命令后，可以通过以下命令来查看 Hadoop 是否启动成功：

jps

如果启动成功，会看到类似以下的输出：

18812 Jps18243 SecondaryNamenode18109 NameNode18341 ResourceManager18500 NodeManager

验证 Hadoop

在终端中执行以下命令，创建一个测试文件并上传到 HDFS：

echo "Hello, Hadoop" > test.txthdfs dfs -mkdir /inputhdfs dfs -put test.txt /input

执行完毕后，可以通过以下命令查看上传的文件：

hdfs dfs -ls /input

如果成功上传文件，会看到类似以下的输出：

Found 1 items-r

来源地址：https://blog.csdn.net/weixin_41429382/article/details/128986719