【提示】点击每一关参考答案可以快速复制。

目录

第1关：Sqoop的安装与配置

任务描述

相关知识

编程要求

测试说明

参考答案

第1关：Sqoop的安装与配置

任务描述

本关任务：安装并配置 Sqoop ，用 Sqoop 查看 Mysql 中的数据库。

相关知识

为了完成本关任务，你需要掌握： 1、Sqoop基本安装。 2、Sqoop配置。

注意：本关实训Sqoop的安装与配置建立在hadoop、Hive、mysql已安装配置好的情况下。 可以参考Hive、MySQL安装。

Sqoop基本安装

你可以在此网址下载最新的 Sqoop ——Sqoop下载,这里已经帮你下载好了，放在/opt目录下。

• 接下来我们进入/opt目录内，解压sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。 依次输入以下命令：

mkdir /appcd /opttar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /appcd /appmv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

• 设置环境变量，输入vi /etc/profile，在末尾添加以下两行代码；

export SQOOP_HOME=/app/sqoopexport PATH=$PATH:$SQOOP_HOME/bin

• 最后输入source /etc/profile使环境生效。

Sqoop配置

将/app/sqoop/conf 下面的sqoop-env-template.sh文件改名为sqoop-env.sh。

cd /app/sqoop/confmv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh配置hadoop、hive、HBase环境变量。

export HADOOP_COMMON_HOME=/usr/local/hadoopexport HADOOP_MAPRED_HOME=/usr/local/hadoopexport HIVE_HOME=/hive-2.3.2

查看sqoop版本号——sqoop version。

图片那么多的 Warning 信息是配置 Hbase， Accumulo 的环境变量。对操作没有太多的影响。 查看sqoop帮助——sqoop help。

Sqoop 需要对接 Mysql 数据库，所以需要添加对应的JDBC驱动包（mysql-connector-java-5.1.45.tar.gz），用于数据库连接，这里的驱动包已经放在了/opt中。

cd /opttar -zxvf mysql-connector-java-5.1.45.tar.gzcp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /app/sqoop/lib/

至此Sqoop配置完成。 最后我们用安装好的 Sqoop 查看 MySQL 内的数据库。(这里和编程要求同，详见参考答案)

sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --passWord 123123

编程要求

根据上述步骤安装配置好Sqoop，并连接数据库成功，成功后将信息存入/app/log.txt中。

注意：我们存入信息使用>，表示每次都会新生成一个 > 后面的文件，将之前生成的文件替换掉（文件创建时间也会跟着改变）。

测试说明

若安装配置成功，则程序会输出：

sqoop-env.sh解压路径正确！infORMation_schemamysqlperformance_schema

参考答案

#命令行#解压sqoop的安装包到/app目录下mkdir /appcd /opttar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /appcd /appmv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop#进入vi编辑器vi /etc/profile

#以下为在vi编辑器中需要输入的内容。#使用提示：【i】键进入插入模式，鼠标滚轮可以快速上下滑动光标，执行对应插入操作，最后【Esc】键退出vi插入模式，输入“:wq”保存并退出vi编辑器。#使用提示：PageUp（PgUp）、PageDown（PgDn）键快速定位光标到文件开始位置和结束位置，Home、End键快速定位光标到当前行的行首和行末。#粘贴以下内容到末尾export SQOOP_HOME=/app/sqoopexport PATH=$PATH:$SQOOP_HOME/bin

#命令行#使环境生效source /etc/profile#将/app/sqoop/conf 下面的sqoop-env-template.sh文件改名为sqoop-env.shcd /app/sqoop/confmv sqoop-env-template.sh sqoop-env.sh#vi sqoop-env.sh配置hadoop、hive、hbase环境变量vi sqoop-env.sh

#以下为在vi编辑器中需要输入的内容。#使用提示：【i】键进入插入模式，鼠标滚轮可以快速上下滑动光标，执行对应插入操作，最后【Esc】键退出vi插入模式，输入“:wq”保存并退出vi编辑器。#使用提示：PageUp（PgUp）、PageDown（PgDn）键快速定位光标到文件开始位置和结束位置，Home、End键快速定位光标到当前行的行首和行末。#为了保持文件的可读性，请将修改对应行的注释为以下内容，不要直接粘贴export HADOOP_COMMON_HOME=/usr/local/hadoopexport HADOOP_MAPRED_HOME=/usr/local/hadoopexport HIVE_HOME=/hive-2.3.2

#命令行#查看sqoop版本号sqoop version#查看sqoop帮助sqoop help#查看驱动包是否在/opt中cd ~ls /opt#添加对应的JDBC驱动包cd /opttar -zxvf mysql-connector-java-5.1.45.tar.gzcp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /app/sqoop/lib/#用安装好的 Sqoop 查看 MySQL 内的数据库sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --password 123123 > /app/log.txt

至此，所有内容都完成辣。如果存在任何问题欢迎大佬指教🥰！

来源地址：https://blog.csdn.net/qq_41560688/article/details/129849275