广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Hadoop环境配置之hive环境配置详解
  • 506
分享到

Hadoop环境配置之hive环境配置详解

2024-04-02 19:04:59 506人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

1、将下载的Hive压缩包拉到/opt/software/文件夹下 安装包版本:apache-hive-3.1.2-bin.tar.gz 2、将安装包解压到/opt/module/

1、将下载的Hive压缩包拉到/opt/software/文件夹下

安装包版本:apache-hive-3.1.2-bin.tar.gz

2、将安装包解压到/opt/module/文件夹中,命令:


cd /opt/software/
tar -zxvf 压缩包名 -C /opt/module/

3、修改系统环境变量,命令:


vi /etc/profile

 在编辑面板中添加如下代码:


export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin
export PATH=$PATH:$hadoop_HOME/sbin:$HIVE_HOME/bin

4、重启环境配置,命令:


source /etc/profile

5、修改hive环境变量


cd  /opt/module/apache-hive-3.1.2-bin/bin/

①配置hive-config.sh文件


vi hive-config.sh

在编辑面板中添加如下代码:


export JAVA_HOME=/opt/module/jdk1.8.0_212
export HIVE_HOME=/opt/module/apache-hive-3.1.2-bin
export HADOOP_HOME=/opt/module/hadoop-3.2.0
export HIVE_CONF_DIR=/opt/module/apache-hive-3.1.2-bin/conf

6、拷贝hive配置文件,命令:


cd  /opt/module/apache-hive-3.1.2-bin/conf/
cp hive-default.xml.template hive-site.xml

7、修改hive配置文件,找到对应位置按一下代码进行修改:


vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>  
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.Mysql.cj.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Username to use against metastore database</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionPassWord</name>
    <value>123456</value>
# 自定义密码
    <description>password to use against metastore database</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.1.100:3306/hive?useUnicode=true&amp;characterEncoding=utf8&amp;useSSL=false&amp;serverTimezone=GMT</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>
  <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
    <description>Auto creates necessary schema on a startup if one doesn't exist. Set this to false, after creating it once.To enable auto create also set hive.metastore.schema.verification=false. Auto creation is not recommended for production use cases, run schematool command instead.</description>
  </property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    <description>
      Enforce metastore schema version consistency.
      True: Verify that version infORMation stored in is compatible with one from Hive jars.  Also disable automatic
            schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures
            proper metastore schema migration. (Default)
      False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
    </description>
  </property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/opt/module/apache-hive-3.1.2-bin/tmp/${user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
  <property>
<name>system:java.io.tmpdir</name>
<value>/opt/module/apache-hive-3.1.2-bin/iotmp</value>
<description/>
</property>
 
  <property>
    <name>hive.downloaded.resources.dir</name>
<value>/opt/module/apache-hive-3.1.2-bin/tmp/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>
<property>
    <name>hive.querylog.location</name>
    <value>/opt/module/apache-hive-3.1.2-bin/tmp/${system:user.name}</value>
    <description>Location of Hive run time structured log file</description>
  </property>
  <property>
    <name>hive.server2.logging.operation.log.location</name>
<value>/opt/module/apache-hive-3.1.2-bin/tmp/${system:user.name}/operation_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>
  <property>
    <name>hive.metastore.db.type</name>
    <value>mysql</value>
    <description>
      Expects one of [derby, oracle, mysql, mssql, postgres].
      Type of database used by the metastore. Information schema &amp; JDBCStorageHandler depend on it.
    </description>
  </property>
  <property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
    <description>Whether to include the current database in the Hive prompt.</description>
  </property>
  <property>
    <name>hive.cli.print.header</name>
    <value>true</value>
    <description>Whether to print the names of the columns in query output.</description>
  </property>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/opt/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
  </property>
</configuration>

8、上传mysql驱动包到/opt/module/apache-hive-3.1.2-bin/lib/文件夹下

驱动包:mysql-connector-java-8.0.15.zip,解压后从里面获取jar包

9、进入数据库,在数据库中新建名为hive的数据库,确保 mysql数据库中有名称为hive的数据库


mysql> create database hive;

10、初始化元数据库,命令:


schematool -dbType mysql -initSchema

11、群起,命令:


start-all.sh    Hadoop100上
start-yarn.sh    Hadoop101上

12、启动hive,命令:


hive

13、检测是否启动成功,命令:


show databases;

出现各类数据库,则启动成功

到此这篇关于Hadoop环境配置之hive环境配置的文章就介绍到这了,更多相关Hadoop hive环境配置内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Hadoop环境配置之hive环境配置详解

本文链接: https://www.lsjlt.com/news/159630.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Hadoop环境配置之hive环境配置详解
    1、将下载的hive压缩包拉到/opt/software/文件夹下 安装包版本:apache-hive-3.1.2-bin.tar.gz 2、将安装包解压到/opt/module/...
    99+
    2022-11-12
  • Hadoop环境配置中的hive环境配置是怎么样的
    这篇文章给大家介绍Hadoop环境配置中的hive环境配置是怎么样的,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。将下载的hive压缩包拉到/opt/software/文件夹下安装包版本:apache-hive-3.1...
    99+
    2023-06-25
  • vue多环境配置之.env配置文件详解
    目录Vue之.env环境配置文件前言一、.env是什么?二、说明及用法1. 文件说明2. 文件读取2.1 npm run serve2.2 npm run build3. 查看环境变...
    99+
    2023-03-19
    vue多环境配置 vue .env配置文件
  • Android NDK开发之:配置环境的详解
    一、Windows:Windows下的开发环境需要安装以下软件:Java JDK Apache ANT Build SystemAndroid SDKCygwinAndroid...
    99+
    2022-06-06
    环境 ndk Android
  • Qt6.3+Clion+MSVC2019环境配置详解
    1. VS2022中下载2019的编译环境 2. Clion中配置工具链 注意选amd64 3. CMake选择MSVC工具链 4. 编写CMakeLists.txt cmak...
    99+
    2023-01-13
    Qt6.3 MSVC2019环境配置 Qt6.3 Clion MSVC2019环境配置
  • 详解Hbuilder中PHP环境配置
    目录一、开启环境二、XAMPP的安装路径三、Hbuilder软件四、在HBuilder上安装支持PHP的插件五、配置HBuilder外置服务器六、新建php文件进行测试HBuilde...
    99+
    2022-11-12
  • SpringBoot-application.yml多环境配置详解
    介绍 开发SpringBoot应用的时候,通常程序需要在测试环境测试成功后才会上线到生产环境。而测试环境和生产环境的数据库地址、服务器端口等配置都不同。在为不同环境打jar包时,需要...
    99+
    2022-11-13
  • jdk11下载、安装及环境配置详解(win10环境)
    目录 一、jdk11下载1.1、官网下载网址1.2、官网下载步骤 二、jdk11安装(win10环境)三、jdk11环境变量配置(win10环境)3.1、jdk11环境变量配置步骤3.2...
    99+
    2023-09-02
    jdk
  • python之环境变量配置
    Python 是一种高级编程语言,它是一种解释性的语言,它有一些常用的环境变量配置。在本文中,我们将详细探讨这些配置。这些配置包括: PATH 环境变量 PATH 环境变量是最重要的环境变量之一,因为它告诉操作系统可执行文件所在的位置。当你...
    99+
    2023-10-21
    python 开发语言
  • JAVA环境配置
    下载JDK 注意:可能java对中文支持的原因,最好java环境和程序使用的路径中不要包含中文 搜索jdk在其官网中下载其需要的版本,本文以java8和java15为例。 进入腾讯软件中心【软件分类列表】-腾讯软件中心官网 (qq.c...
    99+
    2023-10-24
    java Powered by 金山文档
  • python环境配置
    selenium 自动化测试环境配置。第一步、安装python 的开发环境包,选择需要安装路径进行安装,笔者下载的是目前最新的python2.7.5版本,安装目录为:C:\Python27。第二步、安装setuptools 通过前面提供的s...
    99+
    2023-01-31
    环境 python
  • PHP环境配置
    文章目录 安装前的准备安装 ApachePHP 安装MySQL 的安装phpMyAdmin 配置 安装前的准备 查看本机的类型(x86/x64, 即 32 位还是 64 位)安装好 V...
    99+
    2023-09-10
    php apache 开发语言
  • Android环境配置
    1. JDK安装 这里我就不详细写了,有需要戳这里 2. AndroidStudio安装(确保在安装 Android Studio 之前,已经安...
    99+
    2022-06-06
    Android
  • Django环境配置
    虚拟机创建项目 pycharm创建项目 开启项目     1.  创建虚拟环境     workon    查看虚拟环境         mkvirtualenv -p /usr/bin/python3.5 envname   ...
    99+
    2023-01-30
    环境 Django
  • conda环境配置
    新租了服务器,想做个简单的服务端,测试以下网络质量。刚开始打算用npm的http-server做一个,无奈出问题了。后来还是觉得干脆装个django npm和nodejs的安装 npm可以通过apt-get install安装,nodej...
    99+
    2023-01-31
    环境 conda
  • adb环境配置
    adb环境配置 1.下载工具包 工具包:platform-tools_r30.0.4-windows.zip 获取途径1:链接: https://pan.baidu.com/s/17BiARFlgsQa2wDETmoJIvQpwd=dsd2...
    99+
    2023-08-19
    adb android
  • Flutter 环境配置
    Flutter 环境配置 电脑上面安装配置JDK 1.下载安装JDK 下载地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk...
    99+
    2023-09-01
    flutter android android studio
  • Hadoop中怎么配置HBase单机环境
    Hadoop中怎么配置HBase单机环境,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。  Hadoop HBase 单机环境怎么配置  在...
    99+
    2022-10-18
  • 如何配置hadoop基础编译环境
    这篇文章主要介绍如何配置hadoop基础编译环境,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!Part1 JDK:1.下载软件包2.在CRT(或虚拟机里的操作)命令:cd /opt  移动到opt ...
    99+
    2023-06-03
  • SpringBoot多环境配置教程详解
    目录一、为什么要配置多环境二、如何进行多环境配置呢1、针对 yaml 配置文件2、针对 properties 配置文件三、命令行启动参数第一步:打包项目第二步:输入命令行补充内容一、...
    99+
    2022-11-13
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作