Python 官方文档:入门教程 => 点击学习
该python脚本是用于执行Hive脚本的,需要设置hive的可执行环境变量,其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行,然后把结果重定向到控制台显示。注:由于该脚本是直接调用shell中的hive
该python脚本是用于执行Hive脚本的,需要设置hive的可执行环境变量,其实质转化为shell下命令 hive -e 'sql语句’ 的方式执行,然后把结果重定向到控制台显示。注:由于该脚本是直接调用shell中的hive命令,所以需要在安装hive的服务器上执行。
使用前置条件:(1)安装hadoop和hive,并启动完hadoop;(2)已配置好hive的环境变量,确保在shell中能正常执行hive。
#!/usr/bin/Python
#-*-coding:utf-8 -*-
import subprocess
import traceback
sql = """
# 书写hql脚本
;
"""
cmd = 'hive -e """'+sql.replace('"', "\'")+'"""'
print cmd
try:
p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
while True:
buff = p.stdout.readline()
print buff
if buff == '' and p.poll() != None:
break
except Exception,re:
print "message is:%s" %(str(re))
traceback.print_exc();
脚本举例
#!/usr/bin/python
#-*-coding:utf-8 -*-
import subprocess
import traceback
sql = """
select * from app_tianhe_zym_item_reason_dtl_da where order_dt = '2016-01-26' limit 10;
"""
cmd = 'hive -e """'+sql.replace('"', "\'")+'"""'
print cmd
try:
p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
while True:
buff = p.stdout.readline()
print buff
if buff == '' and p.poll() != None:
break
except Exception,re:
print "message is:%s" %(str(re))
traceback.print_exc();
--结束END--
本文标题: Python执行hive sql
本文链接: https://www.lsjlt.com/news/188902.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0