iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Hbase Python 操作准备
  • 771
分享到

Hbase Python 操作准备

操作HbasePython 2023-01-31 05:01:07 771人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

网上的教程是Java操作HBase的实例,我这里使用python,所以之后的文章都是通过thrift api操作hbase 1、安装apache thrift(根据自己系统选择安装) Http://thrift.apac

网上的教程是Java操作HBase的实例,我这里使用python,所以之后的文章都是通过thrift api操作hbase   

1、安装apache thrift(根据自己系统选择安装)
Http://thrift.apache.org/docs/install/Centos
按照上面步骤一步一步来,每一步都不能少,即使安装的有,也可以使用这些命令来检查安装的是否有问题,注意每一步涉及到安装的都需要使用sudo来运行,否则提示无权限。
但是在最后一步的时候,运行sudo make时,还是遇到了如下错误:
这里写图片描述
在网上搜索之后找到答案,进入lib/cpp/src/thrift/文件夹下,找到Thrift.h文件,在如图位置添加:#define __STDC_FORMAT_MacROS,之后再次进行make即可
这里写图片描述
验证thrift是否正确安装,输入命令:thrift –help查看帮助信息即可.
2、Thrift API
在网上很多人说在hbase根目录下存在Hbase.thrift文件,但是我没有找到,没办法,只能去官网下载https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/1.2.6/
hbase-1.2.6-src.tar.gz 这个文件,然后找到里面的hbase-thrift文件夹,解压出来,拷贝到任意目录,然后使用如下命令,生成Python使用的Thrift API:
thrift –gen py hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrif
然后把生成的gen-py文件夹下的hbase文件夹,拷贝到python的包路径下(site-packages)就可以使用了。
后期修改:发现这个包生成的hbase包已经不能用了,需要使用pip安装hbase-thrift即可。
3、测试
1 开启thrift服务:
hbase thrift start
2 编写python程序,操作数据库

# coding=utf-8
from thrift.transport.TSocket import TSocket
from thrift.transport.TTransport import TBufferedTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
host = 'localhost'
port = 9090
transport = TBufferedTransport(TSocket(host, port))
transport.open()
protocol = TBinaryProtocol.TBinaryProtocol(transport)
client = Hbase.Client(protocol)
print client.getTableNames()
transport.close()

3 运行结果:
使用hbase shell运行结果:
这里写图片描述
运行程序得到输出:
这里写图片描述

--结束END--

本文标题: Hbase Python 操作准备

本文链接: https://www.lsjlt.com/news/188867.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Hbase Python 操作准备
    网上的教程是Java操作hbase的实例,我这里使用python,所以之后的文章都是通过thrift API操作hbase 1、安装apache thrift(根据自己系统选择安装) http://thrift.apac...
    99+
    2023-01-31
    操作 Hbase Python
  • hbase+python安装部署及操作
    本文总结下最近在用python+spark+hbase安装操作中的一些问题。 hbase安装 hbase配置 spark配置hbase hbase配置python hbase安装+hbase配置 安装流程可借鉴此处,同理s...
    99+
    2023-01-31
    操作 hbase python
  • HBase shell如何操作
    小编给大家分享一下HBase shell如何操作,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!进入hbase Shell[root@test31 ~]# hbas...
    99+
    2023-06-03
  • 1. 准备工作
    在开始搭建亚马逊服务器的 Linux 环境之前,你需要先完成以下准备工作: 1.1 购买亚马逊服务器 首先,你需要购买一台亚马逊服务器。在购买时,你需要选择适合你需求的实例类型、操作系统和存储选项。 1.2 登录亚马逊服务器 购买完成后,...
    99+
    2023-10-27
    准备工作
  • 如何在HBase中进行数据的备份和恢复操作
    在HBase中进行数据备份和恢复操作可以使用HBase自带的工具或者第三方工具。以下是使用HBase自带的工具进行数据备份和恢复的步...
    99+
    2024-03-06
    HBase
  • Spring AOP操作的相关术语及环境准备
    目录一、常用术语二、准备工作1. 引入依赖2. 切入点表达式(1)示例1(2)示例2一、常用术语 在后续使用 AOP 中会用到几个专业术语:连接点、切入点、通知(增强)、切面。 分别...
    99+
    2024-04-02
  • python-环境准备python,ip
    Python-2.7.6和ipython-1.2.1编译安装[root@localhost ~]# lsanaconda-ks.cfg  Documents  install.log         ipython-1.2.1.tar.gz...
    99+
    2023-01-31
    环境 python ip
  • 如何使用phoenix操作hbase数据)
    这篇文章将为大家详细讲解有关如何使用phoenix操作hbase数据),小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。下载安装phoenix(版本与hbase对应)[root@node1 ~]# wget ...
    99+
    2023-06-02
  • PyTorch学习之软件准备与基本操作总结
    目录一、概述二、工具准备三、conda命令四、PyTorch的安装五、Jupyter修改默认路径一、概述 PyTorch可以认为是一个Python库,可以像NumPy、Pandas一...
    99+
    2024-04-02
  • 【FusionInsight 迁移】HBase从C50迁移到6.5.1(02)C50上准备FTP Server
    【FusionInsight 迁移】HBase从C50迁移到6.5.1(02)C50上准备FTP Server HBase从C50迁移到6.5.1(02)C50上准备FTP Server登录老...
    99+
    2023-09-05
    FusionInsight HBase 数据迁移 数据科学
  • Python标准库的操作方法有哪些
    这篇文章主要讲解了“Python标准库的操作方法有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python标准库的操作方法有哪些”吧!1、操作系统接口os模块提供了不少与操作系统相关联...
    99+
    2023-06-30
  • Python标准库pathlib操作目录和文件
    目录pathlib 基本组件常用属性和基本方法os and os.path VS pathlib总结学习 Python 时,尤其是在进行文件操作和数据处理时,经常会处理路径问题。最常...
    99+
    2024-04-02
  • 实验三:熟悉常用的HBase操作
    实验环境: (1)操作系统:Linux(建议 Ubuntu 16.04 或 Ubuntu 18.04)。 (2)Hadoop 版本:3.1.3。 (3)HBase 版本:2.2.2。 (4)JDK 版...
    99+
    2023-10-23
    hbase hadoop 大数据
  • Prometheus监控实战篇Nginx、Hbase操作详解
    目录一、Prometheus监控Nginx1、监控Nginx相关插件下载地址2、编译Nginx2.1 下载 nginx-release 并解压2.2 解压 Nginx-module-...
    99+
    2024-04-02
  • 通过DBeaver连接Phoenix操作hbase的方法
    前言 本文介绍常用一种通用数据库工具Dbeaver,DBeaver 可通过 JDBC 连接到数据库,可以支持几乎所有的数据库产品,包括:MySQL、PostgreSQL、MariaD...
    99+
    2024-04-02
  • HBase如何增量备份的python脚本
    这篇文章将为大家详细讲解有关HBase如何增量备份的python脚本,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。  HBase自带的export/import机制可以实...
    99+
    2024-04-02
  • 【②MySQL 】:测试数据准备、SQL语句规范与基本操作
    前言 欢迎来到小K的MySQL专栏,本节将为大家准备MySQL测试数据、以及带来SQL语句规范、数据库的基本操作的详细讲解 目录 前言一、准备测试数据二、SQL语句规范三、数据库的基本操...
    99+
    2023-09-29
    数据库 mysql sql
  • HBase支持哪些数据模型的操作
    HBase支持以下数据模型的操作: 列族数据模型:HBase使用列族(Column Family)来组织数据,每个列族包含多个列...
    99+
    2024-03-11
    HBase
  • 操作系统虚拟化的未来:准备迎接无限可能
    虚拟化技术进步 仮想化技术正在迅速进步,为企业提供更强大、更具适应性的解决方案。以下是一些值得关注的关键进步: 容器化:容器化技术将应用程序与底层基础设施隔离,实现更快的部署和简化的管理。 超融合基础设施 (HCI): HCI 将存储、...
    99+
    2024-04-02
  • python网站开发准备ubuntu14
    sudo apt-get install mysql-server mysql-client 输入root密码 然后确认安装tab选定确认 输入数据库密码 重复输入 启动 sudo service mysql start 停止 sudo ...
    99+
    2023-01-30
    网站开发 python
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作