Python 官方文档:入门教程 => 点击学习
本文总结下最近在用python+spark+HBase安装操作中的一些问题。 hbase安装 hbase配置 spark配置hbase hbase配置python hbase安装+hbase配置 安装流程可借鉴此处,同理s
本文总结下最近在用python+spark+HBase安装操作中的一些问题。
安装流程可借鉴此处,同理spark安装也可借鉴此处
具体参考:Http://dblab.xmu.edu.cn/blog/install-hbase/
把HBase的lib目录下的一些jar文件拷贝到Spark目录中(直接拷贝到spark目录即可),这些都是编程时需要引入的jar包,需要拷贝的jar文件包括:所有hbase开头的jar文件、guava-12.0.1.jar、htrace-core-3.1.0-incubating.jar和protobuf-java-2.5.0.jar(共42个包)
具体参考:http://dblab.xmu.edu.cn/blog/1715-2/
用python操作hbase时需要用到happybase库
python+happybase
1.pip install happybase 直接安装即可
2.测试安装 python -c ‘import happybase’,不报错就是正常的或直接导入happybase包不报错
3.安装thrift,thrift为一个语言编译器,在python去操作hbase是需要将语言重新编译为hbase底层支持的c++,具体可看https://www.cnblogs.com/enternal/p/5275455.html
4.要在hbase主节点上启动thrift server
hbase thrift -p 9090 start
启动完成为就为启动成功,此页面一直保持,不要关闭,关闭则服务也关闭,在生产环境中可自行配置为后台启动
此时即可用python操作hbase,或者可直接参考happybase提供的官方api文档
http://happybase.readthedocs.io/en/latest/user.html#establishing-a-connection
具体参考:http://blog.csdn.net/lizhe_dashuju/article/details/53931749
后续研究用pyspark来操作hbase
--结束END--
本文标题: hbase+python安装部署及操作
本文链接: https://www.lsjlt.com/news/189409.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0