前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站:https://www.captainai.net/dongkelun 前言 Hudi除了支持spar
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站:https://www.captainai.net/dongkelun
Hudi除了支持spark、Fink写Hudi外,还支持Java客户端。本文总结Hudi Java Client如何使用,主要为代码示例,可以实现读取Hive表写Hudi表。当然也支持读取其他数据源,比如Mysql,实现读取mysql的历史数据和增量数据写Hudi。
Hudi 0.12.0
支持insert/upsert/delete,暂不支持bulkInsert
目前仅支持COW表
支持完整的写Hudi操作,包括rollback、clean、archive等
完整代码已上传GitHub:https://github.com/dongkelun/hudi-demo/tree/master/java-client
其中HoodieJavaWriteClientExample
是从Hudi源码里拷贝的,包含了insert/upsert/delte/的代码示例,JavaClientHive2Hudi
是我自己的写的代码示例总结,实现了kerberos认证、读取Hive表Schema作为写hudi的Schema、读取Hive表数据写hudi表,并同步hu
--结束END--
本文标题: Hudi Java Client总结|读取Hive写Hudi代码示例
本文链接: https://www.lsjlt.com/news/422693.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-04-01
2024-04-03
2024-04-03
2024-01-21
2024-01-21
2024-01-21
2024-01-21
2023-12-23
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0