RocksDB介绍RocksDB简介RocksDB是基于c++语言编写的嵌入式KV存储引擎,它不是一个分布式的DB,而是一个高效、高性能、单点的数据库引擎。它是由Facebook基于Google开源的kv存储LevelDB开发开发
RocksDB是基于c++语言编写的嵌入式KV存储引擎,它不是一个分布式的DB,而是一个高效、高性能、单点的数据库引擎。它是由Facebook基于Google开源的kv存储LevelDB开发开发。RocksDB使用LSM存储引擎。它针对不同的生产环境进行调优,可以直接使用内存、也可以使用Flash、或者用硬盘或者hdfs。而且支持不同的压缩算法,有一整套的工具用于生产、调试使用。RocksDB是一种嵌入式、KV型、持久化的存储。
使用嵌入式的数据存储原因有很多,当数据频繁访问内存、或者存储时,网络延迟会增加响应时间。
为了简单说明RocksDB,我们这里使用RocksDB的Java版本来编写。
<dependencies>
<dependency>
<groupId>org.rocksdbgroupId>
<artifactId>rocksdbjniartifactId>
<version>5.11.3version>
dependency>
dependencies>
public class GettingStartDemo {
// 因为RocksDB是由C++编写的,在Java中使用首先需要加载Native库
static {
// Loads the necessary library files.
// Calling this method twice will have no effect.
// By default the method extracts the shared library for loading at
// java.io.tmpdir, however, you can override this temporary location by
// setting the environment variable ROCKSDB_SHAREDLIB_DIR.
// 默认这个方法会加压一个共享库到java.io.tmpdir
RocksDB.loadLibrary();
}
public static void main(String[] args) throws RocksDBException {
// 1. 打开数据库
// 1.1 创建数据库配置
Options dbOpt = new Options();
// 1.2 配置当数据库不存在时自动创建
dbOpt.setCreateIfMissing(true);
// 1.3 打开数据库。因为RocksDB默认是保存在本地磁盘,所以需要指定位置
RocksDB rdb = RocksDB.open(dbOpt, "./data/rocksdb");
// 2. 写入数据
// 2.1 RocksDB都是以字节流的方式写入数据库中,所以我们需要将字符串转换为字节流再写入。这点类似于HBase
byte[] key = "zhangsan".getBytes();
byte[] value = "20".getBytes();
// 2.2 调用put方法写入数据
rdb.put(key, value);
System.out.println("写入数据到RocksDB完成!");
// 3. 调用delete方法读取数据
System.out.println("从RocksDB读取key = " + new String(key) + "的value为" + new String(rdb.get(key)));
// 4. 移除数据
rdb.delete(key);
// 关闭资源
rdb.close();
dbOpt.close();
}
}
运行程序后,我们可以发现,在data/rocksdb文件夹中,生成了一下几个文件:
导入Maven依赖
org.apache.flink
flink-statebackend-rocksdb_2.11
1.9.0
配置启用RocksDBBackend
// 此处也可以是HDFS路径,这里为了测试方便,所以使用的是本地路径
env.setStateBackend(new RocksDBStateBackend("file:///D:/project/java8/data/rocksdb", true));
参考文献:
RocksDB中文网:Https://rocksdb.org.cn/
https://rocksdb.org.cn/doc/RocksJava-Basics.html
https://www.jianshu.com/p/2638e2b379c3
https://www.jianshu.com/p/3302be5542c7
--结束END--
本文标题: 「Flink」RocksDB介绍以及Flink对RocksDB的支持
本文链接: https://www.lsjlt.com/news/4038.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-07
2024-05-07
2024-05-07
2024-05-07
2024-05-07
2024-05-07
2024-05-07
2024-05-07
2024-05-07
2024-05-07
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0