两种方式 1、使用clickhouse表引擎,直接从Mysql中读取数据(针对表),如果业务需求不是很复杂,可以选择此方式,需要哪张表就配置哪张表,操作简单,数据实时同步; 2、使用clickhouse数据库
两种方式
1、使用clickhouse表引擎,直接从Mysql中读取数据(针对表),如果业务需求不是很复杂,可以选择此方式,需要哪张表就配置哪张表,操作简单,数据实时同步;
2、使用clickhouse数据库引擎,同步mysql数据库,配置稍微复杂一点,我是没有配置成功,这里就不介绍了。因为我使用的是mariadb(10.5.16),某些配置项不存在,网上也没找到,就没有研究了,有调通的小伙伴可以评论交流。
方式2已经有解决方案:
https://mp.csdn.net/mp_blog/creation/editor/131109231
CREATE DATABASE db1;
CREATE TABLE db1.table1 (
id INT,
column1 VARCHAR(255)
);
INSERT INTO db1.table1
(id, column1)
VALUES
(1, 'abc'),
(2, 'def'),
(3, 'ghi');
供clickhouse通过表引擎连接MySQL使用
CREATE USER 'mysql_clickhouse'@'%' IDENTIFIED BY 'PassWord123!';
GRANT ALL PRIVILEGES ON *.* TO 'mysql_clickhouse'@'%';
CREATE TABLE mysql_table1 (
id UInt64,
column1 String
)
ENGINE = MySQL('127.0.0.1','db1','table1','mysql_clickhouse','Password123!')
参数 | 描述 | 例 |
---|---|---|
host | 主机名或 IP | 127.0.0.1 |
database | MySQL 数据库名称 | db1 |
table | MySQL 表名 | table1 |
user | 用于连接到 MySQL 的用户名 | mysql_clickhouse |
password | 用于连接到 MySQL 的密码 | Password123! |
INSERT INTO db1.table1
(id, column1)
VALUES
(4, 'jkl');
SELECT
id,
column1
FROM mysql_table1
你会发现刚刚在MySQL中插入的数据
Query id: 6d590083-841e-4e95-8715-ef37d3e95197
┌─id─┬─column1─┐
│ 1 │ abc │
│ 2 │ def │
│ 3 │ ghi │
│ 4 │ jkl │
└────┴─────────┘
4 rows in set. Elapsed: 0.044 sec.
INSERT INTO mysql_table1
(id, column1)
VALUES
(5,'mno')
mysql> select id,column1 from db1.table1;
你会发现在clickhouse中插入的数据
+------+---------+
| id | column1 |
+------+---------+
| 1 | abc |
| 2 | def |
| 3 | ghi |
| 4 | jkl |
| 5 | mno |
+------+---------+
5 rows in set (0.01 sec)
通过表引擎连接MySQL,可以实现双向数据同步,简单快捷,需要哪张表就连接哪张表,当数据量不大时,没什么影响,我找到了一张mariadb中45个G的表,配置好表引擎连接之后,数据是加载不出来的,感觉clickhouse只是通过MySQL表引擎连接上了MySQL数据库,查询还是通过MySQL来查询的,45个G的数据量并不小,MySQL查询耗时较高,clickhouse加载超时时间为30s,加载不出来。
另外,可以通过在clickhouse创建只读权限的数据库连接账号,即可控制双向数据同步时读写权限的区分了,MySQL自身就可以配置主从,如果使用MySQL从库来和clickhouse进行连接的话,必须要控制好读写权限,MySQL从库一旦写入数据之后,等到下一次主库同步数据至从库时,必然会导致MySQL主从断开,一定注意!!!
来源地址:https://blog.csdn.net/qq_36803154/article/details/130819487
--结束END--
本文标题: clickhouse实时同步MySQL数据
本文链接: https://www.lsjlt.com/news/391504.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-09
2024-05-09
2024-05-09
2024-05-09
2024-05-08
2024-05-08
2024-05-08
2024-05-08
2024-05-08
2024-05-08
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0