iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > GO >使用go连接clickhouse的实战操作
  • 457
分享到

使用go连接clickhouse的实战操作

go连接clickhousegolang clickhouseclickhouse库的使用 2023-03-19 17:03:13 457人浏览 独家记忆
摘要

目录前言正文构造结构体参数读取建立连接发起查询结果解析结果验证结语前言 近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务

前言

近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务,报错信息也比较奇怪,No client available,研发查了一段时间没查出来,让运维这边继续查:

运维同学查了各种监听配置,防火墙这些,都没什么问题,但是没有明确证据能够提供证明通过Http方式能访问到数据库,时间拖得比较久,项目上就急了,让尽快找到问题,所以就用Go写了个小工具拉到集群上试试看8123这个端口到底能不能正常提供服务。

正文

先安装必要的库,clickhouse官方提供了2个版本的库,v1和v2,v1版本已经明确不会继续更新了,所以用新不用旧哈,可以用官方库的方式或者用dsn的方式,这个我下面一起说,安装库的命令:

go get GitHub.com/ClickHouse/clickhouse-go/v2

构造结构体

编写结构体,存放基本信息:

type Clickhouse struct {
	Host       string    // 服务端主机
	Port       int       // 端口
	DB         string    // 数据库
	User       string    // 用户名
	PassWord   string    // 密码
	Connection *sql.DB   // 建立连接后存放连接
	Rows       *sql.Rows // 运行sql后的结果存放
}

Connection主要是用来建立连接后把相关信息存放,这样方便继续调用其他的方法,因为我的主要目的是测试数据库能否连通和运行Sql,所以这里Rows用来存放测试的select语句的结果。

参数读取

这块没什么好说的,连接的参数直接从命令行读取,用flag包就好:

var (
	host  = flag.String("host", "localhost", "clickhouse host")
	port  = flag.Int("port", 8123, "clickhouse port")
	user  = flag.String("user", "default", "clichouse user")
	pass  = flag.String("password", "", "clickhouse password")
	db    = flag.String("db", "default", "clickhouse database")
	query = flag.String("query", "show tables", "query you will run")
	mode  = flag.String("mode", "driver", "driver or dsn")
)

前面几个参数不用解释,主要是querymodequery是要运行的sql语句,我们默认就认为跑的是select语句,然后是mode,允许选择模式,用户可以使用driver或者dsn两种模式进行连接,我写了两个不同的方法,其实也可以在一个Connect方法里做判断,看个人习惯;

建立连接

接下来我们建立数据库连接:

// 
func (c *Clickhouse) Conn() {
	c.Connection = clickhouse.OpenDB(&clickhouse.Options{
		Addr: []string{fmt.Sprintf("%s:%d", c.Host, c.Port)},
		Auth: clickhouse.Auth{
			Database: c.DB,
			Username: c.User,
			Password: c.Password,
		},
		Settings: clickhouse.Settings{
			"max_execution_time": 60,
		},
		DialTimeout: 5 * time.Second,
		Compression: &clickhouse.Compression{
			Method: clickhouse.CompressionBrotli,
			Level:  5,
		},
		// 必须添加协议方式
		Protocol: clickhouse.HTTP,
	})

}

func (c *Clickhouse) ConnDsn() {
	conn, err := sql.Open("clickhouse", fmt.Sprintf("http://%s:%d/%s?username=%s&password=%s", c.Host, c.Port, c.DB, c.User, c.Password))
	if err != nil {
		log.Printf("Connect to the server failed, %s.\n", err.Error())
		return
	}
	c.Connection = conn
}

参考官网的实例,实现两种连接方式,关闭方法就直接把sql.DB和sql.Rows都关闭就可以了:

func (c *Clickhouse) Close() {
	c.Connection.Close()
	c.Rows.Close()
}

发起查询

查询使用Query方法进行:

func (c *Clickhouse) Select(query string) {
	rows, err := c.Connection.Query(query)
	if err != nil {
		log.Printf("Query select failed, %s.\n", err.Error())
		return
	}
	c.Rows = rows
}

查询的结果我保存到Rows里,方便后面的解析

结果解析

比较麻烦的就是结果的解析了,用过database/sql库的哥们都知道,这个库只提供了基础的一些接口,查询出来一般用Scan去获取数据,用法类似这样:

问题就在于,Scan要指定和sql查询出来一样多的变量,对于我们这个小工具来说,sql是不一定的,所以查询出来的字段数量肯定yes不定的,如何动态处理这个问题,肯定是不能直接写一个结构体解决的,先看我的代码:

func (c *Clickhouse) Show() {
	cols, err := c.Rows.Columns()
	if err != nil {
		log.Printf("Failed to get table columns, %s.\n", err.Error())
		return
	}
	// 一行数据,使用any是为了避开数据类型的问题
	var rows = make([]any, len(cols))
	// 存实际的值,是byte数组,长度以列的数量为准
	var values = make([][]byte, len(cols))
	for i := 0; i < len(cols); i++ {
		rows[i] = &values[i]
	}
	// 打印表头
	fmt.Println(strings.Join(cols, ","))
	for c.Rows.Next() {
		if err = c.Rows.Scan(rows...); err != nil {
			fmt.Println(err)
			return
		}
		var vString []string
		for _, v := range values {
			vString = append(vString, string(v))
		}
		// 逐行打印出来
		fmt.Println(strings.Join(vString, ","))
	}
}

大概思路是这样:

  • Scan需要传入每个用来绑定单行数据值的变量,所以values是实际存储数据的byte数组,然后把数组的每个元素的地址再存入到rows数组中;
  • 现在可以用rows[index]这样的方式来访问values中的值了,把rows直接作为入参传入到Scan,在每次循环中,把values的值转成逗号分割的字符串,直接打印

结果验证

OK,现在逻辑完成了,我们运行测试一下,

go run main.go -host hostname -password paswword -query "select * from clusters" -db system -mode dsn

只查询2个字段,2行数据:

结语

完成,然后把工具放到生产环境一测试,查询都正常,这下开发哥们要继续查他的程序问题了,?,运维甩锅成功???

到此这篇关于使用go连接clickhouse的实战操作的文章就介绍到这了,更多相关go连接clickhouse内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: 使用go连接clickhouse的实战操作

本文链接: https://www.lsjlt.com/news/200312.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用go连接clickhouse的实战操作
    目录前言正文构造结构体参数读取建立连接发起查询结果解析结果验证结语前言 近段时间业务在一个局点测试clickhouse,用java写的代码在环境上一直连接不上clickhouse服务...
    99+
    2023-03-19
    go连接clickhouse golang clickhouse clickhouse库的使用
  • 如何使用go连接clickhouse
    这篇文章主要介绍“如何使用go连接clickhouse”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用go连接clickhouse”文章能帮助大家解决问题。近段时间业务在一个局点测试click...
    99+
    2023-07-05
  • Ruby使用Mysql2连接操作MySQL
    Ruby操作MySQL 使用mysql2连接mysql并操作mysql。相关文档参见: https://www.rubydoc.info/gems/mysql2/0.5.2https...
    99+
    2024-04-02
  • 使用navicat连接mysql的操作步骤
    小编给大家分享一下使用navicat连接mysql的操作步骤,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!打开Navicat P...
    99+
    2024-04-02
  • golang连接sqlx库的操作使用指南
    目录sqlx库使用指南sqlx介绍安装sqlx基本使用连接数据库查询插入、更新和删除NamedExecNamedQuery事务操作sqlx.Insqlx.In的批量插入示例表结构结构...
    99+
    2024-04-02
  • MySQL操作并使用Python进行连接
    目录一、表格与键概念二、创建资料库三、创建表格四、储存资料五、限制约束六、修改、删除资料七、取得资料八、创建公司资料库九、取得公司资料十、聚合函数十一、万用子元十二、联集十三、连接十...
    99+
    2024-04-02
  • Pytorch实现全连接层的操作
    全连接神经网络(FC) 全连接神经网络是一种最基本的神经网络结构,英文为Full Connection,所以一般简称FC。 FC的准则很简单:神经网络中除输入层之外的每个节点都和上一...
    99+
    2024-04-02
  • Ruby怎么使用Mysql2连接操作MySQL
    本篇内容主要讲解“Ruby怎么使用Mysql2连接操作MySQL”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Ruby怎么使用Mysql2连接操作MySQL”吧!Ruby操作MySQL使用mys...
    99+
    2023-06-30
  • redis如何使用jedis连接并操作
    本篇文章给大家分享的是有关redis如何使用jedis连接并操作,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。Redis是一个著名的key-value存储系统,也是nosql中...
    99+
    2023-05-31
    jedis
  • 使用navicat连接数据库的操作方法
    小编给大家分享一下使用navicat连接数据库的操作方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!  无论是本机安装的MyS...
    99+
    2024-04-02
  • SQL中的连接操作
    本篇内容主要讲解“SQL中的连接操作”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“SQL中的连接操作”吧! 利用连接操作,可以根据表与表之间的逻辑联系从两个或...
    99+
    2024-04-02
  • Elasticsearch连续剧之实战篇Java操作es
    作者:狮子也疯狂 专栏:《es》 坚持做好每一步,幸运之神自然会驾凌在你的身上 目录 一、🐇前言二、🐇原生JAVA操作ES_搭建项目Ⅰ、创建项目Ⅱ、索引操...
    99+
    2023-09-25
    elasticsearch java
  • spring-data-redis连接操作redis的实现
    Java连接redis的客户端有很多,其中比较常用的是Jedis. (参考:redis client) spring-data-redis则是对Jedis进行了高度封装,使用起来非常...
    99+
    2024-04-02
  • 在spring时使用RedisTemplate如何实现连接并操作Redis
    在spring时使用RedisTemplate如何实现连接并操作Redis?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。事务需要开启enableTransact...
    99+
    2023-05-31
    spring redistemplate redis
  • linq中的连接操作符
    linq中的连接操作符主要包括Join()和GroupJoin()两个。 一、Join()操作符 Join()操作符非常类似于T-SQL中的inner join,它将两个数据源进行连...
    99+
    2024-04-02
  • golang连接mysql数据库操作使用示例
    目录安装连接数据库处理类型(Handle Types)建表Exec使用Exec增删该示例sql预声明(Prepared Statements)QueryQueryxQueryRow和...
    99+
    2024-04-02
  • 使用GO操作MongoDB的方法
    目录安装MongoDB驱动程序连接MongoDB列出所有数据库从MongDB中查询数据查询单个文档查询多个文档更新多个文档删除MongoDB文档获取MongoDB服务状态安装Mong...
    99+
    2024-04-02
  • flaskSQLAlchemy连接数据库及操作的实现
    目录介绍flask介绍SQLAlchemy介绍Flask-SQLAlchemy介绍连接步骤增删改查操作外键绑定与ORM关系映射介绍 flask介绍 Flask是一个轻量级的Pytho...
    99+
    2023-03-08
    flask SQLAlchemy连接数据库 flask SQLAlchemy
  • 怎么使用CouchbaseSDK连接和操作数据库
    要使用Couchbase SDK连接和操作数据库,首先需要安装Couchbase Server,并下载对应的Couchbase SD...
    99+
    2024-04-09
    Couchbase 数据库
  • 从基础到实战:PHP中如何使用API接口操作数组?
    PHP作为一种流行的编程语言,其应用范围非常广泛。在Web开发中,PHP经常用于与服务器交互、操作数据库以及处理数据等任务。而在这些任务中,常常需要操作数组来存储和处理数据。本文将介绍如何使用API接口操作数组,包括数组的创建、添加、删除、...
    99+
    2023-10-09
    api 接口 数组
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作