使用时间:2014-05 - 至今。升级&变动:投入运作后没做任何修改变动,放养状态。运行情况:内部环境下使用,日均分担DBA工作量500次+查询。诞生背景:DBA人数-3,DBA除了做常规维护和数
使用时间:2014-05 - 至今。
升级&变动:投入运作后没做任何修改变动,放养状态。
运行情况:内部环境下使用,日均分担DBA工作量500次+查询。
诞生背景:DBA人数-3,DBA除了做常规维护和数据库优化外,还需要花大量时间帮开发查询非敏感数据。
需求:1.查询不能影响线上数据库服务;2.与现有运维系统做Restful api对接;
3.不能接收数据超1000+查询,以防很容易恶意导数据;4.预防恶意操作(delete、update、create table等ddl)。
对比对象:PHPMyAdmin(1.发现功能太多安全不受限制;2.需要安装WEB和对应php服务和代码,维护工作量多(例如:JAVA WEB容器系,每加个数据源重启一次服务);
3.不能满足所有需要立刻使用)
因为前端存在运维平台,数据库查询功能可以有两个途径实现:
1.在原有运维平台开发多个功能模块;但会引起运维平台臃肿;如果量大需要增加资源的时候,扩展很麻烦。
2.使用Nginx查询数据库的第三方工具担当起sql操作结果返回,同时,可以达到类热部署模式效果,只是在发现新的配置,需动态添加nginx中,重配置nginx就能正式服务。
基于上述原因:使用的大概东西决定了。nginx、lua(做非法字符检查+权限认证)、nginx模块ngx_postgres(用于查询pgsql)、nginx模块drizzle-nginx(用于查询Mysql)、fORM-input-nginx-module(直接获取post的内容,偷懒,其实可以lua代码中获取)。
现在的使用图:
1.工作区
2.历史记录区
实现架构:
运维平台Web界面 - > nginx+lua(数据库路由功能) -> nginx + lua + drizzle-nginx + ngx_postgres + form-input-nginx-module (如果性能不足能,需要复制、克隆加资源,只要在数据库路由端注册就行了)公共组成的API查询接口
实现:
1.编译。
nginx中加入 --add-module=PATH/ngx_devel_kit-0.2.19 --add-module=PATH/lua-nginx-module-0.9.7 --add-module=PATH/rds-JSON-nginx-module-master(主要让输出结果自动json化) --add-module=PATH/form-input-nginx-module --add-module=PATH/ngx_postgres-master --add-module=PATH/drizzle-nginx-module-0.1.7
drizzle-nginx-modul = https://GitHub.com/calio/form-input-nginx-module
ngx_postgres = Https://github.com/FRiCKLE/ngx_postgres
form-input-nginx-module = https://github.com/calio/form-input-nginx-module
2.nginx查找数据库的中配置:
upstream name {
drizzle_server db ip:db port dbname=xx
passWord=xx user=xx protocol=mysql charset=utf8;
}
show table功能
location ~ (数据库路由标识) {
set $upname $1;
set $my_sql 'show tables';
drizzle_query $my_sql;
drizzle_pass $upname;
drizzle_connect_timeout 10s; # default 60s
drizzle_send_query_timeout 60s; # default 60s
drizzle_recv_cols_timeout 30s; # default 60s
drizzle_recv_rows_timeout 30s; # default 60s
rds_json on;
}
查表操作
location ~ (数据库路由信息) {
default_type 'text/plain';
set_form_input $qsql;
access_by_lua $sql '
权限和非法字符验证功能模块,验证qsql
';
set $upname $1;
lua_need_request_body on;
client_max_body_size 50k;
client_body_buffer_size 50k;
drizzle_query $sql;
drizzle_pass $upname;
drizzle_connect_timeout 10s; # default 60s
drizzle_send_query_timeout 30s; # default 60s
drizzle_recv_cols_timeout 30s; # default 60s
drizzle_recv_rows_timeout 30s; # default 60s
rds_json on;
}
PG
upstream 192.168.236.1725432huayouhui_app {
postgres_server db ip:db port dbname=xx
user=xx password=xx;
postgres_keepalive off;
}
查表
location ~ (路由信息) {
add_header Content-Type 'text/html; charset=utf-8';
set $dbname $2;
set $upname $1$2;
set_by_lua $quoted_name '
local name = ngx.var.dbname
local mysql = "select tablename from pg_tables where schemaname=\'"..name.."\';"
return mysql
';
postgres_pass $upname;
rds_json on;
postgres_query '$quoted_name';
}
查询
location ~ (数据库路由信息) {
add_header Content-Type 'text/html; charset=utf-8';
set_form_input $qsql;
access_by_lua $sql '
权限和非法字符验证功能模块,验证qsql
';
set $upname $1;
lua_need_request_body on;
client_max_body_size 50k;
client_body_buffer_size 50k;
postgres_pass $upname;
rds_json on;
postgres_query '$sql';
}
页面实现和测试上线时间:3Days;nginx 路由 + nginx查询 : 实现+测试 1day。
更多文章请关注微信订阅号 轻度运维
--结束END--
本文标题: 效率篇-SQL自助查询平台
本文链接: https://www.lsjlt.com/news/42296.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-16
2024-05-16
2024-05-16
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
2024-05-15
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0