iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >运维平台的建设思考-元数据管理(三)
  • 350
分享到

运维平台的建设思考-元数据管理(三)

2024-04-02 19:04:59 350人浏览 安东尼
摘要

继第一篇,第二篇介绍了关于元数据的一些想法,最近做了一些改进。 对于一部分的元数据抽取大体有下面的两种方式。假设数据源已经做了很大的努力,终于统一起来了。我们现在要通过ssh的方式从源端抽取出数据来。 一种

继第一篇,第二篇介绍了关于元数据的一些想法,最近做了一些改进。
对于一部分的元数据抽取大体有下面的两种方式。假设数据源已经做了很大的努力,终于统一起来了。我们现在要通过ssh的方式从源端抽取出数据来。
一种方式就是直接通过ssh的方式发送对应的查询脚本,然后可以得到一个完整的列表,二次加工即可。
运维平台的建设思考-元数据管理(三)
另外一种方式是直接在每台服务器上都部署一个类似agent的载体,每个服务器端都会独立的运行这些脚本内容,然后通过ssh的方式返回即可。
当然下面的图有一些夸张,实际上没有这么多的数据源,只是说明了这种方式。
运维平台的建设思考-元数据管理(三)
从个人的角度而言,如果喜欢偷懒类似一劳永逸的方式,我还是喜欢第一种方式,通过ssh发送脚本,然后返回服务端的运行结果。这种方式不需要特别的配置,比较轻巧快捷,当然这种场景的前提是脚本内容不大,调用次数不频繁。
假设调用的脚本为seal.sql,尝试使用下面的方式来调用。语句这么简答,我都有一种胜利在握的感觉了。
cat seal.sql | ssh 10.12.xxxx  'Mysql '
但是奇怪的是,没有任何的输出。
反复尝试,在数据库端反复运行了脚本,内容都没有任何的问题。
所以感觉是不是这种方式会有一些特殊字符的影响或者是语句的注释干扰等等。
然后在得不到任何反馈的情况下,先尝试使用本地的方式来运行,远程调用脚本的形式,这种方式奇怪的是也依旧没有任何结果。
尝试了很多种方式,看起来是运行了,但是没有结果输出
# ssh 10.127.33.7 ' cat  /home/dba/Monitor_Hardware/seal.sql|mysql  '
Logging to file '/home/mysql/query.log'
# ssh 10.127.33.7  'mysql < /home/dba/Monitor_Hardware/seal.sql'
Logging to file '/home/mysql/query.log'
# ssh 10.127.33.7  'mysql < /home/dba/Monitor_Hardware/seal.sql > /tmp/a.log'
# ssh 10.127.33.7  "mysql < /home/dba/Monitor_Hardware/seal.sql > /tmp/a.log"
# ssh 10.127.33.7  "/usr/bin/mysql < /home/dba/Monitor_Hardware/seal.sql > /tmp/a.log"
# ssh 10.127.33.7  "/usr/bin/mysql < /home/dba/Monitor_Hardware/seal.sql > /tmp/a.log" # ssh 10.127.33.7 "mysql seal 'select user from mysql.user'"
Logging to file '/home/mysql/query.log'
调用了一个sql语句来验证,发现还是有结果输出的。
# ssh 10.127.33.7 "mysql seal -e 'select user from mysql.user'"
Logging to file '/home/mysql/query.log'
xxxxuser
sys_pm
mysqlmon
..
那么问题在哪里呢?
在反复查看脚本之后,唯一可以假定的就是里面有一个字段值是中文了。
sql语句类似  select xxxxx  join xxxxx  where  device.server_responser in ('杨建荣');
按照这种情况来看,还是来看看是不是中文的影响。
可以使用这种方式来简单验证,传入变量LANG
cat seal.sql | ssh 10.127.33.7 'export LANG=en_US.utf-8;mysql -vv'
还是原来的脚本,加入-vv的选项,这种方式的输出结果为:
Empty set
Bye
看来就是语句运行了,但是因为字符集的不兼容,导致没有查询到任何结果。
这个问题的一个原因就是因为sql语句中的字段值为中文,可以尝试通过其它的code值来代替。
另外一个就是需要考虑字符集的情况,当然明确了这点。这个问题客户端为GBK,数据库端为UTF8,所以还是需要考虑这种差异,最后还是使用发送脚本的方式来运行,使用下面的方式来改进即可。
cat seal.sql |iconv -f GBK -t UTF8 | ssh 10.127.33.7 'export LANG=en_US.utf-8;mysql ' |iconv -f UTF8 -t GBK

您可能感兴趣的文档:

--结束END--

本文标题: 运维平台的建设思考-元数据管理(三)

本文链接: https://www.lsjlt.com/news/49747.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 运维平台的建设思考-元数据管理(三)
    继第一篇,第二篇介绍了关于元数据的一些想法,最近做了一些改进。 对于一部分的元数据抽取大体有下面的两种方式。假设数据源已经做了很大的努力,终于统一起来了。我们现在要通过ssh的方式从源端抽取出数据来。 一种...
    99+
    2024-04-02
  • 大数据的数仓平台设计思路是什么
    这篇文章主要讲解了“大数据的数仓平台设计思路是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“大数据的数仓平台设计思路是什么”吧!下图为数仓整体的技术架构:一个优秀可靠的数仓,一定要结构、...
    99+
    2023-06-05
  • 开发一个信息管理系统构建高效的数据管理平台
    信息管理系统是一种组织、管理和维护信息的有效工具,对于提升工作效率、提高信息利用率和保护数据安全具有重要意义。本文将详细介绍如何开发一个信息管理系统,包括系统设计、功能开发和数据维护等内容。 一、系统设计开发信息管理系统的第一步是进行系统设...
    99+
    2023-11-20
    高效 管理平台 信息管理系统
  • 阿里云数据库管理平台高效管理数据库的利器
    在信息化时代,数据库是企业的重要基础设施之一,对于企业的运营和决策有着至关重要的影响。然而,数据库管理是一项复杂的工作,需要专业知识和技能。为此,阿里云推出了数据库管理平台,帮助用户更高效地管理和维护数据库。本文将详细介绍阿里云数据库管理平...
    99+
    2023-11-10
    高效 阿里 利器
  • Wormhole大数据流式处理平台的设计思想是怎样的
    本篇文章为大家展示了Wormhole大数据流式处理平台的设计思想是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。导读:互联网的迅猛发展使得数据不再昂贵,而如何从数据中更快速获取价值变得日益重要...
    99+
    2023-06-19
  • 大数据总线平台DBus设计思路与工作原理
    大数据总线平台DBus设计思路与工作原理,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。一、背景企业中大量业务数据保存在各个业务系统数据库中,过去通常的同步数据的...
    99+
    2023-06-02
  • 揭秘数据库同步:跨平台数据管理的秘籍
    数据库同步技术通过使用一系列算法和协议来工作,以确保数据更改在多个数据库之间复制。这些算法和协议通常基于版本控制系统,该系统跟踪数据更改的历史记录并允许在需要时进行回滚。 有许多不同的数据库同步工具可供选择,每种工具都有其自己的优点和缺点...
    99+
    2024-02-29
    数据库同步 跨平台数据管理 数据复制
  • 基于Apache Hudi在Google云构建数据湖平台的思路详解
    自从计算机出现以来,我们一直在尝试寻找计算机存储一些信息的方法,存储在计算机上的信息(也称为数据)有多种形式,数据变得如此重要,以至于信息现在已成为触手可及的商品。多年来数据以多种方...
    99+
    2024-04-02
  • 使用docker创建和运行跨平台的容器化mssql数据库
    目录1.开启虚拟化服务2.安装Docker desktop3.部署本地mssql数据库3.另外也能在Docker Desktop-Container查看刚刚创建的容器4.使用VS验证...
    99+
    2024-04-02
  • 区块链数据管理平台开发,多节点联盟区块链搭建
    区块链数据管理平台开发,多节点联盟区块链搭建区块链到底是什么区块链本质上是一种去中心化的分布式数据库,是分布式数据存储、多中心的点对点传输、共识机制和加密算法等多种技术在互联网时代的创新应用模式。 源中瑞区块链系统开发 通俗地说,...
    99+
    2023-06-04
  • web自动化平台开发元数据的设计方法是是什么
    这篇“web自动化平台开发元数据的设计方法是是什么”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“web自动化平台开发元数据的...
    99+
    2023-06-04
  • 怎么使用docker创建和运行跨平台的容器化mssql数据库
    今天小编给大家分享一下怎么使用docker创建和运行跨平台的容器化mssql数据库的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下...
    99+
    2023-06-30
  • 数据库运维的黑科技:自动化引擎赋能高效管理
    自动化引擎的功能 自动化引擎是一套软件工具,能够自动化数据库运维的各个环节,包括: 监控和告警:实时监控数据库性能指标,及时发现异常并发出告警,以便运维人员及时采取措施。 备份和恢复:自动执行数据库备份任务,并根据预定义的策略进行恢复,...
    99+
    2024-04-02
  • 如何使用 Laravel 框架搭建一个高效的大数据处理平台?
    Laravel是一种流行的PHP框架,它提供了一种高效的方式来构建Web应用程序。但是,Laravel不仅仅是一个Web框架。它还可以用于搭建大规模的数据处理平台。本文将介绍如何使用Laravel框架搭建一个高效的大数据处理平台。 一、安装...
    99+
    2023-09-09
    ide 大数据 laravel
  • 阿里云数据库服务器可视化管理提升运维效率的关键
    在当今的数字化时代,数据已经成为企业的核心资产,而数据库服务器作为数据存储和管理的重要工具,其稳定性和性能直接影响到企业的业务运营。为了更好地管理和维护数据库服务器,阿里云推出了可视化管理工具,它可以帮助运维人员快速定位问题,提升运维效率,...
    99+
    2023-12-12
    阿里 效率 关键
  • MySQL实战:如何设计一个常用的后台管理系统的数据库结构
    部分数据来源:ChatGPT   什么是后台管理系统?         后台管理系统是指用于管理和维护网站或应用程序的后台界面系统,通常包含用户管理、权限管理、数据管理等功能,能够方便快捷地管理网站或应用程序。常见的后台管理系统有Cms、O...
    99+
    2023-09-26
    数据库 mysql sql
  • MySQL设计规约是技术同学的利器!如何有效管理和维护数据库?
    MySQL设计规约是技术同学的利器!如何有效管理和维护数据库?数据库是现代软件开发中不可或缺的一部分,它承载着大量的数据并提供了高效的数据访问方式。MySQL是一种常用的关系型数据库管理系统,广泛应用于各个行业和领域。然而,数据库的管理和维...
    99+
    2023-10-22
    数据库管理 数据库维护 MySQL设计规约
  • 数据库系统课设——基于python+pyqt5+mysql的酒店管理系统(可直接运行)--GUI编程
    几个月之前写的一个项目,通过这个项目,你能学到关于数据库的触发器知识,python的基本语法,python一些第三方库的使用,包括python如何将前后端连接起来(界面和数据),还有界面的设计等等。希望大家能从项目中学到东西。 一,项目背...
    99+
    2024-01-21
    python 开发语言
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作