iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Dubbo实现分布式日志链路追踪
  • 903
分享到

Dubbo实现分布式日志链路追踪

2024-04-02 19:04:59 903人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

技术场景 在日常的开发、测试或运维的过程中,经常存在这样的场景,开发人员在代码中使用日志工具(log4j、slf4j)记录日志,比如请求ID、IP等,方便在线上快速、精准的定位问题,

技术场景

在日常的开发测试运维的过程中,经常存在这样的场景,开发人员在代码中使用日志工具(log4j、slf4j)记录日志,比如请求ID、IP等,方便在线上快速、精准的定位问题,通过完整的日志链路清晰的进行信息定位。

一般的项目都是分层的、分布式的,在众多的日志信息中,如何区分哪些日志信息是同一请求发出来的,详细的实现如下。

技术框架

项目框架:Spring Boot

分布式协调:ZooKeeperdubbo

日志工具:Sf4j

构建工具:Maven

开发工具idea

项目框架

项目结构

mdc-dubbo-api:接口服务

mdc-dubbo-provider:服务端服务

mdc-dubbo-consumer:消费端服务

项目配置

mdc-dubbo-api

提供一个接口


public interface OrderService {
String getOrder(String orderid);
}

mdc-dubbo-consumer

在服务端,在Controller层使用MDC工具类放入一个TRACE_LOG_ID信息,在此请求的service层、mdc-dubbo-provider中使用该信息。


服务端项目结构

项目分为Controller、Service、Filter等各层:

Controller层:存放TRACE_LOG_ID, 打印


@GetMapping("get/{id}")
    public String get(@PathVariable("id") String id){
        String uuid = UUID.randomUUID().toString().replaceAll("-", "");
        MDC.put(Constants.TRACE_LOG_ID, uuid);
        LOGGER.info("controller->param:{}", id);
        return consumerService.getName(id);
    }

Service层:打印TRACE_LOG_ID


@Override
    public String getName(String id) {
        LOGGER.info("consumer->service->param:{}", id);
        return orderService.getOrder(id);
    }

Filter:


public class TraceFilter implements Filter {
@Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws rpcException {
        //从MDC中获取
        String logId = MDC.get(Constants.TRACE_LOG_ID);
        Map<String, String> attachments = invocation.getAttachments();
        attachments.put(Constants.TRACE_LOG_ID, logId);
        return invoker.invoke(invocation);
    }

需要过滤器配置在resources->MATE-INF->dobbo文件夹下

![过滤器配置https://img-blog.csdnimg.cn/20181219100406136.png)

traceFilter=com.bestpay.provider.filter.TraceFilter

此处注意 此处使用到了Dubbo中spi机制,文件名必须是com.alibaba.dubbo.rpc.Filter

dubbo配置文件


<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="Http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:dubbo="http://code.alibabatech.com/schema/dubbo"
       xsi:schemaLocation="http://www.springframework.org/schema/beans
       http://www.springframework.org/schema/beans/spring-beans.xsd
       http://code.alibabatech.com/schema/dubbo
       http://code.alibabatech.com/schema/dubbo/dubbo.xsd">
    <!--过滤器配置-->
   <!-- <dubbo:provider filter="traceFilter" />-->
    <!-- 应用名-->
    <dubbo:application name="dmc-dubbo-provider"/>
    <!--zookeeper注册中心-->
    <dubbo:reGIStry address="zookeeper://127.0.0.1:2181"/>

    <dubbo:protocol name="dubbo" port="20880"/>
    <!--服务注册-->
    <dubbo:service interface="com.bestpay.service.OrderService" ref="orderService" timeout="10000" **filter="traceFilter"**/>
    <bean id="orderService" class="com.bestpay.provider.service.OrderServiceImpl" />

</beans>

其中filter="traceFilter是引用dobbo目录下配置中的key

logback配置


    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>[%date{yyyy-MM-dd HH:mm:ss}] [%-5level] %logger %line --%mdc{client} [%X{TRACE_LOG_ID}] %msg%n</pattern>
            <!-- 控制台也要使用UTF-8,不要使用GBK,否则会中文乱码 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>

TRACE_LOG_ID对应放入MDC中的key

mdc-dubbo-provider

配置和## mdc-dubbo-consumer类似,其中在Filter上稍微有些差别


public class TraceFilter implements Filter {
    @Override
    public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
        String logId = invocation.getAttachment(Constants.TRACE_LOG_ID);
        MDC.put(Constants.TRACE_LOG_ID, logId);
        return invoker.invoke(invocation);
    }
}

项目运行

mdc-dubbo-consumer日志:
[2018-12-19 10:16:56] [INFO ] com.bestpay.comsumer.controller.ConsumerController 33 – [d88ecba6581c47b1b3ade78d2821d13a] controller->param:223
[2018-12-19 10:16:56] [INFO ] com.bestpay.comsumer.service.impl.ComsumerServiceImpl 20 – [d88ecba6581c47b1b3ade78d2821d13a] consumer->service->param:223

mdc-dubbo-provider日志:
[2018-12-19 10:16:56] [INFO ] com.bestpay.provider.service.OrderServiceImpl 13 – [d88ecba6581c47b1b3ade78d2821d13a] provider->service->param:223

以上,完成了dubbo分布式服务之间日志的完整链路。为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

--结束END--

本文标题: Dubbo实现分布式日志链路追踪

本文链接: https://www.lsjlt.com/news/131120.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Dubbo实现分布式日志链路追踪
    技术场景 在日常的开发、测试或运维的过程中,经常存在这样的场景,开发人员在代码中使用日志工具(log4j、slf4j)记录日志,比如请求ID、IP等,方便在线上快速、精准的定位问题,...
    99+
    2022-11-12
  • ASP.Net Core中的日志与分布式链路追踪
    目录.NET Core 中的日志控制台输出非侵入式日志Microsoft.Extensions.LoggingILoggerFactoryILoggerProviderILogger...
    99+
    2022-11-13
  • Java gRPC拦截器如何实现分布式日志链路追踪器
    这篇文章主要介绍“Java gRPC拦截器如何实现分布式日志链路追踪器”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Java gRPC拦截器如何实现分布式日志链路追踪器”文章能帮...
    99+
    2023-07-05
  • ASP.Net Core中日志与分布式链路追踪的示例分析
    这篇文章主要介绍了ASP.Net Core中日志与分布式链路追踪的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。.NET Core 中的日志控制台输出最简单...
    99+
    2023-06-29
  • JavagRPC拦截器简单实现分布式日志链路追踪器过程详解
    目录跨进程链路追踪原理代码实现总结之前开源过一个分布式日志链路追踪的工具,其作用是规范日志格式,实现分布式日志层面的链路追踪,并且工具支持SpringMVC,Dubbo,OpenFe...
    99+
    2023-03-01
    Java gRPC拦截器 Java 分布式日志链路追踪
  • Go 分布式链路追踪实现原理解析
    目录为什么需要分布式链路追踪系统微服务架构给运维、排障带来新挑战分布式链路追踪系统如何帮助我们分布式链路追踪系统架构概览核心概念一般架构协议标准和开源实现应用侧调用链跟踪实现方案概览...
    99+
    2022-11-13
  • 如何使用分布式链路追踪
    这篇文章主要介绍“如何使用分布式链路追踪”,在日常操作中,相信很多人在如何使用分布式链路追踪问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”如何使用分布式链路追踪”的疑惑有所帮...
    99+
    2022-10-19
  • Go分布式链路追踪实现原理是什么
    本文小编为大家详细介绍“Go分布式链路追踪实现原理是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“Go分布式链路追踪实现原理是什么”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。为什么需要分布式链路追踪系统微...
    99+
    2023-07-02
  • 微服务分布式架构实现日志链路跟踪的方法
    Logback 背景 Logback是由log4j创始人设计的另一个开源日志组件,官方网站:http://logback.qos.ch。它当前分为下面下个模块: logba...
    99+
    2022-11-12
  • .NET Core分布式链路追踪框架的基本实现原理
    目录分布式追踪什么是分布式追踪分布式系统分布式追踪分布式追踪有什么用呢Dapper分布式追踪系统的实现跟踪树和 spanJaeger 和 OpenTracingOpenTracing...
    99+
    2022-11-13
  • .NET Core分布式链路追踪框架的实现原理是什么
    本文小编为大家详细介绍“.NET Core分布式链路追踪框架的实现原理是什么”,内容详细,步骤清晰,细节处理妥当,希望这篇“.NET Core分布式链路追踪框架的实现原理是什么”文章能帮助大家解决疑惑,下面跟着小编的思路...
    99+
    2023-06-29
  • 使用MDC实现日志链路跟踪
    目录1.原理2.实现3.过滤器4.logback.xml5.返回体6.效果日志前言: 在微服务环境中,我们经常使用Skywalking、CAT等去实现整体请求链路的追踪,但是这个整体...
    99+
    2022-11-12
  • skywalking分布式服务调用链路追踪APM应用监控
    目录前言skywalking是什么,有什么用?skywalaking总体架构分为三部分如何快速开始?第一步:进入官方release地址第二步:配置需要监控的应用的agent探针系统使...
    99+
    2022-11-13
  • SpringBootMDC全链路调用日志跟踪实现详解
    目录MDC 介绍API 说明MDC 使用添加拦截器修改日志格式常见问题子线程日志打印丢失 traceIdMDC 介绍 MDC(Mapped Diagnostic Context,映...
    99+
    2023-02-08
    SpringBoot MDC日志跟踪 SpringBoot MDC全链路调用
  • skywalking分布式服务调用链路追踪APM应用监控的示例分析
    这篇文章给大家分享的是有关skywalking分布式服务调用链路追踪APM应用监控的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。前言当企业应用进入分布式微服务时代,应用服务依赖会越来越多,skywalk...
    99+
    2023-06-29
  • SpringCloudSleuth实现分布式请求链路跟踪流程详解
    目录1、概念2、搭建链路监控步骤2.1、zipkin2.2、服务提供者2.3、服务消费者(调用方)1、概念 Git官网地址:https://github.com/spring-clo...
    99+
    2022-11-13
    SpringCloud Sleuth SpringCloud Sleuth分布式请求链路跟踪
  • 分布式微服务系统下调用链追踪技术实例分析
    这篇文章主要介绍“分布式微服务系统下调用链追踪技术实例分析”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“分布式微服务系统下调用链追踪技术实例分析”文章能帮助大家解决问题。1、面试官:分布式微服务环境...
    99+
    2023-06-29
  • SpringCloud分布式微服务云架构第九篇: 服务链路追踪(Finchley版本)
    这篇文章主要讲述服务追踪组件zipkin,Spring Cloud Sleuth集成了zipkin组件。一、简介Add sleuth to the classpath of a Spring Boot application (see be...
    99+
    2023-06-05
  • SpringBoot+slf4j实现全链路调用日志跟踪的方法(一)
    SpringBoot中除了常见的分布式链路跟踪系统zipkin、skywalking等,如果需要快速定位一次请求的所有日志,那么该如何实现?实际slf4j提供了MDC(Mapped ...
    99+
    2022-11-12
  • Java 实现分布式服务的调用链跟踪
    目录为什么要实现调用链跟踪?如何实现?第一步,看图、看场景,用户浏览器的一次请求行为所走的路径是什么样的第二步,实现。不想看代码可直接拉最后看结果和原理测试一下结果:为什么要实现调用...
    99+
    2022-11-12
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作