官网

目录

一、MQ的简介

二、MQ的作用

1、异步处理（同时处理多件事情）

​编辑

2、应用解耦（添加了一个中间件）

​编辑

3、流量控制（当秒杀的时候，可以限制流量）

三、Docker安装MQ 

四、MQ的执行顺序

五、其他

1、Exchange 类型

①Exchange的direct(默认)

②Exchange的fanout

③Exchange的topic

2、springboot整合rabbitmq

①引入依赖

②配置rabbitmq的配置信息

③开启rabbitmq的使用，在启动类添加注解@EnableRabbit

3、rabbitAdmin来添加队列和交换机，以及队列和交换机的绑定

4、rabbitTemplate的使用

①发送不同的消息

②发送一个对象

5、接受消息RabbitListener和RabbitHandle

1、使用@RabbitListener注解来进行接受消息

2、使用@RabbitHandle来进行保存（这种就可以监听唯一的消息）

6、可靠投递----发送端的确认

①、消息抵达服务器就回调

②、消息到达队列就回调

7、可靠投递----消费端的确认

六、延时队列

1、定时任务

①、为什么要使用延时队列来实现定时任务？

②、在Java中如何使用定时任务

2、延时队列

①死信路由

②延时队列的实现

③延时队列模拟关闭订单的业务

七、消息丢失、重复、积压的解决方案

1）、消息的丢失

2）、消息的重复

3）、消息的积压

---

一、MQ的简介

RabbitMQ是一个实现了AMQP(Advanced Message Queuing Protocol)高级消息队列协议的消息队列服务,用Erlang语言。你可以把消息队列理解成一个使用队列通信的组件，也就是一个转发器，包括发送消息、存消息、接受消息。发送者发送消息---》消息队列存消息---》接受者消费消息。

大多应用中，可通过消息服务中间件来提升系统异步通信、扩展解耦能力。

2. 消息服务中两个重要概念：
消息代理（message broker）和目的地（destination）
当消息发送者发送消息以后，将由消息代理接管，消息代理保证消息传递到指定目的地。

3. 消息队列主要有两种形式的目的地
1）队列（queue）：点对点消息通信（point-to-point）
2） 主题（topic）：发布（publish）/订阅（subscribe）消息通信

4. 点对点式（JMS）
消息发送者发送消息，消息代理将其放入一个队列中，消息接收者从队列中获取消息内容，消息读取后被移出队列消息只有唯一的发送者和接受者，但并不是说只能有一个接收者；

5. 发布订阅式（AMQP）
发送者（发布者）发送消息到主题，多个接收者（订阅者）监听（订阅）这个主题，那么就会在消息到达时同时收到消息

6. JMS（Java Message Service）JAVA消息服务：
基于JVM消息代理的规范。ActiveMQ、HornetMQ是JMS实现

7. AMQP（Advanced Message Queuing Protocol）
高级消息队列协议，也是一个消息代理的规范，兼容JMS，RabbitMQ是AMQP的实现

8. spring支持
• spring-jms提供了对JMS的支持
• spring-rabbit提供了对AMQP的支持
• 需要ConnectionFactory的实现来连接消息代理
• 提供JmsTemplate、RabbitTemplate来发送消息
• @JmsListener（JMS）、@RabbitListener（AMQP）注解在方法上监听消息
代理发布的消息
• @EnableJms、@EnableRabbit开启支持

9. Spring Boot自动配置
• JmsAutoConfiguration
• RabbitAutoConfiguration

• 10、市面的MQ产品
• ActiveMQ、RabbitMQ、RocketMQ、kafka

二、MQ的作用

1、异步处理（同时处理多件事情）

2、应用解耦（添加了一个中间件）

3、流量控制（当秒杀的时候，可以限制流量）

三、Docker安装MQ 

docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management4369, 25672 (Erlang发现&集群端口)5672, 5671 (AMQP端口)15672 (WEB管理后台端口)61613, 61614 (STOMP协议端口)1883, 8883 (MQtT协议端口)

四、MQ的执行顺序

首先生产者和消费者建立一条长连接开辟信道（只能是一条，长连接是如果有一个服务挂了，就能够监听到，防止任务丢失），生产者把消息发送到broker消息代理，指定哪个虚拟主机，根据消息头的路由键找到对应的队列b（注意是队列），消费者通过信道来拿取消息。

1）、Message
消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。
2）、Publisher
消息的生产者，也是一个向交换器发布消息的客户端应用程序。
3）、Exchange
交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。
Exchange有4种类型：direct(默认)，fanout, topic, 和headers，不同类型的Exchange转发消息的策略有所区别
4）、Queue
消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。
5）、Binding
绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。Exchange 和Queue的绑定可以是多对多的关系。
6）、Connection
网络连接，比如一个tcp连接。
7）、Channel
信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接，AMQP 命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP 都是非常昂贵的开销，所以引入了信道的概念，以复用一条 TCP 连接。
8）、Consumer
消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。
9）、Virtual Host
虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版的 RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP 概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。
10）、Broker
表示消息队列服务器实体

五、其他

1、Exchange 类型

Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键，headers 交换器和 direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接看另外三种类型。

①Exchange的direct(默认)

消息中的路由键（routing key）如果和Binding 中的 binding key 一致， 交换器就将消息发到对应的队列中。路由键与队列名完全匹配，如果一个队列绑定到交换机要求路由键为“dog”，则只转发 routingkey 标记为“dog”的消息，不会转发“dog.puppy”，也不会转发dog.guard” 等等。它是完全匹配。

②Exchange的fanout

每个发到 fanout 类型交换器的消息都会分到所有绑定的队列上去。fanout 交换器不处理路由键，只是简单的将队列绑定到交换器上，每个发送到交换器的消息都会被转发到与该交换器绑定的所有队列上。很像子网广播，每台子网内的主机都获得了一份复制的消息。fanout 类型转发消息是最快的。

③Exchange的topic

topic 交换器通过模式匹配分配消息的路由键属性，将路由键和某个模式进行匹配，此时队列需要绑定到一个模式上。它将路由键和绑定键的字符串切分成单词，这些单词之间用点隔开。它同样也会识别两个通配符：符号“#”和符号“*”。#匹配0个或多个单词，*匹配一个单词。

2、SpringBoot整合rabbitmq

①引入依赖

            org.springframework.boot            spring-boot-starter-amqp

②配置rabbitmq的配置信息

spring    rabbitmq:        host: 192.168.80.128        port: 5672        username: guest        passWord: guest        virtualHost: /

③开启rabbitmq的使用，在启动类添加注解@EnableRabbit

3、rabbitAdmin来添加队列和交换机，以及队列和交换机的绑定

@SpringBootTest@RunWith(SpringRunner.class)public class Test1 {    @Autowired    private RabbitAdmin rabbitAdmin;    @Test    public void test1() {        rabbitAdmin.declareExchange(new TopicExchange("test.topic.exchange", false, false, null));        rabbitAdmin.declareExchange(new DirectExchange("test.direct.exchange", false, false, null));        rabbitAdmin.declareExchange(new FanoutExchange("test.fanout.exchange", false, false, null));        rabbitAdmin.declareQueue(new Queue("topic.queue", false, false, false, null));        rabbitAdmin.declareQueue(new Queue("direct.queue", false, false, false, null));        rabbitAdmin.declareQueue(new Queue("fanout.queue", false, false, false, null));        //1将一个queue绑定到一个exchange        rabbitAdmin.declareBinding(new Binding(                "direct.queue",//目标：队列名                Binding.DestinationType.QUEUE,//绑定目标类型：队列                "test.direct.exchange",//交换机名称                "direct.key",//路由key                null));//扩展参数        //2.1将一个交换机绑定到另一个交换机(消息流转topic.exchange->fanout.exchange)        rabbitAdmin.declareBinding(new Binding(                "test.fanout.exchange",//目标：交换机名                Binding.DestinationType.EXCHANGE, //绑定目标类型：交换机                "test.topic.exchange", //发起绑定的交换机                "test", //路由key                null));        //2.2fanout.queue绑定到test.fanout.exchange        rabbitAdmin.declareBinding(new Binding("fanout.queue",//目标：fanout.queue                Binding.DestinationType.QUEUE,//绑定类型:队列                "test.fanout.exchange",//绑定到的exchange                "",//应为是fanout类型exchange所以不需要routingKey                null));                //发送消息        //正常的消息流转 从test.direct.exchange-》direct.queue        rabbitAdmin.getRabbitTemplate().convertAndSend("test.direct.exchange", "direct.key", "直连交换机消息111");        //消息先到test.topic.exchange-》test.fanout.exchange-》fanout.queue        rabbitAdmin.getRabbitTemplate().convertAndSend("test.topic.exchange", "test", "多级流转消息2222");    }}

4、rabbitTemplate的使用

①发送不同的消息

@Test    public void testSendMG(){//        1、第一种方式使用admire来进行发送消息        rabbitAdmin.getRabbitTemplate().convertAndSend("xjh", "xjh-queue", "直连交换机消息222");//        2、第二种方式使用templete//        rabbitTemplate.convertAndSend("xjh","xjh-queue","好无聊啊");    }

②发送一个对象

①书写对象

@Test    public void testSendMG(){//        1、第一种方式使用admire来进行发送消息//        rabbitAdmin.getRabbitTemplate().convertAndSend("xjh", "xjh-queue", "直连交换机消息222");//        2、第二种方式使用templete//        rabbitTemplate.convertAndSend("xjh","xjh-queue","好无聊啊");        rabbitTemplate.convertAndSend("xjh","xjh-queue",new GireFriend("1","女朋友"));    }

②配置配置文件（为了序列化）

@Configurationpublic class RabbitConfiguration {    @Bean    public MessageConverter messageConverter(){        return new Jackson2JSONMessageConverter();    }}

5、接受消息RabbitListener和RabbitHandle

选择接受消息之后是否告诉rabbitmq保存，第四个就是不保存

1、使用@RabbitListener注解来进行接受消息

@RabbitListener(queues = "xjh-queue")    public void rabbitListener(Message message, GireFriend gireFriend){        System.out.println(message.getBody()+"======="+message.getMessageProperties()+"-------"+message);        System.out.println(gireFriend+"接受消息成功");    }

2、使用@RabbitHandle来进行保存（这种就可以监听唯一的消息）

①在类上指定是哪个队列@RabbitListener(queues = "xjh-queue")
②在方法添加@RabbitHandler这个注解

@RabbitHandler    public void rabbitListener(GireFriend gireFriend){        System.out.println(gireFriend+"接受消息成功");    }    @RabbitHandler    public void rabbitHandler(BoyFriend boyFriend){        System.out.println(boyFriend+"接受消息成功");    }

③发送消息

@ResponseBody    @GetMapping("sendMS")    public String sendMs(){        for(int i=0;i<10;i++){            if(i%2==0){                rabbitTemplate.convertAndSend("xjh","xjh-queue",new GireFriend("1","女朋友"));            }else {                rabbitTemplate.convertAndSend("xjh","xjh-queue",new BoyFriend("2","男朋友"));            }        }        return "ok";    }

6、可靠投递----发送端的确认

①、消息抵达服务器就回调

①开启发送端消息的确认

spring.rabbitmq.publisher-confirms=true

②设置抵达消息

@PostConstruct  //当RabbitConfiguration这个配置类加载完成之后    public void initrabbitTemple(){        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {//            CorrelationData correlationData,消息队列的唯一ID//            boolean b,是否接受成功//            String s，失败的原因            @Override            public void confirm(CorrelationData correlationData, boolean b, String s) {                System.out.println("correlationData===>"+correlationData+"===>是否接受成功"+b+"=====>失败的原因"+s);            }        });    }

②、消息到达队列就回调

①开启到达消息队列的确认

#开启队列接受消息的确认spring.rabbitmq.publisher-returns=true#只要抵达队列，就会优先异步调用returnconfirm方法spring.rabbitmq.template.mandatory=true

②设置达到队列回调

@PostConstruct  //当RabbitConfiguration这个配置类加载完成之后    public void initrabbitTemple(){        rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {//            message,失败的详细信息//            int i,回复的状态码//            String s,回复的信息//            String s1,哪一个交换机//            String s2；哪一个路由键            @Override            public void returnedMessage(Message message, int i, String s, String s1, String s2) {                System.out.println(message+"回复状态码"+i+"回复的信息"+s+"交换机是"+s1+"路由键是"+s2);            }        });    }

7、可靠投递----消费端的确认

①在接受数据的时候打一个断点，然后测试一个数据之后，直接停止这个服务

结果：收到很多消息，但是只回复了几个，可是全部的消息都不在了

②开启手动收到消息，接受一个数据之后，停止服务

#修改成手动确认消息spring.rabbitmq.listener.simple.acknowledge-mode=manual

结果：收到很多消息，但是只回复了几个，可是全部的消息都在

③手动收到消息，没回应某些消息

#修改成手动确认消息spring.rabbitmq.listener.simple.acknowledge-mode=manual

@RabbitListener(queues = "xjh-queue")    public void rabbitListener(Message message, GireFriend gireFriend, Channel channel){        long deliveryTag = message.getMessageProperties().getDeliveryTag();        try {            if (deliveryTag%2==0){                channel.basicAck(deliveryTag,false);                System.out.println(gireFriend+"接受消息成功");            }else {//                下面这两个都可以拒绝消息，只是参数不一样//                第二个参数是否批量接受，第三个参数是否重新返回队列中                channel.basicNack(deliveryTag,false,true);//                channel.basicReject();                System.out.println(gireFriend+"没有接受消息成功");            }        } catch (IOException e) {            e.printStackTrace();        }    }

结果：拒绝的消息还是在队列中，收到的消息就不在队列中了
④收到很多消息，回复了一部分，拒绝了另外一部分

#修改成手动确认消息spring.rabbitmq.listener.simple.acknowledge-mode=manual

@RabbitListener(queues = "xjh-queue")    public void rabbitListener(Message message, GireFriend gireFriend, Channel channel){        long deliveryTag = message.getMessageProperties().getDeliveryTag();        try {            if (deliveryTag%2==0){                channel.basicAck(deliveryTag,false);                System.out.println(gireFriend+"接受消息成功");            }else {//                下面这两个都可以拒绝消息，只是参数不一样//                第二个参数是否批量接受，第三个参数是否重新返回队列中                channel.basicNack(deliveryTag,false,false);//                channel.basicReject();这个拒收和上面的区别就是参数只有两个                System.out.println(gireFriend+"没有接受消息成功");            }        } catch (IOException e) {            e.printStackTrace();        }    }

结果：队列的数据变为0

六、延时队列

1、定时任务

①、为什么要使用延时队列来实现定时任务？

因为传统的定时任务会有时效问题，而延时队列实现定时任务时效问题会减少。

②、在Java中如何使用定时任务

首先在启动类开启任务的功能@EnableScheduling，再写一个配置类，使用@Scheduled（corn=‘七子表达式’）来进行定时任务；

@Componentpublic class ScheduledTask {    @Autowired    private StatisticsDailyService dailyService;        @Scheduled(cron = "0/5 * * * * ?")    public void task1() {        System.out.println("*********++++++++++++*****执行了");    }        @Scheduled(cron = "0 0 1 * * ?")    public void task2() {        //获取上一天的日期        String day = DateUtil.fORMatDate(DateUtil.aDDDays(new Date(), -1));        dailyService.createStatisticsByDay(day);    }}

[定时任务的底层原理]可以使用Timer和TimerTask完成需求，但有两个缺陷（Timer的多线程问题，TimerTask的抛出异常全部终止），因此我们要使用ScheduledExecutorService任务线程池来进行解决

2、延时队列

①死信路由

一个消息在满足如下条件下，会进死信路由，记住这里是路由而不是队列，一个路由可以对应很多队列。因此我们常常把死信路由来存过期的队列的消息。

TTL（消息存活时间）
1-一个消息被Consumer拒收了,并且reject方法的参数里requeue是false. 也就是说不会被再次放在队列里，被其他消费者使用.(basic.no/basic.nack)requeue=false
2-上面的消息的TTL到了，消息过期了
3-队列的长度限制满了。排在前面的消息会被丢弃或者扔到死信路由上

②延时队列的实现

1、在消息队列设置过期时间
2、在消息中设置过期时间，这种方式不好，比如三个消息过来，一个3s，一个4s，一个1s，最后那个1s的就要等前面的扫描之后才能扫描到它

③延时队列模拟关闭订单的业务

1、创建队列
2、创建交换机
3、实现监听器接口来监听消息队列的消息

@Configurationpublic class RabbitConfig {    @RabbitListener(queues = {"release.queue"})    public void listener(OrderEntity orderEntity, Channel channel, Message message) throws IOException {        System.out.println("监听成功"+orderEntity.getOrderSn());        channel.basicAck(message.getMessageProperties().getDeliveryTag(),false);    }    @Bean    public Queue delayQueue() {        //        5、要想成为死信队列就必须要设置这几个参数//          x-dead-letter-exchange: order-event-exchange//          x-dead-letter-routing-key: order.release.order//          x-message-ttl: 6000        Map map=new HashMap<>();        map.put("x-dead-letter-exchange","order-event-exchange");        map.put("x-dead-letter-routing-key", "zs2");        map.put("x-message-ttl",6000);        return new Queue("delay.queue", true, false, false,map);    }    @Bean    public Queue releaseQueue() {                return new Queue("release.queue", true, false, false);    }    @Bean    public Exchange orderEventExchange() {        //Direct交换机        return new TopicExchange("order-event-exchange", true, false);    }    @Bean    public Binding bindDirect1() {        //链式写法，绑定交换机和队列，并设置匹配键        return new Binding("delay.queue", Binding.DestinationType.QUEUE,"order-event-exchange","zs1",null);    }    @Bean    public Binding bindDirect2() {        //链式写法，绑定交换机和队列，并设置匹配键        return new Binding("release.queue", Binding.DestinationType.QUEUE,"order-event-exchange","zs2",null);    }}

使用客户端发送消息

@ResponseBody    @GetMapping("/zs")    public String zs() {        OrderEntity orderEntity=new OrderEntity();        orderEntity.setOrderSn(UUID.randomUUID().toString());        rabbitTemplate.convertAndSend("order-event-exchange","xjh1",orderEntity);        return "zs";    }

七、消息丢失、重复、积压的解决方案

1）、消息的丢失

•①消息发送出去，由于网络问题没有抵达服务器
        做好容错方法（try-catch），发送消息可能会网络失败，失败后要有重试机制，可记录到数据库，采用定期扫描重发的方式
        做好日志记录，每个消息状态是否都被服务器收到都应该记录
        做好定期重发，如果消息没有发送成功，定期去数据库扫描未成功的消息进行重发
②消息抵达Broker，Broker要将消息写入磁盘（持久化）才算成功。此时Broker尚未持久化完成，宕机。
        publisher也必须加入确认回调机制，确认成功的消息，修改数据库消息状态。
③自动ACK的状态下。消费者收到消息，但没来得及消息然后宕机
        一定开启手动ACK，消费成功才移除，失败或者没来得及处理就noAck并重新入队

2）、消息的重复

①消息消费成功，事务已经提交，ack时，机器宕机。导致没有ack成功，Broker的消息重新由unack变为ready，并发送给其他消费者
②消息消费失败，由于重试机制，自动又将消息发送出去（这种是允许的）
③成功消费，ack时宕机，消息由unack变为ready，Broker又重新发送
            消费者的业务消费接口应该设计为幂等性的。比如扣库存有工作单的状态标志
            使用防重表（Redis/Mysql），发送消息每一个都有业务的唯一标识，处理过就不用处理
            rabbitMQ的每一个消息都有redelivered字段，可以获取是否是被重新投递过来的，而不是第一次投递过来的

3）、消息的积压

消费者宕机积压
消费者消费能力不足积压
发送者发送流量太大
            • 上线更多的消费者，进行正常消费
            • 上线专门的队列消费服务，将消息先批量取出来，记录数据库，离线慢慢处理

来源地址：https://blog.csdn.net/qq_66068983/article/details/127864874