PM勇闯技术 – 消息队列

1 评论 304 浏览 0 收藏 7 分钟

当系统面对瞬间涌入的百万请求时,如何避免崩溃?答案往往藏在一条看不见的“队列”里。消息队列,就像交通枢纽的红绿灯,决定着数据能否安全、有序地抵达目的地。

01 什么是消息队列

消息队列(Message Queue)是一种使用队列作为底层存储数据结构,用于解决不同进程与应用之间传递消息的分布式消息容器,也称为消息中间件。

  • 消息(Message):两个应用间传递的数据
  • 队列(Queue):是一种常见的数据结构,最大的特性就是先进先出(FIFO)

为避免歧义,这里有必要补充点额外说明:

1️⃣「消息队列 = 消息 + 队列」这个极简版公式只是辅助没有技术背景的同学理解其基础构成的便捷方式,如果要从相对严谨的角度去拆解可以是这样:「消息队列 = 消息 + 队列 + 通信机制 + 可靠性保障 + 扩展能力」

2️⃣ 本文也没有讲解实际的MQ产品架构,比如RabbitMQ的Producer创建Connection、打开Channel发送消息,然后由Exchange路由消息到和其绑定Queue的几种模式(Direct点对点、Topic订阅、Fanout广播)以及Consumer监听队列拉取消息的过程。这些算是有点深入的技术细节,咱们主要是给产品经理讲解技术原理,没必要讲解到这个粒度。

02 核心角色与协作模式

03 应用场景

异步:

假如在A系统中调用B、C、D三个子系统,B负责核心业务逻辑,而C、D负责数据埋点或日志记录,而我们不希望非核心业务逻辑影响到我们的接口性能,通常会将日志、埋点等非核心逻辑做异步化处理,加快接口响应速度的同时还能提升系统性能

解耦:

在A和B之间插入消息队列弱化他们的依赖关系从而实现解耦,A不直接调用B,而是给消息队列发消息,B去订阅、消费;这种方式提高了系统稳定性、减少了代码的强耦合、增加了系统扩展能力;

削峰:

如果1秒来了5000个请求,同时打到数据库上会造成非常大的负载压力,容易导致数据库宕机,通过消息队列可以让瞬时大量请求得到缓解,保证系统稳定性

04 类比一下

蜂巢快递柜是生活中典型的“线下消息队列”,两者的核心逻辑几乎完全一致,即:通过「中间缓冲区」解决「发送方」和「接收方」的 时间不匹配、能力不匹配、直接沟通成本高等问题。

  • 快递员 = 消息生产者
  • 蜂巢柜 = MQ
  • 收件人 = 消息消费者
  • 包裹 = 消息

这个故事你一定熟悉:你熬夜血拼的宝贝到达网点后,快递员(生产者)拿到你的包裹(消息),根据你的地址找到附近的蜂巢柜(MQ),将快递放进去(发送消息到 MQ),蜂巢柜(MQ)确认快递放入后自动锁柜,并生成一条取件码发送到你的手机(MQ向生产者确认 “消息已接收”),你下班后看到取件码(消费者感知到消息),到蜂巢柜输入取件码(消费者读取消息)打开柜门取走快递(处理消息),并随手关上柜门(向 MQ 发送 “确认已接收”),柜子标记该格位 “空闲”(MQ删除已消费的消息)

蜂巢柜的价值:

  • 快递员不用等你,你不用等快递员 – 这是解耦!
  • 快递高峰期,快递网点不被挤爆 – 这是削峰!
  • 你不用实时等快递,不影响正常生活 – 这是异步!

05 附加知识 – MQ关键技术特性

  • 持久化:消息存入MQ后会被写入磁盘(而非仅存内存),即使 MQ 服务宕机,重启后消息也不会丢失(对应蜂巢快递柜的 “24小时存件,断电不丢件”);
  • 消息确认(ACK):消费者处理完消息后,必须向MQ发送确认信号,MQ才会删除消息;若消费者处理失败,MQ会重新将消息分发给其他消费者,确保 “消息必被处理”(对应蜂巢快递柜 “取件人扫码确认取件后,柜子才会清空”);
  • 队列模式(Queue):一条消息只能被一个消费者消费(如 “订单支付消息”,只能被 “支付系统” 处理一次);
  • 主题模式(Topic):一条消息可被多个订阅该主题的消费者消费(如 “新订单消息”,可同时被物流、短信、积分系统消费);
  • 死信队列(Dead-Letter Queue):若一条消息多次分发后仍处理失败(如消费者一直崩溃),MQ 会将其移入死信队列,避免它占用正常队列资源,后续可人工排查失败原因(对应蜂巢快递柜 “超时未取的快递,会被快递员取走暂存,避免占用柜子”)。

(本文完)

本文由 @肖沐 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
评论
评论请登录
  1. 获取更多技术干货,小红薯找:咔嗒库栗

    来自湖南 回复