
阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
背景信息
消息服务MNS提供的队列(Queue)主要的特点是高可靠、高可用、高并发。每个队列的数据都会被持久化三份到阿里云的飞天分布式平台。其中每个队列至少有两台服务器向外提供服务,同时每台服务器都支持高并发访问。这些分布式特性导致了消息服务MNS的队列无法像传统单机队列严格保证消息FIFO,只能做到基本有序。
队列如果同时有多个消息发送者(Sender),由于并发和网络延迟等问题,根本无法获知消息的实际发送顺序和消息到达服务器端的真实顺序。同理,当有多个接收者并发接收消息时,其真正的处理顺序也不可获知。综上所述,只有一个发送者(一个进程,可以是多个线程)、一个接收者时,消息顺序才有意义,也只有在这种情况下才能感知和记录消息的真实发送和接收顺序。
解决方案
基于上述假设,同时为了满足部分用户对于消息消费顺序性的要求,设计了以下方案,确保消息按照用户发送顺序被接收和消费。
消息在发送端进行染色,加上SeqId(例如:#num#)。
消息在接收端进行还原,并根据SeqId排序后返回给上层,同时对于已经接收的消息会有后台线程保证消息不会被重复消费。
为了避免因为发送者或者接收者fail导致SeqId丢失。SeqId会被持久存储到本地磁盘文件,或者其他存储和数据库,例如OSS、OTS或RDS。
注意事项
本文的主要目的是展示顺序消息的解决方案,不建议不加测试直接用于生产环境。
正常情况下,发送端和接收端的SeqId应该和队列中的消息(染色)匹配。当出现删除队列重新创建等操作时,请注意磁盘文件中的SeqId是否和队列中的真实情况相符,同时建议不要往染色的消息队列里发送非染色消息。
队列的消息有效期设置过短或者每条消息的实际处理结果都有可能会对消息有序性造成影响,在您的程序中需要对这些情况所导致的乱序现象进行处理。
示例代码
本文以Python版的方案实现为例,下载地址:有序队列Python示例代码(依赖MNS Python SDK)。其中,主要提供了OrderedQueueWrapper类(ordered_queue.py文件),可以将普通队列包装成有序队列。
OrderedQueueWrapper提供SendMessageInOrder()和ReceiveMessageInOrder()方法:
发送时对消息进行染色。
接收时还原消息,并且按顺序返回给接收者。
另外,send_message_in_order.py和receive_message_in_order.py提供发送者和接收者使用OrderedQueueWrapper的程序示例。
运行方法
配置send_message_in_order.py和receive_message_in_order.py中的配置项g_endpoint、g_accessKeyId、g_accessKeySecret以及g_testQueueName。
运行send_message_in_order.py。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云服务器购买,阿里云账号免费注册]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
将以下代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
ufo从哪里来的_ufo是从哪里来的 -
环保氯化石蜡 UFO从哪里来? 对于UFO的起源和来自何方的问题,科学界至今尚未找到确凿的答案。以下是一些有关UFO来自何方的猜测和假设: 来自外太空 最常见的理论认为UFO来自外太空
-
保养SMT智能料盘架,让生产更稳定可靠_佰斯特POUSTO -
SMT生产中,智能料盘架起着至关重要的作用,保养工作直接影响着其使用寿命,以下是POUSTO的一些建议,可帮助对 SMT智能料盘架 进行保养,从而延长其使用寿命。 定期清洁维护 定时清
-
鹤山钢结构:钢结构检测项目有哪些内容鈥� -
在建房过程中,钢结构的检测是非常重要的,那么钢结构检测项目有哪些内容呢,一起来看看吧。 一、钢结构检测项目有哪些内容 1、对钢及与钢结构材料有关的元素进行检验、拉伸和
-
【网站优化必看】网站死链介绍及设置方法 -
一、死链介绍 1、什么是死链 几乎所有的网站或 智能小程序 都会遇到内容失效、过期,页面不需要再展现的情况,这些无法对用户提供任何有价值信息的页面就是死链接,它包括协议
-
“特卖模式再起争议 唯品会被黑还是售假?” -
英语四级单词 【科技在线】 唯美品会 经历了上一次的伪茅台事件后,宣布销售的电子商务网站唯品会(中国)有限企业)美国股) vips,简称唯品会) )似乎麻烦不断。 3月1日,记者在某网站
-
质量与信任并重:选择可信赖的山东防静电手推车厂家!_佰斯特POUSTO -
想要找到可信赖的山东 防静电手推车 厂家,需要综合考虑多个方面的因素,这些影响因素包括厂家的专业程度、产品质量、性价比以及服务保障等等,以下是一些POUSTO具体的建议和方