博客
关于我
剖析nsq消息队列(一) 简介及去中心化实现原理
阅读量:505 次
发布时间:2019-03-06

本文共 1858 字,大约阅读时间需要 6 分钟。

分布式消息队列nsq解析:从架构到实践

在分布式系统中,消息队列是构建高性能架构的重要组成部分。最近,我对**nsq(Non-blocking Square)**这个开源消息队列框架进行了深入研究,现将分析过程中的关键点总结如下。


主要分析路线

  • nsq的整体架构与去中心化设计

    • nsq采用去中心化的分布式拓扑结构,能够在无中心节点的情况下保证系统的高可用性。
    • 系统通过多个nsqd实例和nsqlookupd实例组成一个动态可扩展的网络,有效规避了单点故障。
  • 消息可靠性与处理机制

    • nsq通过复杂的负载均衡算法,确保消息能够均衡分配到多个消费者手中,避免单个消费者过载。
    • 消息持久化通过多种方式实现,可根据需求选择文件持久化、内存持久化或数据库持久化。
  • 消费者连接方式优化

    • 直连方式:直接连接多个nsqd实例,适合资源较为充裕的场景。
    • 通过nsqlookupd方式:推荐的官方方式,通过服务注册与发现实现去中心化连接。

  • 主要组件解析

  • nsqd

    nsqd是消息队列的核心组件,负责接收、处理和分发消息。它支持多种协议(如TCP和HTTP),并通过goroutine和channel机制实现非阻塞处理。

  • nsqlookupd

    作为拓扑结构管理器,nsqlookupd负责服务的注册和发现。客户端通过连接nsqlookupd获取最新的nsqd服务列表,从而实现去中心化的连接方式。

  • go-nsq

    官方的Go语言客户端,支持多种消费模式,包括单次消费、批量消费和批量发射。

  • 辅助工具

    • nsqadmin:用于管理主题和订阅关系。
    • nsq_to_file:用于将消息持久化到文件。
    • nsq_stat:提供消息统计信息。

  • 使用方式对比

    1. 直连方式

    • 优点:适合小规模部署,直接连接多个nsqd实例。
    • 示例
      ./nsqd -tcp-address ":8000" -http-address ":8001" -data-path=./a
      ./nsqd -tcp-address ":7000" -http-address ":7001" -data-path=./b
    • 注意事项
      • 需要客户端主动管理连接状态,导致额外开销。
      • 横向扩充需手动调用ConnectToNSQDsConnectToNSQD

    2. 通过nsqlookupd方式

    • 优点:实现真正的去中心化连接,客户端只需连接nsqlookupd,自动获取最新服务列表。
    • 示例
      ./nsqlookupd -tcp-address ":8200" -http-address ":8201"
      ./nsq -tcp-address ":8000" --lookupd-tcp-address=127.0.0.1:8200 -data-path=./a
    • 客户端连接方式
      config := nsq.NewConfig()
      c, _ := nsq.NewConsumer("testTopic1", "ch1", config)
      if err := c.ConnectToNSQLookupds([]string{"127.0.0.1:7201", "127.0.0.1:8201"}); err != nil {
      panic(err)
      }

    横向扩充实践

    • 启动多个nsqd实例
      ./nsqd -tcp-address ":6000" -http-address ":6001" -data-path=./c
    • 创建主题
      curl -X POST "http://127.0.0.1:6001/topic/create?topic=testTopic1"
    • 客户端自动感知扩充节点: 客户端通过nsqlookupd获取最新服务列表,自动连接新节点。

    去中心化实现原理

  • 服务注册

    nsqd会将自身信息注册到一个或多个nsqlookupd实例中。

  • 服务发现

    客户端通过连接nsqlookupd,查询所有提供指定主题的nsqd服务地址。

  • 负载均衡

    客户端会自动连接所有返回的nsqd地址,实现消息的负载均衡。

  • 故障恢复

    如果某个nsqd实例失效,nsqlookupd会自动剔除其信息,客户端会自动切换到其他可用节点。


  • 总结

    通过上述分析,可以看出nsq通过其去中心化设计和灵活的扩展方式,成为一个高效可靠的分布式消息队列解决方案。推荐使用nsqlookupd的连接方式,这样可以更好地实现系统的横向扩充和高可用性。

    如果对nsq的深入使用和源码分析感兴趣,欢迎关注我的后续文章。

    转载地址:http://knbdz.baihongyu.com/

    你可能感兴趣的文章
    Mysql学习总结(68)——MYSQL统计每天、每周、每月、每年数据 SQL 总结
    查看>>
    Mysql学习总结(69)——Mysql EXPLAIN 命令使用总结
    查看>>
    Mysql学习总结(6)——MySql之ALTER命令用法详细解读
    查看>>
    Mysql学习总结(70)——MySQL 优化实施方案
    查看>>
    Mysql学习总结(71)——MySQL 重复记录查询与删除总结
    查看>>
    Mysql学习总结(71)——数据库介绍(MySQL安装 体系结构、基本管理)再回顾
    查看>>
    Mysql学习总结(72)——MySQL 开发者开发,设计规范再总结
    查看>>
    Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
    查看>>
    Mysql学习总结(74)——慢SQL!压垮团队的最后一根稻草!
    查看>>
    Mysql学习总结(75)——并发量大、数据量大的互联网业务数据库设计军规
    查看>>
    Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
    查看>>
    Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
    查看>>
    Mysql学习总结(78)——MySQL各版本差异整理
    查看>>
    Mysql学习总结(79)——MySQL常用函数总结
    查看>>
    Mysql学习总结(7)——MySql索引原理与使用大全
    查看>>
    Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
    查看>>
    Mysql学习总结(81)——为什么MySQL不推荐使用uuid或者雪花id作为主键?
    查看>>
    Mysql学习总结(82)——MySQL逻辑删除与数据库唯一性约束如何解决?
    查看>>
    Mysql学习总结(83)——常用的几种分布式锁:ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结
    查看>>
    Mysql学习总结(84)—— Mysql的主从复制延迟问题总结
    查看>>