博客
关于我
剖析nsq消息队列(一) 简介及去中心化实现原理
阅读量:505 次
发布时间:2019-03-06

本文共 1858 字,大约阅读时间需要 6 分钟。

分布式消息队列nsq解析:从架构到实践

在分布式系统中,消息队列是构建高性能架构的重要组成部分。最近,我对**nsq(Non-blocking Square)**这个开源消息队列框架进行了深入研究,现将分析过程中的关键点总结如下。


主要分析路线

  • nsq的整体架构与去中心化设计

    • nsq采用去中心化的分布式拓扑结构,能够在无中心节点的情况下保证系统的高可用性。
    • 系统通过多个nsqd实例和nsqlookupd实例组成一个动态可扩展的网络,有效规避了单点故障。
  • 消息可靠性与处理机制

    • nsq通过复杂的负载均衡算法,确保消息能够均衡分配到多个消费者手中,避免单个消费者过载。
    • 消息持久化通过多种方式实现,可根据需求选择文件持久化、内存持久化或数据库持久化。
  • 消费者连接方式优化

    • 直连方式:直接连接多个nsqd实例,适合资源较为充裕的场景。
    • 通过nsqlookupd方式:推荐的官方方式,通过服务注册与发现实现去中心化连接。

  • 主要组件解析

  • nsqd

    nsqd是消息队列的核心组件,负责接收、处理和分发消息。它支持多种协议(如TCP和HTTP),并通过goroutine和channel机制实现非阻塞处理。

  • nsqlookupd

    作为拓扑结构管理器,nsqlookupd负责服务的注册和发现。客户端通过连接nsqlookupd获取最新的nsqd服务列表,从而实现去中心化的连接方式。

  • go-nsq

    官方的Go语言客户端,支持多种消费模式,包括单次消费、批量消费和批量发射。

  • 辅助工具

    • nsqadmin:用于管理主题和订阅关系。
    • nsq_to_file:用于将消息持久化到文件。
    • nsq_stat:提供消息统计信息。

  • 使用方式对比

    1. 直连方式

    • 优点:适合小规模部署,直接连接多个nsqd实例。
    • 示例
      ./nsqd -tcp-address ":8000" -http-address ":8001" -data-path=./a
      ./nsqd -tcp-address ":7000" -http-address ":7001" -data-path=./b
    • 注意事项
      • 需要客户端主动管理连接状态,导致额外开销。
      • 横向扩充需手动调用ConnectToNSQDsConnectToNSQD

    2. 通过nsqlookupd方式

    • 优点:实现真正的去中心化连接,客户端只需连接nsqlookupd,自动获取最新服务列表。
    • 示例
      ./nsqlookupd -tcp-address ":8200" -http-address ":8201"
      ./nsq -tcp-address ":8000" --lookupd-tcp-address=127.0.0.1:8200 -data-path=./a
    • 客户端连接方式
      config := nsq.NewConfig()
      c, _ := nsq.NewConsumer("testTopic1", "ch1", config)
      if err := c.ConnectToNSQLookupds([]string{"127.0.0.1:7201", "127.0.0.1:8201"}); err != nil {
      panic(err)
      }

    横向扩充实践

    • 启动多个nsqd实例
      ./nsqd -tcp-address ":6000" -http-address ":6001" -data-path=./c
    • 创建主题
      curl -X POST "http://127.0.0.1:6001/topic/create?topic=testTopic1"
    • 客户端自动感知扩充节点: 客户端通过nsqlookupd获取最新服务列表,自动连接新节点。

    去中心化实现原理

  • 服务注册

    nsqd会将自身信息注册到一个或多个nsqlookupd实例中。

  • 服务发现

    客户端通过连接nsqlookupd,查询所有提供指定主题的nsqd服务地址。

  • 负载均衡

    客户端会自动连接所有返回的nsqd地址,实现消息的负载均衡。

  • 故障恢复

    如果某个nsqd实例失效,nsqlookupd会自动剔除其信息,客户端会自动切换到其他可用节点。


  • 总结

    通过上述分析,可以看出nsq通过其去中心化设计和灵活的扩展方式,成为一个高效可靠的分布式消息队列解决方案。推荐使用nsqlookupd的连接方式,这样可以更好地实现系统的横向扩充和高可用性。

    如果对nsq的深入使用和源码分析感兴趣,欢迎关注我的后续文章。

    转载地址:http://knbdz.baihongyu.com/

    你可能感兴趣的文章
    MySQL 内核深度优化
    查看>>
    mysql 内连接、自然连接、外连接的区别
    查看>>
    mysql 写入慢优化
    查看>>
    mysql 分组统计SQL语句
    查看>>
    Mysql 分页
    查看>>
    Mysql 分页语句 Limit原理
    查看>>
    MySql 创建函数 Error Code : 1418
    查看>>
    MySQL 创建新用户及授予权限的完整流程
    查看>>
    mysql 创建表,不能包含关键字values 以及 表id自增问题
    查看>>
    mysql 删除日志文件详解
    查看>>
    mysql 判断表字段是否存在,然后修改
    查看>>
    MySQL 到底能不能放到 Docker 里跑?
    查看>>
    mysql 前缀索引 命令_11 | Mysql怎么给字符串字段加索引?
    查看>>
    MySQL 加锁处理分析
    查看>>
    mysql 协议的退出命令包及解析
    查看>>
    mysql 参数 innodb_flush_log_at_trx_commit
    查看>>
    mysql 取表中分组之后最新一条数据 分组最新数据 分组取最新数据 分组数据 获取每个分类的最新数据
    查看>>
    MySQL 命令和内置函数
    查看>>
    MySQL 和 PostgreSQL,我到底选择哪个?
    查看>>
    mysql 四种存储引擎
    查看>>