EchoBird 流量限流与 Token 预算配额路由器

EchoBird 流量限流与 Token 预算配额路由器

@edison7009/echobird·v1.2.5·core

为生产级智能体集群提供细粒度流量整形与预算熔断防护的网关中间件。支持基于滑动窗口的请求限流、团队与用户多维度 Token 计费配额以及突发流量平滑排队缓冲。

限流网关 · Token配额 · 成本熔断 · 多租户管控

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @edison7009/echobird

架构解析

「EchoBird Quota Router」为企业智能体平台的稳定运行与成本控制筑起严密堤坝。在多团队或多用户并发使用 AI 智能体时,某个死循环脚本或恶意压测流量极易在短时间内耗尽全局 API 密钥额度,导致整套服务陷入停摆。 本中间件通过在 Cordis 模型提供商层前置注入分布式令牌桶与滑动窗口算法,允许运维人员按团队、部门、用户或单个智能体维度配置严格的速率(RPM/TPM)与单日资金配额。支持突发流量平滑排队、达到预算硬上限时安全熔断,并提供清晰的实时账单计量与告警推流。

核心特性

01

滑动窗口高精度限流:有效避免固定窗口期边界突发两倍流量冲击的漏洞

02

多租户分级配额树:支持“企业 -> 事业部 -> 团队 -> 个人”树形配额继承与限制

03

智能突发流量平滑缓冲:毫秒级队列削峰填谷,避免频繁向调用方返回 429 报错

04

实时成本仪表板与预警推流:支持设定预算 80% 软提醒与 100% 硬熔断双重警报

核心机制

01

请求计量与身份鉴权

拦截模型调用请求,提取调用者组织租户 ID 并预估本轮 Token 消耗。

02

分布式令牌桶校验

查询 Redis 分布式限流器,验证当前租户滑动窗口速率与配额余额。

03

流量平滑排队缓冲

遇到突发流量时自动进入优先队列延迟重试,平滑削峰填谷。

04

超额熔断与实时告警

预算触达硬限时平滑阻断并抛出清晰业务错误码,同步向飞书推流告警。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
defaultDailyBudgetUsdnumber50.0单个租户默认的每日最高消费金额上限(美元)
maxRPMnumber60单个客户端默认每分钟最大请求次数
redisEndpointstringredis://127.0.0.1:6379分布式限流状态共享的 Redis 连接地址