快速安装与集成
bash
manager:
$ pnpm add @edison7009/echobird架构解析
「EchoBird Quota Router」为企业智能体平台的稳定运行与成本控制筑起严密堤坝。在多团队或多用户并发使用 AI 智能体时,某个死循环脚本或恶意压测流量极易在短时间内耗尽全局 API 密钥额度,导致整套服务陷入停摆。
本中间件通过在 Cordis 模型提供商层前置注入分布式令牌桶与滑动窗口算法,允许运维人员按团队、部门、用户或单个智能体维度配置严格的速率(RPM/TPM)与单日资金配额。支持突发流量平滑排队、达到预算硬上限时安全熔断,并提供清晰的实时账单计量与告警推流。
核心特性
01
滑动窗口高精度限流:有效避免固定窗口期边界突发两倍流量冲击的漏洞
02
多租户分级配额树:支持“企业 -> 事业部 -> 团队 -> 个人”树形配额继承与限制
03
智能突发流量平滑缓冲:毫秒级队列削峰填谷,避免频繁向调用方返回 429 报错
04
实时成本仪表板与预警推流:支持设定预算 80% 软提醒与 100% 硬熔断双重警报
核心机制
01
请求计量与身份鉴权
拦截模型调用请求,提取调用者组织租户 ID 并预估本轮 Token 消耗。
02
分布式令牌桶校验
查询 Redis 分布式限流器,验证当前租户滑动窗口速率与配额余额。
03
流量平滑排队缓冲
遇到突发流量时自动进入优先队列延迟重试,平滑削峰填谷。
04
超额熔断与实时告警
预算触达硬限时平滑阻断并抛出清晰业务错误码,同步向飞书推流告警。
配置参数参考 (YAML / JSON)
| 参数名 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| defaultDailyBudgetUsd | number | 50.0 | 单个租户默认的每日最高消费金额上限(美元) |
| maxRPM | number | 60 | 单个客户端默认每分钟最大请求次数 |
| redisEndpoint | string | redis://127.0.0.1:6379 | 分布式限流状态共享的 Redis 连接地址 |
相关推荐
查看更多插件为你推荐同类插件
core18 K+
DSH Superagent 原型主动式编程智能体套件
DSH Superagent 是 DeepSeek 开源的主动式编程智能体原型。作为 DeepSeek Harness 的套件运行,它监听 GitHub 与飞书事件流,秉持极少打扰人类的哲学,在隔离会话中自主完成任务拆解、分支编码与 PR 提交,提供高透明度的人机协作审批面板。
查看详情
core19 K+
DSH Proactive 异步心跳与守护调度器
为 DeepSeek Harness 智能体提供生产级异步心跳机制与常驻守护进程。支持声明式 Cron 定时任务、长周期作业状态暂存与事件唤醒总线,让模型由被动响应转变为具备主动治理能力的持续自治智能体。
查看详情
core73 K+
Ruflo Swarm 多智能体拓扑编排网络
面向复杂工程的高性能多智能体拓扑编排引擎。支持动态角色分工、基于 DAG 的并发流水线驱动、跨会话共享记忆池与确定性状态协商协议,满足超大规模代码演进与系统研发需求。
查看详情
