AGY Cloud 专线推理驱动与极速连接池

AGY Cloud 专线推理驱动与极速连接池

官方核心
@deepseek-ai/dsh-provider-agy·v2.5.0·providers

深度优化的官方 AGY 专线推理连接驱动。提供 HTTP/2 多路复用长连接池、零解析开销二进制流传输协议与私有专属集群低延迟直连,专为极限吞吐与大规模生产设计。

官方驱动 · AGY专线 · 连接池 · 低延迟

GitHubNPM
快速安装与集成
bash
manager:
$ pnpm add @deepseek-ai/dsh-provider-agy

架构解析

「AGY Provider」是 DeepSeek Harness 官方推荐的高性能企业级连接桥梁。常规的 HTTPS 短连接在高频调用下会频繁产生 TLS 握手开销、TCP 慢启动延迟以及连接耗尽问题。 本驱动深度优化了底层网络传输层,采用 HTTP/2 复用管道与自适应连接池管理。支持与企业私有部署的 AGY 专用集群建立就近物理专线连接,在保持极低网络往返耗时(RTT)的同时,支持每秒数千次的高并发流式数据吞吐,为大规模智能体流水线提供澎湃算力支撑。

核心特性

01

HTTP/2 多路复用连接池:单 TCP 链路并发承载上百个会话流,彻底根除端口耗尽

02

原生专线极低网络抖动:相比普通公网入口平均降低 35%~50% 传输延迟

03

客户端自适应背压控制:防止模型高速吐字冲垮下游慢速工具处理线程

04

企业专属私有集群直连:支持一键切换至企业内部自建物理算力节点或专有云

核心机制

01

长连接池常驻预热

在应用启动时与 AGY 专属集群建立保活的长连接池,消除握手耗时。

02

零拷贝载荷打包

将上下文与工具描述直接序列化为紧凑二进制帧,减少 CPU 内存拷贝。

03

专线路由双向推流

通过企业专线通道实时双向传输 Prompt 与接收模型推理 Token 流。

04

自适应拥塞背压

根据客户端消费速率动态调节下行流速,杜绝高负载下客户端内存崩溃。

配置参数参考 (YAML / JSON)

参数名类型默认值说明
poolSizenumber16常驻保持的 HTTP/2 物理连接并发池大小
connectTimeoutMsnumber5000专线连接握手超时时限(毫秒)
enableCompressionbooleantrue是否开启 Gzip/Brotli 传输层无损压缩