首包时间
流式聊天里，用户最先感知的是首包时间。首包慢通常意味着排队、上游调度或中转层处理存在瓶颈。
RELAY SPEED TEST
API 中转站测速
中转站速度会影响聊天首屏、工具调用、批处理任务和用户等待时间。测速时要同时看首包时间、完整响应耗时、失败率和多次请求波动。
总耗时
完整响应耗时会影响批量生成、总结和工具调用任务。长文本输出时，应把模型速度和中转链路耗时分开观察。
波动和失败率
比慢更危险的是不稳定。偶发超时、连接重置、返回空内容或高峰期大幅波动，都需要在接入前记录。
测速建议
- 同一模型连续测试多次，不只记录最快一次。
- 分别测试普通响应和流式响应。
- 记录首包时间、总耗时、HTTP 状态和错误信息。
- 在业务高峰时段复测，避免低峰数据误导决策。
常见问题
测速快就代表中转站好吗？
不一定。还要看模型真实性、价格透明度、失败率、售后和安全边界。
为什么同一个站测速结果差很多？
可能是上游供应商、负载均衡、网络线路、模型排队或限流策略不同造成的。
测速应该用哪个模型？
优先测试你业务实际要用的模型和输出长度。不同模型的速度和稳定性不能直接互相代表。