Baseten案例介绍Hebbia采用专用开源模型部署，并讨论缓存路由等推理优化。以下是本站工程分析，不重复供应商的性能倍数或将其作为本地项目承诺。
先测用户真正等待的全过程
模拟资料问答，记录点击提交、进入队列、检索结束、首段回答与最终结果的时间。若等待主要发生在资料检索，单独优化模型生成未必能改善体验。每段时间应对应同一次请求标识。
负载形态决定测试方式
低频单次查询与集中会议前的大量查询不同。FDE可以在授权测试环境中分别验证，并注明请求长度与并发条件。不要以空闲时的一次演示作为高峰期承诺。
优化之后仍检查答案和权限
更快的服务不能以跨用户共享不该共享的上下文为代价。记录质量、权限与成本变化，确认改动没有改变业务边界。本文关注可借鉴的工程问题，并非证明该案例规模和收益可复制到小团队。
延伸阅读：FDE案例。