跳转到内容

手动调整 TPM 与申请配额

操作路径:Foundry → 模型部署 → 选择部署名称 → 详细信息 → 编辑。

部署详情页:从编辑入口调整速率限制
部署详情页:从编辑入口调整速率限制 · 点击查看原图

在编辑窗格中找到每分钟令牌数限制。先看清当前值和页面允许的最大值,再修改。

编辑窗格:区分当前容量与当前允许的上限
编辑窗格:区分当前容量与当前允许的上限 · 点击查看原图
编辑窗格:区分当前容量与当前允许的上限:关键区域
关键区域:保留原始像素的局部图

本次演示部署初始为 8,000,000 TPM,窗格允许的最高值为 16,000,000 TPM。这是当前演示订阅、模型、区域、部署类型和剩余配额下的实际值,其他订阅可能不同。

可以拖动滑块到右侧,也可以在数值框输入页面允许的最大值。核对数值后点击“保存”。

将 TPM 设置为编辑窗格允许的最高值,然后保存
将 TPM 设置为编辑窗格允许的最高值,然后保存 · 点击查看原图
将 TPM 设置为编辑窗格允许的最高值,然后保存:关键区域
关键区域:保留原始像素的局部图

保存后返回部署详情,重新查看 TPM 与 RPM。本次回读结果为 16,000,000 TPM / 16,000 RPM。

保存后的部署详情:核对实际 TPM 与 RPM
保存后的部署详情:核对实际 TPM 与 RPM · 点击查看原图
保存后的部署详情:核对实际 TPM 与 RPM:关键区域
关键区域:保留原始像素的局部图

RPM 与 TPM 的换算因模型和部署类型而异,不要把本示例的比例套用到所有模型。

部署编辑器调整的是现有配额中分配给该部署的容量。需要更大总配额时,打开 Foundry 的配额管理入口,按模型、区域和部署类型查找配额池,检查已分配量与剩余量,再按页面入口申请增加。

同一个配额池中的其他部署会占用可分配容量。配额申请需要审批,不能通过继续拖动滑块绕过。处理 429 时还应检查请求并发、突发速率和重试策略。