在线服务
平台支持将模型发布为在线服务,同时在服务发布后对服务进行详情查看和版本更新等操作。
登录到千帆大模型操作台,在左侧功能列选择在线服务,进入服务管理主任务界面。
您可查询到目前所有的预置服务,可以选择开通付费或者终止付费,也可以跳转到相关API文档进行参考。
发布服务
若您需要发布专属服务,选择我的服务模块中的创建服务按钮,跳转至服务发布界面。
服务配置
当模型发布为在线服务后,该模型下不同的模型版本仅能在此在线服务URL下更新版本,且仅支持同种大模型算法进行更新服务,建议您在训练时,同一训练任务使用相同的基础大模型进行训练。
字段 | 内容 | 描述 |
---|---|---|
服务名称 | 用户定义的服务名称 | 必填项,不超过20字,支持中英文 |
服务描述 | 用户定义的服务描述 | 非必填,最多支持300个字符 |
选择模型 | 模型名称 | 必选项,选择对应发布的模型,可以是运行成功的自训练模型或预置模型,并选定模型版本 |
API地址 | 用户定义的接口地址 | 必填项,仅支持英文,接口地址需要多于5个字符但不能超过20个字符。 同一个账户下的接口地址不支持重复。 |
资源配置
资源配置支持私有资源池。服务发布在私有资源池时,服务独占资源,可以设定对应的算力单元来保证QPS。
如发布服务的模型来源为SFT,基础模型为ERNIE-Bot-turbo0704,且训练方式为Prompt Tuning,则可将服务发布至公共资源池 ,相关价格可参考当前价格文档。
字段 | 内容 | 描述 |
---|---|---|
资源池 | 公共资源池、私有资源池 | 选择服务可托管的资源池,如服务托管在私有资源池,可设定在线服务部署的算力单元来保障QPS。 |
租赁方式 | 时间单位:时/天/月 | ⼩时范围:1-23;天数范围:1-29;包⽉范围:1-12。 |
生效时间 | 日期选择 | 选择服务运行的开始和结束时间,不可选择早于今天的日期 |
失效时间 | 自动生成 | 当您选择租赁方式和生效时间后,自动计算失效时间 |
算力单元 | 设置算力单元数 | 为当前服务部署所占用的算力单元数量。算力单元越多,其可承载的QPS越高,仅支持服务部署所需最小算力单元数的整数倍调整 |
预估首Tokens时延 | 平台自动生成 | 用于评估在将数据写入持久性存储设备时,系统处理数据并返回给客户端所需的时间。 |
预估QPS | 平台自动生成 | 服务运行中产生的并发,受服务和生效时间限制。 |
Tip:当前ERNIE-Bot每16个算力单元,可支持约2.5QPS,
ERNIE-Bot-turbo每16个算力单元,可支持约6QPS。
当前私有资源池按照租赁方式计费的算力单元单价如下:
- 按小时的租赁方式:RMB¥*20* 元/小时;
- 按天数的租赁方式:RMB¥*250* 元/天;
- 按月度的租赁方式:RMB¥*6,000* 元/月。
ERNIE-Bot暂不支持按小时的租赁方式。
私有资源池资源租赁限时7折优惠,详细金额及示例可查看价格文档。
特别注意
1. 服务发布在私有资源池后,服务调用仍需按照对应大模型服务调用价格付费
2. 服务在私有资源池可配置的算力单元(预估QPS)受选择的生效时间限制,生效时间与预估QPS的关系如下:
小于24小时:预估QPS可达上限为10QPS
大于等于1天小于30天:预估QPS可达上限为20
大于等于30天,小于90天:预估QPS可达上限为50
大于等于90天:预估QPS可达上限为99
购买时间越长,可以购买的算力资源也就越多,意味着QPS可以申请的越高。
3. 申请发布后,服务发布失败、账单异常等情况,请在百度智能云控制台内提交工单反馈。
列表查看
公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示:
服务详情
服务详情中可查看本次服务的基本信息和历史版本内容。
- 基本信息中可查看服务的基本信息并续购私有资源池。续购资源池相关参数可查看发布模型的资源配置项。
- 版本列表来源为更新服务。
更新服务
在线服务支持服务的版本更新,更新来源为模型的其他版本,历史版本将会在服务详情中进行展示。
服务上/下线
在线服务支持对已发布的服务指定版本或者已下线的服务进行上线,同时也可对已发布的服务进行下线操作。
1)对于暂停服务的模型服务版本,可以服务详情版本列表的“上线”按钮。无需其他操作,审核通过后即可恢复暂停服务前的版本服务。
2)运行中的多版本服务,点击“服务详情”,可以对指定版本进行单独上线,平滑版本更替,不会直接影响正在运行中的版本服务。
3)对于运行中的服务,已经确认暂时不需要,可以进行暂时下线工作,可以在服务列表的操作列直接操作,也可以到服务详情-版本列表中选择“下线”。
如遇上线失败等特殊情况,请提交工单反馈。
删除服务
如果您明确不再需要某项服务,可以点击操作列的“删除”按钮,如果服务仍在发布中的,需要先“下线”此服务,才能进行删除操作。