文心一言-千帆大模型平台
  1. 模型服务
文心一言-千帆大模型平台
  • 体验中心
  • 常见问题
  • 大模型技术测试服务协议
  • 账号与权限管理
    • 账号创建与权限分配
    • 通过子账户隔离实现账单隔离
  • 产品简介
    • 什么是百度智能云千帆大模型平台
    • 百度智能云千帆大模型平台产品优势
    • 百度智能云千帆大模型平台常用概念
  • 新手指南
    • SFT调优快速手册
    • SFT最佳实践
    • 平台使用快速开始
    • 导入并部署第三方模型
      • 快速导入并部署第三方模型
      • SQLCoder自定义模型导入·详细操作
  • 模型广场
    • 查看与管理预置模型
    • 预置调用免费模型列表
  • 我的模型
    • 创建我的模型
    • 查看与管理我的模型
  • Prompt 工程
    • 什么 Prompt 工程
    • Prompt 模板
    • Prompt 优化
    • Prompt 工程使用技巧
      • Prompt 的使用技巧
      • 基础的 Basic Prompt Framework
      • 丰富的 CRISPE Prompt Framework
      • 轻量化的 Few-shot Prompt
  • 模型服务
    • 应用接入
    • 在线服务
    • 调用统计
  • 模型调优
    • 模型精调
      • Post-pretrain
        • 什么是 Post-pretrain
        • 创建 Post-pretrain 任务
        • 查看与管理 Post-pretrain
      • SFT
        • 创建 SFT 任务
        • 查看与管理 SFT 运行
      • RLHF
        • 什么是 RLHF 训练
        • 创建奖励模型训练任务
        • 查看与管理奖励模型训练运行
        • 创建强化学习训练任务
        • 查看与管理强化学习训练运行
    • 模型评估
      • 创建模型评估任务
      • 查看与管理模型评估任务
    • 模型压缩
      • 创建模型压缩任务
      • 查看模型压缩任务
  • 数据管理
    • 数据回流
    • 数据集对应关系说明
    • 数据集管理
      • 创建数据集
      • 数据分析
      • 导入文本对话数据
      • 导入泛文本无标注数据
      • 导入 query 问题集数据
      • 导入文生图数据
      • 管理数据集版本
      • 导出数据
      • 数据集的其他操作
    • 数据标注
      • 在线标注
      • 众测标注
    • 数据处理
      • 数据清洗
      • 数据增强
    • 知识库
      • 什么是千帆大模型知识库
      • 知识库管理
      • 命中测试
  • 系统配置
    • 计算资源
    • 计费管理
    • 插件编排
      • 什么是插件应用
      • 插件编排使用说明
      • 应用创建
        • 对话场景类应用
        • 生成场景类应用
      • 插件
        • 插件列表
        • 自定义插件
        • 插件开发者文档
  • API 鉴权及调用
    • API 介绍
    • API 列表
    • API 调用指南
      • API 调用流程
      • 错误码
      • API 在线调试
    • 鉴权认证
      • 鉴权介绍
      • 使用网页调试工具获取 access_token
      • 获取 access_token
    • 对话 Chat
      • Llama-2
        • Llama-2-7b-chat
        • Llama-2-13b-chat
        • Llama-2-70b-chat
      • ERNIE-Bot 4.0
      • ERNIE-Bot
      • ERNIE-Bot-turbo
      • BLOOMZ-7B
      • Qianfan-BLOOMZ-7B-compressed
      • Mistral-7B-Instruct
      • Qianfan-Chinese-Llama-2-7B
      • Qianfan-Chinese-Llama-2-13B
      • Linly-Chinese-LLaMA-2-7B
      • Linly-Chinese-LLaMA-2-13B
      • ChatGLM2-6B
      • ChatGLM2-6B-32K
      • ChatGLM2-6B-INT4
      • Baichuan2-13B-Chat
      • XVERSE-13B-Chat
      • Falcon-7B
      • Falcon-40B-Instruct
      • AquilaChat-7B
      • RWKV-4-World
      • RWKV-4-pile-14B
      • RWKV-Raven-14B
      • OpenLLaMA-7B
      • Dolly-12B
      • MPT-7B-Instruct
      • MPT-30B-instruct
      • OA-Pythia-12B-SFT-4
      • Falcon-180B-Chat
      • RWKV-5-World
      • Flan-UL2
    • 续写 Completions
      • SQLCoder-7B
      • CodeLlama-7b-Instruct
      • AquilaCode-multi
      • Cerebras-GPT-13B
      • Pythia-12B
      • GPT-J-6B
      • GPT-NeoX-20B
      • GPT4All-J
      • StarCoder
      • StableLM-Alpha -7B
      • Pythia-6.9B
      • Cerebras-GPT-6.7B
    • 向量 Embeddings
      • Embedding-V1
      • bge-large-zh
      • bge-large-en
    • 图像 Images
      • Stable-Diffusion-XL
    • 自定义模型调用 API
      • 自定义模型调用 API
      • 续写模式
    • 模型服务
      • 创建服务
      • 查询服务详情
    • 模型管理
      • 获取模型版本详情
      • 获取模型详情
      • 训练任务发布为模型
    • 模型调优
      • 创建训练任务
      • 创建任务运行
      • 获取任务运行详情
      • 停止任务运行
    • 数据管理
      • 创建数据集
      • 发起数据集发布任务
      • 发起数据集导入任务
      • 获取数据集详情
      • 获取数据集状态详情
      • 发起数据集导出任务
      • 删除数据集
      • 获取数据集导出记录
      • 获取数据集导入错误详情
    • Prompt 工程
      • Prompt 模板
    • 插件应用
      • 知识库
      • 智慧图问
      • 天气
  • SDK 参考
    • 千帆 SDK 介绍
    • SDK 安装及使用流程
    • 对话 Chat
    • 续写 Completions
    • 向量 Embeddings
    • 模型服务
      • 创建服务
      • 查询服务详情
    • 模型管理
      • 获取模型详情
      • 获取模型版本详情
      • 训练任务发布为模型
    • 模型调优
      • 创建训练任务
      • 创建任务运行
      • 获取任务运行详情
      • 停止任务运行
    • 数据管理
      • 创建数据集
      • 发起数据集发布任务
      • 发起数据集导入任务
      • 获取数据集详情
      • 获取数据集状态详情
      • 发起数据集导出任务
      • 删除数据集
      • 获取数据集导出记录
      • 获取数据集导入错误详情
    • 插件应用
      • 知识库
      • 智能图问
      • 天气
  • 价格说明
    • 千帆大模型平台价格文档
  1. 模型服务

在线服务

平台支持将模型发布为在线服务,同时在服务发布后对服务进行详情查看和版本更新等操作。
登录到千帆大模型操作台,在左侧功能列选择在线服务,进入服务管理主任务界面。
您可查询到目前所有的预置服务,可以选择开通付费或者终止付费,也可以跳转到相关API文档进行参考。
image.png

发布服务#

若您需要发布专属服务,选择我的服务模块中的创建服务按钮,跳转至服务发布界面。

服务配置#

当模型发布为在线服务后,该模型下不同的模型版本仅能在此在线服务URL下更新版本,且仅支持同种大模型算法进行更新服务,建议您在训练时,同一训练任务使用相同的基础大模型进行训练。
image.png
字段内容描述
服务名称用户定义的服务名称必填项,不超过20字,支持中英文
服务描述用户定义的服务描述非必填,最多支持300个字符
选择模型模型名称必选项,选择对应发布的模型,可以是运行成功的自训练模型或预置模型,并选定模型版本
API地址用户定义的接口地址必填项,仅支持英文,接口地址需要多于5个字符但不能超过20个字符。 同一个账户下的接口地址不支持重复。

资源配置#

资源配置支持私有资源池。服务发布在私有资源池时,服务独占资源,可以设定对应的算力单元来保证QPS。
如发布服务的模型来源为SFT,基础模型为ERNIE-Bot-turbo0704,且训练方式为Prompt Tuning,则可将服务发布至公共资源池 ,相关价格可参考当前价格文档。
image.png
字段内容描述
资源池公共资源池、私有资源池选择服务可托管的资源池,如服务托管在私有资源池,可设定在线服务部署的算力单元来保障QPS。
租赁方式时间单位:时/天/月⼩时范围:1-23;天数范围:1-29;包⽉范围:1-12。
生效时间日期选择选择服务运行的开始和结束时间,不可选择早于今天的日期
失效时间自动生成当您选择租赁方式和生效时间后,自动计算失效时间
算力单元设置算力单元数为当前服务部署所占用的算力单元数量。算力单元越多,其可承载的QPS越高,仅支持服务部署所需最小算力单元数的整数倍调整
预估首Tokens时延平台自动生成用于评估在将数据写入持久性存储设备时,系统处理数据并返回给客户端所需的时间。
预估QPS平台自动生成服务运行中产生的并发,受服务和生效时间限制。
Tip:当前ERNIE-Bot每16个算力单元,可支持约2.5QPS,
   ERNIE-Bot-turbo每16个算力单元,可支持约6QPS。
当前私有资源池按照租赁方式计费的算力单元单价如下:
按小时的租赁方式:RMB¥*20* 元/小时;
按天数的租赁方式:RMB¥*250* 元/天;
按月度的租赁方式:RMB¥*6,000* 元/月。
ERNIE-Bot暂不支持按小时的租赁方式。
私有资源池资源租赁限时7折优惠
,详细金额及示例可查看价格文档。

特别注意#

1. 服务发布在私有资源池后,服务调用仍需按照对应大模型服务调用价格付费
2. 服务在私有资源池可配置的算力单元(预估QPS)受选择的生效时间限制,生效时间与预估QPS的关系如下:
小于24小时:预估QPS可达上限为10QPS
大于等于1天小于30天:预估QPS可达上限为20
大于等于30天,小于90天:预估QPS可达上限为50
大于等于90天:预估QPS可达上限为99
购买时间越长,可以购买的算力资源也就越多,意味着QPS可以申请的越高。
3. 申请发布后,服务发布失败、账单异常等情况,请在百度智能云控制台内提交工单反馈。

列表查看#

公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示:
image.png

服务详情#

服务详情中可查看本次服务的基本信息和历史版本内容。
基本信息中可查看服务的基本信息并续购私有资源池。续购资源池相关参数可查看发布模型的资源配置项。
image.png
版本列表来源为更新服务。

更新服务#

在线服务支持服务的版本更新,更新来源为模型的其他版本,历史版本将会在服务详情中进行展示。
image.png

服务上/下线#

在线服务支持对已发布的服务指定版本或者已下线的服务进行上线,同时也可对已发布的服务进行下线操作。
1)对于暂停服务的模型服务版本,可以服务详情版本列表的“上线”按钮。无需其他操作,审核通过后即可恢复暂停服务前的版本服务。
image.png
2)运行中的多版本服务,点击“服务详情”,可以对指定版本进行单独上线,平滑版本更替,不会直接影响正在运行中的版本服务。
image.png
3)对于运行中的服务,已经确认暂时不需要,可以进行暂时下线工作,可以在服务列表的操作列直接操作,也可以到服务详情-版本列表中选择“下线”。
image.png
如遇上线失败等特殊情况,请提交工单反馈。

删除服务#

如果您明确不再需要某项服务,可以点击操作列的“删除”按钮,如果服务仍在发布中的,需要先“下线”此服务,才能进行删除操作。
关于私有资源池发布,详情参考发布模型的资源配置列,价格可参考价格文档内容。
上一页
应用接入
下一页
调用统计
Built with