文心一言-千帆大模型平台
  1. 模型调优
文心一言-千帆大模型平台
  • 体验中心
  • 常见问题
  • 大模型技术测试服务协议
  • 账号与权限管理
    • 账号创建与权限分配
    • 通过子账户隔离实现账单隔离
  • 产品简介
    • 什么是百度智能云千帆大模型平台
    • 百度智能云千帆大模型平台产品优势
    • 百度智能云千帆大模型平台常用概念
  • 新手指南
    • SFT调优快速手册
    • SFT最佳实践
    • 平台使用快速开始
    • 导入并部署第三方模型
      • 快速导入并部署第三方模型
      • SQLCoder自定义模型导入·详细操作
  • 模型广场
    • 查看与管理预置模型
    • 预置调用免费模型列表
  • 我的模型
    • 创建我的模型
    • 查看与管理我的模型
  • Prompt 工程
    • 什么 Prompt 工程
    • Prompt 模板
    • Prompt 优化
    • Prompt 工程使用技巧
      • Prompt 的使用技巧
      • 基础的 Basic Prompt Framework
      • 丰富的 CRISPE Prompt Framework
      • 轻量化的 Few-shot Prompt
  • 模型服务
    • 应用接入
    • 在线服务
    • 调用统计
  • 模型调优
    • 模型精调
      • Post-pretrain
        • 什么是 Post-pretrain
        • 创建 Post-pretrain 任务
        • 查看与管理 Post-pretrain
      • SFT
        • 创建 SFT 任务
        • 查看与管理 SFT 运行
      • RLHF
        • 什么是 RLHF 训练
        • 创建奖励模型训练任务
        • 查看与管理奖励模型训练运行
        • 创建强化学习训练任务
        • 查看与管理强化学习训练运行
    • 模型评估
      • 创建模型评估任务
      • 查看与管理模型评估任务
    • 模型压缩
      • 创建模型压缩任务
      • 查看模型压缩任务
  • 数据管理
    • 数据回流
    • 数据集对应关系说明
    • 数据集管理
      • 创建数据集
      • 数据分析
      • 导入文本对话数据
      • 导入泛文本无标注数据
      • 导入 query 问题集数据
      • 导入文生图数据
      • 管理数据集版本
      • 导出数据
      • 数据集的其他操作
    • 数据标注
      • 在线标注
      • 众测标注
    • 数据处理
      • 数据清洗
      • 数据增强
    • 知识库
      • 什么是千帆大模型知识库
      • 知识库管理
      • 命中测试
  • 系统配置
    • 计算资源
    • 计费管理
    • 插件编排
      • 什么是插件应用
      • 插件编排使用说明
      • 应用创建
        • 对话场景类应用
        • 生成场景类应用
      • 插件
        • 插件列表
        • 自定义插件
        • 插件开发者文档
  • API 鉴权及调用
    • API 介绍
    • API 列表
    • API 调用指南
      • API 调用流程
      • 错误码
      • API 在线调试
    • 鉴权认证
      • 鉴权介绍
      • 使用网页调试工具获取 access_token
      • 获取 access_token
    • 对话 Chat
      • Llama-2
        • Llama-2-7b-chat
        • Llama-2-13b-chat
        • Llama-2-70b-chat
      • ERNIE-Bot 4.0
      • ERNIE-Bot
      • ERNIE-Bot-turbo
      • BLOOMZ-7B
      • Qianfan-BLOOMZ-7B-compressed
      • Mistral-7B-Instruct
      • Qianfan-Chinese-Llama-2-7B
      • Qianfan-Chinese-Llama-2-13B
      • Linly-Chinese-LLaMA-2-7B
      • Linly-Chinese-LLaMA-2-13B
      • ChatGLM2-6B
      • ChatGLM2-6B-32K
      • ChatGLM2-6B-INT4
      • Baichuan2-13B-Chat
      • XVERSE-13B-Chat
      • Falcon-7B
      • Falcon-40B-Instruct
      • AquilaChat-7B
      • RWKV-4-World
      • RWKV-4-pile-14B
      • RWKV-Raven-14B
      • OpenLLaMA-7B
      • Dolly-12B
      • MPT-7B-Instruct
      • MPT-30B-instruct
      • OA-Pythia-12B-SFT-4
      • Falcon-180B-Chat
      • RWKV-5-World
      • Flan-UL2
    • 续写 Completions
      • SQLCoder-7B
      • CodeLlama-7b-Instruct
      • AquilaCode-multi
      • Cerebras-GPT-13B
      • Pythia-12B
      • GPT-J-6B
      • GPT-NeoX-20B
      • GPT4All-J
      • StarCoder
      • StableLM-Alpha -7B
      • Pythia-6.9B
      • Cerebras-GPT-6.7B
    • 向量 Embeddings
      • Embedding-V1
      • bge-large-zh
      • bge-large-en
    • 图像 Images
      • Stable-Diffusion-XL
    • 自定义模型调用 API
      • 自定义模型调用 API
      • 续写模式
    • 模型服务
      • 创建服务
      • 查询服务详情
    • 模型管理
      • 获取模型版本详情
      • 获取模型详情
      • 训练任务发布为模型
    • 模型调优
      • 创建训练任务
        POST
      • 创建任务运行
        POST
      • 获取任务运行详情
        POST
      • 停止任务运行
        POST
    • 数据管理
      • 创建数据集
      • 发起数据集发布任务
      • 发起数据集导入任务
      • 获取数据集详情
      • 获取数据集状态详情
      • 发起数据集导出任务
      • 删除数据集
      • 获取数据集导出记录
      • 获取数据集导入错误详情
    • Prompt 工程
      • Prompt 模板
    • 插件应用
      • 知识库
      • 智慧图问
      • 天气
  • SDK 参考
    • 千帆 SDK 介绍
    • SDK 安装及使用流程
    • 对话 Chat
    • 续写 Completions
    • 向量 Embeddings
    • 模型服务
      • 创建服务
      • 查询服务详情
    • 模型管理
      • 获取模型详情
      • 获取模型版本详情
      • 训练任务发布为模型
    • 模型调优
      • 创建训练任务
      • 创建任务运行
      • 获取任务运行详情
      • 停止任务运行
    • 数据管理
      • 创建数据集
      • 发起数据集发布任务
      • 发起数据集导入任务
      • 获取数据集详情
      • 获取数据集状态详情
      • 发起数据集导出任务
      • 删除数据集
      • 获取数据集导出记录
      • 获取数据集导入错误详情
    • 插件应用
      • 知识库
      • 智能图问
      • 天气
  • 价格说明
    • 千帆大模型平台价格文档
  1. 模型调优

创建任务运行

开发环境
http://dev-cn.your-api-server.com
开发环境
http://dev-cn.your-api-server.com
POST
https://qianfan.baidubce.com/wenxinworkshop/finetune/createJob

功能介绍#

本接口用于创建训练任务运行。

注意事项#

调用本文API,使用“安全认证/Access Key ”中的Access Key ID 和 Secret Access Key等进行鉴权,无法使用获取Access Token的方式鉴权,具体鉴权认证机制参考鉴权认证机制。

增量训练#

bash

错误码#

若请求错误,服务器将返回的JSON文本包含以下参数:
名称描述
error_code错误码
error_msg错误描述信息,帮助理解和解决发生的错误
例如参数错误返回:
{
  "error_code": 500001,
  "error_msg": "param invalid"
}
错误码错误信息描述
500000internal server error服务器内部错误
500001param invalid参数错误
500002auth failed, no access无权访问
510101dataset entity count not enough, at least 32数据集数量不足,至少需要32条数据
510102dataset config error数据集异常
510201task name exist任务名称已存在
510202task not exist任务不存在
510203task count over limit任务数量已经达到上限
510301job not exist任务运行不存在
510302job status invalid任务运行状态异常
510401train config error训练配置异常
510402job training count over limit训练中的运行数量已经达到上限
510403charge quote not enough训练额度不足
510404job not support incre train该运行暂不支持增量训练
请求示例请求示例
Shell
JavaScript
Java
Swift
curl --location --request POST 'https://qianfan.baidubce.com/wenxinworkshop/finetune/createJob?access_token	=' \
--header 'Content-Type;' \
--header 'x-bce-date;' \
--header 'Authorization;' \
--header 'Content-Type: application/json' \
--data-raw '{
    "taskId": 362,
    "description": "",
    "jobRunType": 0,
    "baseTraintype": "ERNIE-Bot-turbo",
    "trainType": "ERNIE-Bot-turbo-0725",
    "trainMode": "SFT",
    "pefttype": "ALL",
    "trainConfig": {
        "epoch": 1,
        "learningRate": 0.00003,
        "maxSeqLen": 4096
    },
    "trainset": [
        {
            "type": 1,
            "id": 188
        }
    ],
    "trainsetRate": 20
}'
响应示例响应示例
{
  "log_id": 0,
  "result": {
    "id": 0
  }
}

请求参数

Query 参数
access_token
string 
必需
通过API Key和Secret Key获取的access_token,参考Access Token获取
Header 参数
Content-Type
string 
必需
固定值:application/json
x-bce-date
string 
必需
当前时间,遵循ISO8601规范,格式如2016-04-06T08:23:49Z
Authorization
string 
必需
用于验证请求合法性的认证信息,更多内容请参考鉴权认证机制,签名工具可参考IAM签名工具
Body 参数application/json
taskId
integer 
任务ID
必需
description
string 
运行描述
可选
jobRunType
integer 
必需
任务运行类型,可选值如下: · 0:普通训练 · 1:增量训练
baseTraintype
string 
可选
基础算法类型,说明: (1)当jobRunType为0,此字段必填 (2)可选值如下: · ERNIE-Bot-turbo · Llama-2 · SQLCoder · ChatGLM2 · Baichuan2 · BLOOMZ
trainType
string 
可选
具体算法类型版本,说明: (1)当jobRunType为0,此字段必填 (2)当baseTrainType为ERNIE-Bot-turbo,trainType可选值如下: · ERNIE-Bot-turbo-0516 · ERNIE-Bot-turbo-0704 · ERNIE-Bot-turbo-0725 (3)当baseTrainType为Llama-2,trainType可选值如下: · Llama-2-7b · Llama-2-13b (4)当baseTrainType为SQLCoder,trainType为固定值SQLCoder-7B (5)当baseTrainType为ChatGLM2,trainType值为固定值ChatGLM2-6B (6)当baseTrainType为Baichuan2,trainType为固定值Baichuan2-13B (7)当baseTrainType为BLOOMZ,trainType为固定值BLOOMZ-7B
trainMode
string 
可选
训练方法,说明: (1)当jobRunType为0,此字段必填 (2)固定值:SFT
pefttype
string 
可选
parameter efficient finetuning方式,说明: (1)当jobRunType为0时,此字段必填 (2)当trainType为ERNIE-Bot-turbo-0516,peftType固定值为ALL (3)当trainType为ERNIE-Bot-turbo-0725、SQLCoder-7B、ChatGLM2-6B或Baichuan2-13B,peftType可选值如下: · ALL · LoRA (4)其他,peftType可选值如下: · ALL · P-tuning · LoRA
trainConfig
object 
训练配置
必需
epoch
integer 
必需
迭代轮次,取值范围:[1, 50]
learningRate
number 
必需
学习率,说明: (1)当trainType为ERNIE-Bot-turbo-0704, · peftType为ALL,learningRate取值范围[0.00001,0.00004] · peftType为P-tuning,learningRate取值范围[0.003,0.1] · peftType为LoRA,learningRate取值范围[0.00003,0.001] (2)当trainType为ERNIE-Bot-turbo-0725, · peftType为ALL,learningRate取值范围[0.00001,0.00004] · peftType为LoRA,learningRate取值范围[0.00003,0.001] (3)当trainType为Baichuan2-13B,learningRate取值范围[0.0000000001,0.0002] (4)其他,learningRate取值范围[0.0000002,0.0002]
maxSeqLen
integer 
可选
序列长度,说明: (1)如果trainType为ERNIE-Bot-turbo-0725时,此字段必填 (2)可选值如下: · 4096 · 8192
trainset
array [object {2}] 
数据集配置
必需
type
integer 
可选
数据集类型,可选值如下: 1:表示平台数据集 2:表示bos数据集
id
integer 
可选
数据集版本ID,当type为1时,该字段必传
trainsetRate
integer 
必需
数据拆分比例,取值范围:[0,50]
示例

返回响应

🟢200成功
application/json
Body
log_id
integer 
请求ID
必需
result
object 
请求结果
必需
id
integer 
运行ID
必需
上一页
创建训练任务
下一页
获取任务运行详情
Built with