文心一言-千帆大模型平台
  1. Llama-2
文心一言-千帆大模型平台
  • 体验中心
  • 常见问题
  • 大模型技术测试服务协议
  • 账号与权限管理
    • 账号创建与权限分配
    • 通过子账户隔离实现账单隔离
  • 产品简介
    • 什么是百度智能云千帆大模型平台
    • 百度智能云千帆大模型平台产品优势
    • 百度智能云千帆大模型平台常用概念
  • 新手指南
    • SFT调优快速手册
    • SFT最佳实践
    • 平台使用快速开始
    • 导入并部署第三方模型
      • 快速导入并部署第三方模型
      • SQLCoder自定义模型导入·详细操作
  • 模型广场
    • 查看与管理预置模型
    • 预置调用免费模型列表
  • 我的模型
    • 创建我的模型
    • 查看与管理我的模型
  • Prompt 工程
    • 什么 Prompt 工程
    • Prompt 模板
    • Prompt 优化
    • Prompt 工程使用技巧
      • Prompt 的使用技巧
      • 基础的 Basic Prompt Framework
      • 丰富的 CRISPE Prompt Framework
      • 轻量化的 Few-shot Prompt
  • 模型服务
    • 应用接入
    • 在线服务
    • 调用统计
  • 模型调优
    • 模型精调
      • Post-pretrain
        • 什么是 Post-pretrain
        • 创建 Post-pretrain 任务
        • 查看与管理 Post-pretrain
      • SFT
        • 创建 SFT 任务
        • 查看与管理 SFT 运行
      • RLHF
        • 什么是 RLHF 训练
        • 创建奖励模型训练任务
        • 查看与管理奖励模型训练运行
        • 创建强化学习训练任务
        • 查看与管理强化学习训练运行
    • 模型评估
      • 创建模型评估任务
      • 查看与管理模型评估任务
    • 模型压缩
      • 创建模型压缩任务
      • 查看模型压缩任务
  • 数据管理
    • 数据回流
    • 数据集对应关系说明
    • 数据集管理
      • 创建数据集
      • 数据分析
      • 导入文本对话数据
      • 导入泛文本无标注数据
      • 导入 query 问题集数据
      • 导入文生图数据
      • 管理数据集版本
      • 导出数据
      • 数据集的其他操作
    • 数据标注
      • 在线标注
      • 众测标注
    • 数据处理
      • 数据清洗
      • 数据增强
    • 知识库
      • 什么是千帆大模型知识库
      • 知识库管理
      • 命中测试
  • 系统配置
    • 计算资源
    • 计费管理
    • 插件编排
      • 什么是插件应用
      • 插件编排使用说明
      • 应用创建
        • 对话场景类应用
        • 生成场景类应用
      • 插件
        • 插件列表
        • 自定义插件
        • 插件开发者文档
  • API 鉴权及调用
    • API 介绍
    • API 列表
    • API 调用指南
      • API 调用流程
      • 错误码
      • API 在线调试
    • 鉴权认证
      • 鉴权介绍
      • 使用网页调试工具获取 access_token
      • 获取 access_token
    • 对话 Chat
      • Llama-2
        • Llama-2-7b-chat
          POST
        • Llama-2-13b-chat
          POST
        • Llama-2-70b-chat
          POST
      • ERNIE-Bot 4.0
        POST
      • ERNIE-Bot
        POST
      • ERNIE-Bot-turbo
        POST
      • BLOOMZ-7B
        POST
      • Qianfan-BLOOMZ-7B-compressed
        POST
      • Mistral-7B-Instruct
        POST
      • Qianfan-Chinese-Llama-2-7B
        POST
      • Qianfan-Chinese-Llama-2-13B
        POST
      • Linly-Chinese-LLaMA-2-7B
        POST
      • Linly-Chinese-LLaMA-2-13B
        POST
      • ChatGLM2-6B
        POST
      • ChatGLM2-6B-32K
        POST
      • ChatGLM2-6B-INT4
        POST
      • Baichuan2-13B-Chat
        POST
      • XVERSE-13B-Chat
        POST
      • Falcon-7B
        POST
      • Falcon-40B-Instruct
        POST
      • AquilaChat-7B
        POST
      • RWKV-4-World
        POST
      • RWKV-4-pile-14B
        POST
      • RWKV-Raven-14B
        POST
      • OpenLLaMA-7B
        POST
      • Dolly-12B
        POST
      • MPT-7B-Instruct
        POST
      • MPT-30B-instruct
        POST
      • OA-Pythia-12B-SFT-4
        POST
      • Falcon-180B-Chat
        POST
      • RWKV-5-World
        POST
      • Flan-UL2
        POST
    • 续写 Completions
      • SQLCoder-7B
      • CodeLlama-7b-Instruct
      • AquilaCode-multi
      • Cerebras-GPT-13B
      • Pythia-12B
      • GPT-J-6B
      • GPT-NeoX-20B
      • GPT4All-J
      • StarCoder
      • StableLM-Alpha -7B
      • Pythia-6.9B
      • Cerebras-GPT-6.7B
    • 向量 Embeddings
      • Embedding-V1
      • bge-large-zh
      • bge-large-en
    • 图像 Images
      • Stable-Diffusion-XL
    • 自定义模型调用 API
      • 自定义模型调用 API
      • 续写模式
    • 模型服务
      • 创建服务
      • 查询服务详情
    • 模型管理
      • 获取模型版本详情
      • 获取模型详情
      • 训练任务发布为模型
    • 模型调优
      • 创建训练任务
      • 创建任务运行
      • 获取任务运行详情
      • 停止任务运行
    • 数据管理
      • 创建数据集
      • 发起数据集发布任务
      • 发起数据集导入任务
      • 获取数据集详情
      • 获取数据集状态详情
      • 发起数据集导出任务
      • 删除数据集
      • 获取数据集导出记录
      • 获取数据集导入错误详情
    • Prompt 工程
      • Prompt 模板
    • 插件应用
      • 知识库
      • 智慧图问
      • 天气
  • SDK 参考
    • 千帆 SDK 介绍
    • SDK 安装及使用流程
    • 对话 Chat
    • 续写 Completions
    • 向量 Embeddings
    • 模型服务
      • 创建服务
      • 查询服务详情
    • 模型管理
      • 获取模型详情
      • 获取模型版本详情
      • 训练任务发布为模型
    • 模型调优
      • 创建训练任务
      • 创建任务运行
      • 获取任务运行详情
      • 停止任务运行
    • 数据管理
      • 创建数据集
      • 发起数据集发布任务
      • 发起数据集导入任务
      • 获取数据集详情
      • 获取数据集状态详情
      • 发起数据集导出任务
      • 删除数据集
      • 获取数据集导出记录
      • 获取数据集导入错误详情
    • 插件应用
      • 知识库
      • 智能图问
      • 天气
  • 价格说明
    • 千帆大模型平台价格文档
  1. Llama-2

Llama-2-70b-chat

开发环境
http://dev-cn.your-api-server.com
开发环境
http://dev-cn.your-api-server.com
POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/llama_2_70b
Llama-2-70b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-70b-chat是高精度效果的原生开源版本。本文介绍了相关API。

创建chat#

调用本接口,发起一次对话请求。

返回说明#

注意 :同步模式和流式模式,响应参数返回不同,详细内容参考示例描述。
同步模式下,响应参数为以上字段的完整json包。
流式模式下,各字段的响应参数为 data: {响应参数}。

请求示例(多轮)#

bash
Python

响应示例(多轮)#

JSON
{
    "id": "as-i4g16spxm8",
    "object": "chat.completion",
    "created": 1693291334,
    "result": " Sure, here's the current weather conditions and forecast for Shanghai, China:\n\nCurrent Weather:\n\n* Temperature: 22°C (72°F)\n* Humidity: 62%\n* Wind Speed: 20 km/h (12 mph)\n* Conditions: Partly Cloudy\n\nForecast:\n\n* Today: Partly cloudy skies with a high of 25°C (77°F) and a low of 18°C (64°F).\n* Tomorrow: Intervals of clouds and sunshine with a high of 26°C (79°F) and a low of 19°C (66°F).\n* Weekend: Mostly sunny with a high of 28°C (82°F) on Saturday and 27°C (81°F) on Sunday.\n\nNote: These weather conditions are subject to change and are based on the current data available.\n\nI hope this helps! Let me know if you have any other questions.",
    "is_truncated": false,
    "need_clear_history": false,
    "usage": {
        "prompt_tokens": 182,
        "completion_tokens": 141,
        "total_tokens": 323
    }
}

请求示例(流式)#

bash
Python

响应示例(流式)#

data: {"id":"as-b2wn45xp3d","object":"chat.completion","created":1693291403,"sentence_id":0,"is_end":false,"is_truncated":false,"result":" Certainly! Here are a few popular self-driving routes in China that you may find helpful:\\n\\n1. The Silk Road: This route runs from Xi\'an to Kashgar, passing through the ancient cities of the Silk Road. It\'s a long route, but it offers stunning scenery and a glimpse into China\'s rich ","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":70,"total_tokens":81}}

data: {"id":"as-b2wn45xp3d","object":"chat.completion","created":1693291408,"sentence_id":1,"is_end":false,"is_truncated":false,"result":"history.\\n2. The Yellow Mountains: Located in eastern China, the Yellow Mountains (Huangshan) offer breathtaking views of granite peaks, pine forests, and scenic valleys. The area is also home to many ancient villages and cultural sites.\\n3. The Li River: This route runs from Guilin to Yangshuo, passing through some of China\'s ","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":68,"total_tokens":149}}

data: {"id":"as-b2wn45xp3d","object":"chat.completion","created":1693291413,"sentence_id":2,"is_end":false,"is_truncated":false,"result":"most beautiful karst landscape. The scenery is stunning, with towering limestone cliffs, picturesque villages, and scenic river views.\\n4. The Tibetan Plateau: If you\'re looking for a more adventurous route, consider driving across the Tibetan Plateau. The route takes you through high-altitude mountains, vast grasslands, and picturesque villages. However, keep in ","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":68,"total_tokens":217}}

data: {"id":"as-b2wn45xp3d","object":"chat.completion","created":1693291417,"sentence_id":3,"is_end":false,"is_truncated":false,"result":"mind that the roads can be rough, and the high altitude may pose some health risks.\\n5. The Coastal Route: This route runs along China\'s eastern coast, passing through major cities like Shanghai, Hangzhou, and Beijing. It offers a mix of urban and rural scenery, as well as many historical and ","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":67,"total_tokens":284}}

data: {"id":"as-b2wn45xp3d","object":"chat.completion","created":1693291421,"sentence_id":4,"is_end":false,"is_truncated":false,"result":"cultural sites.\\n\\nThese are just a few examples of popular self-driving routes in China. Keep in mind that driving in China can be challenging, especially for foreigners who may not be familiar with local roads and driving customs. Be sure to research the route thoroughly, obtain the necessary permits and insurance, ","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":67,"total_tokens":351}}

data: {"id":"as-b2wn45xp3d","object":"chat.completion","created":1693291422,"sentence_id":5,"is_end":true,"is_truncated":false,"result":"and drive defensively.","need_clear_history":false,"usage":{"prompt_tokens":11,"completion_tokens":3,"total_tokens":354}}

错误码#

如果请求错误,服务器返回的JSON文本包含以下参数。
名称描述
error_code错误码
error_msg错误描述信息,帮助理解和解决发生的错误
例如Access Token失效返回以下内容,需要重新获取新的Access Token再次请求。
{
  "error_code": 110,
  "error_msg": "Access token invalid or no longer valid"
}
千帆大模型平台相关错误码,请查看错误码说明。
请求示例请求示例
Shell
JavaScript
Java
Swift
curl --location --request POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/llama_2_70b?access_token	=' \
--header 'Content-Type: application/json' \
--data-raw '{
    "messages\t": [
        {
            "role\t": "string",
            "content": "string"
        }
    ],
    "stream": true,
    "temperature\t": 0,
    "top_k\t": 0,
    "top_p\t": 0,
    "penalty_score": 0,
    "stop\t": [
        "string"
    ],
    "user_id": "string"
}'
响应示例响应示例
{
  "id": "string",
  "object": "string",
  "created": 0,
  "result": "string",
  "is_truncated": true,
  "need_clear_history": true,
  "usage": {
    "prompt_tokens": 0,
    "completion_tokens": 0,
    "total_tokens": 0
  }
}

请求参数

Query 参数
access_token
string 
必需
通过API Key和Secret Key获取的access_token,参考Access Token获取
Body 参数application/json
messages
array [object {2}] 
必需
聊天上下文信息。说明: (1)messages成员不能为空,1个成员表示单轮对话,多个成员表示多轮对话 (2)最后一个message为当前请求的信息,前面的message为历史对话信息 (3)必须为奇数个成员,成员中message的role必须依次为user、assistant (4)最后一个message的content长度(即此轮对话的问题)不能超过3000 token;如果messages中content总长度大于3000 token,系统会依次遗忘最早的历史会话,直到content的总长度不超过3000 token
role
string 
必需
当前支持以下: user: 表示用户 assistant: 表示对话助
content
string 
对话内容,不能为空
必需
stream
boolean 
可选
是否以流式接口的形式返回数据,默认false
temperature
number 
可选
说明: (1)较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定 (2)范围 (0, 1.0],不能为0 (3)建议该参数和top_p只设置1个
top_k
integer 
可选
Top-K 采样参数,在每轮token生成时,保留k个概率最高的token作为候选。说明: (1)影响输出文本的多样性,取值越大,生成文本的多样性越强 (2)取值范围:正整数
top_p
number 
可选
说明: (1)影响输出文本的多样性,取值越大,生成文本的多样性越强 (2)取值范围 [0, 1.0] (3)建议该参数和temperature只设置1个
penalty_score
number 
可选
通过对已生成的token增加惩罚,减少重复生成的现象。说明: (1)值越大表示惩罚越大 (2)取值范围:[1.0, 2.0]
stop
array[string]
可选
生成停止标识。当模型生成结果以stop中某个元素结尾时,停止文本生成。说明: (1)每个元素长度不超过20字符。 (2)最多4个元素
user_id
string 
可选
表示最终用户的唯一标识符,可以监视和检测滥用行为,防止接口恶意调用
示例

返回响应

🟢200成功
application/json
Body
id
string 
本轮对话的id
必需
object
string 
必需
回包类型。 chat.completion:多轮对话返回
created
integer 
时间戳
必需
result
string 
对话返回结果
必需
is_truncated
boolean 
必需
当前生成的结果是否被截断
need_clear_history
boolean 
必需
表示用户输入是否存在安全,是否关闭当前会话,清理历史会话信息 true:是,表示用户输入存在安全风险,建议关闭当前会话,清理历史会话信息 false:否,表示用户输入无安全风险
usage
object 
必需
token统计信息,token数 = 汉字数+单词数*1.3 (仅为估算逻辑)
prompt_tokens
integer 
问题tokens数
必需
completion_tokens
integer 
回答tokens数
必需
total_tokens
integer 
tokens总数
必需
上一页
Llama-2-13b-chat
下一页
ERNIE-Bot 4.0
Built with