Falcon-180B-Chat

开发环境

POST

https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/{申请发布时填写的API地址}

注意：该模型目前面向测试企业用户开放，如需使用请填写申请表单，我们将尽快评估您的需求。

Falcon-180B-Chat由TII研发的仅使用解码器的180B模型，在Ultrachat, Platypus和Airoboros的混合数据集上进行微调，具备优异的推理效果。本文介绍了相关API。

创建chat

调用本接口，发起一次对话请求。

API地址说明

申请发布时填写的API地址，相关内容请查看模型服务-在线服务-服务配置。

返回说明

注意：同步模式和流式模式，响应参数返回不同，详细内容参考示例描述。

同步模式下，响应参数为以上字段的完整json包。

流式模式下，各字段的响应参数为 data: {响应参数}。

错误码

如果请求错误，服务器返回的JSON文本包含以下参数。

名称	描述
error_code	错误码
error_msg	错误描述信息，帮助理解和解决发生的错误

例如Access Token失效返回以下内容，需要重新获取新的Access Token再次请求。

{
  "error_code": 110,
  "error_msg": "Access token invalid or no longer valid"
}

千帆大模型平台相关错误码，请查看错误码说明。

请求示例

Shell

JavaScript

Java

Swift

curl --location --request POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/?members&reference&Type&_postman_listIndexKey=key&_postman_listAllowsMultipleValues' \
--data-raw ''

响应示例

{
  "id": "as-bcmt5ct4iy",
  "object": "chat.completion",
  "created": 1680167072,
  "result": "千帆是百度旗下的企业级大模型生产平台，提供包括文心一言在内的大模型服务以及第三方大模型服务，还提供大模型开发和应用的整套工具链。",
  "is_truncated": false,
  "need_clear_history": false,
  "usage": {
    "prompt_tokens": 7,
    "completion_tokens": 67,
    "total_tokens": 74
  }
}

请求参数

Path 参数

申请发布时填写的API地址

string

必需

Query 参数

access_token

string

必需

通过API Key和Secret Key获取的access_token，参考Access Token获取

Body 参数application/json

messages

array [object {2}]

必需

聊天上下文信息。说明：（1）messages成员不能为空，1个成员表示单轮对话，多个成员表示多轮对话（2）最后一个message为当前请求的信息，前面的message为历史对话信息（3）必须为奇数个成员，成员中message的role必须依次为user、assistant （4）最后一个message的content长度（即此轮对话的问题）不能超过3000 token；如果messages中content总长度大于3000 token，系统会依次遗忘最早的历史会话，直到content的总长度不超过3000 token

role

string

必需

当前支持以下： user: 表示用户 assistant: 表示对话助

content

string

对话内容，不能为空

必需

stream

boolean

可选

是否以流式接口的形式返回数据，默认false

temperature

number

可选

说明：（1）较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定（2）范围 (0, 1.0]，不能为0 （3）建议该参数和top_p只设置1个

top_k

integer

可选

Top-K 采样参数，在每轮token生成时，保留k个概率最高的token作为候选。说明：（1）影响输出文本的多样性，取值越大，生成文本的多样性越强（2）取值范围：正整数

top_p

number

可选

说明：（1）影响输出文本的多样性，取值越大，生成文本的多样性越强（2）取值范围 [0, 1.0] （3）建议该参数和temperature只设置1个

penalty_score

number

可选

通过对已生成的token增加惩罚，减少重复生成的现象。说明：（1）值越大表示惩罚越大（2）取值范围：[1.0, 2.0]

stop

array[string]

可选

生成停止标识。当模型生成结果以stop中某个元素结尾时，停止文本生成。说明：（1）每个元素长度不超过20字符。（2）最多4个元素

user_id

string

可选

表示最终用户的唯一标识符，可以监视和检测滥用行为，防止接口恶意调用

示例

返回响应

🟢200成功

application/json

Body

string

本轮对话的id

必需

object

string

必需

回包类型。 chat.completion：多轮对话返回

created

integer

时间戳

必需

result

string

对话返回结果

必需

is_truncated

boolean

必需

当前生成的结果是否被截断

need_clear_history

boolean

必需

表示用户输入是否存在安全，是否关闭当前会话，清理历史会话信息 true：是，表示用户输入存在安全风险，建议关闭当前会话，清理历史会话信息 false：否，表示用户输入无安全风险

usage

object

必需

token统计信息，token数 = 汉字数+单词数*1.3 （仅为估算逻辑）

prompt_tokens

integer

问题tokens数

必需

completion_tokens

integer

回答tokens数

必需

total_tokens

integer

tokens总数

必需

修改于 2023-11-15 09:56:59

OA-Pythia-12B-SFT-4

RWKV-5-World

Falcon-180B-Chat

创建chat#

API地址说明#

返回说明#

错误码#

请求参数

返回响应

创建chat

API地址说明

返回说明

错误码