Flan-UL2
POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/{申请发布时填写的API地址}注意:该模型目前面向测试企业用户开放,如需使用请填写申请表单,我们将尽快评估您的需求。
Flan-UL2由Google研发并开源,基于T5架构的tranformer模型,使用UL2模型相同的配置,在“Flan”数据集上进行微调,在少样本上下文学习中具有优秀的表现。本文介绍了相关API。
创建chat
调用本接口,发起一次对话请求。
API地址说明
申请发布时填写的API地址,相关内容请查看模型服务-在线服务-服务配置。
返回说明
注意 :同步模式和流式模式,响应参数返回不同,详细内容参考示例描述。
- 同步模式下,响应参数为以上字段的完整json包。
- 流式模式下,各字段的响应参数为 data: {响应参数}。
错误码
如果请求错误,服务器返回的JSON文本包含以下参数。
名称 | 描述 |
---|---|
error_code | 错误码 |
error_msg | 错误描述信息,帮助理解和解决发生的错误 |
例如Access Token失效返回以下内容,需要重新获取新的Access Token再次请求。
{
"error_code": 110,
"error_msg": "Access token invalid or no longer valid"
}
千帆大模型平台相关错误码,请查看错误码说明。
请求参数
聊天上下文信息。说明: (1)messages成员不能为空,1个成员表示单轮对话,多个成员表示多轮对话 (2)最后一个message为当前请求的信息,前面的message为历史对话信息 (3)必须为奇数个成员,成员中message的role必须依次为user、assistant (4)最后一个message的content长度(即此轮对话的问题)不能超过3000 token;如果messages中content总长度大于3000 token,系统会依次遗忘最早的历史会话,直到content的总长度不超过3000 token
当前支持以下: user: 表示用户 assistant: 表示对话助
是否以流式接口的形式返回数据,默认false
说明: (1)较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定 (2)范围 (0, 1.0],不能为0 (3)建议该参数和top_p只设置1个
Top-K 采样参数,在每轮token生成时,保留k个概率最高的token作为候选。说明: (1)影响输出文本的多样性,取值越大,生成文本的多样性越强 (2)取值范围:正整数
说明: (1)影响输出文本的多样性,取值越大,生成文本的多样性越强 (2)取值范围 [0, 1.0] (3)建议该参数和temperature只设置1个
通过对已生成的token增加惩罚,减少重复生成的现象。说明: (1)值越大表示惩罚越大 (2)取值范围:[1.0, 2.0]
生成停止标识。当模型生成结果以stop中某个元素结尾时,停止文本生成。说明: (1)每个元素长度不超过20字符。 (2)最多4个元素
表示最终用户的唯一标识符,可以监视和检测滥用行为,防止接口恶意调用
{
"messages\t": [
{
"role\t": "string",
"content": "string"
}
],
"stream": true,
"temperature\t": 0,
"top_k\t": 0,
"top_p\t": 0,
"penalty_score": 0,
"stop\t": [
"string"
],
"user_id": "string"
}
示例代码
返回响应
回包类型。 chat.completion:多轮对话返回
当前生成的结果是否被截断
表示用户输入是否存在安全,是否关闭当前会话,清理历史会话信息 true:是,表示用户输入存在安全风险,建议关闭当前会话,清理历史会话信息 false:否,表示用户输入无安全风险
token统计信息,token数 = 汉字数+单词数*1.3 (仅为估算逻辑)
{
"id": "as-bcmt5ct4iy",
"object": "chat.completion",
"created": 1680167072,
"result": "百度智能云千帆是百度旗下的企业级大模型生产平台,提供包括文心一言在内的大模型服务以及第三方大模型服务,还提供大模型开发和应用的整套工具链。",
"is_truncated": false,
"need_clear_history": false,
"usage": {
"prompt_tokens": 7,
"completion_tokens": 67,
"total_tokens": 74
}
}