对话场景类应用
创建插件应用服务
您需要在插件编排界面,选择“配置插件应用”按钮。
首先需要您选择插件服务的场景类型:
- 对话类场景:构建一个对话场景的应用,采用持续对话交流;
填写名称和描述:
配置插件应用服务
在创建完插件应用服务后,您可以在服务列表中进行查看,服务状态为“编辑中”。
选择操作列的“配置”按钮,进行插件应用的配置。
1.模型及参数
在配置页右侧进行模型及参数的配置。当前支持预置服务ERNIE-Bot和ERNIE-Bot-turbo服务进行温度、多样性和重复惩罚的参数调整;基础模型为BLOOMZ-7B的服务当前仅支持单轮对话。
- 选择已发布的在线服务和应用,服务创建可参考在线服务使用说明,应用创建可参考应用接入使用说明。其中,选择服务既可选择平台预置的服务也可以选择自建的服务,需要注意选择的服务需已添加至选择的应用当中。
- 温度:较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定。
- 多样性:控制⽣成⽂本的多样性,取值越大,生成文本的多样性越强。
- 重复惩罚:⽤于抑制重复的⽣成内容,对已生成的token增加惩罚,取值越大,重复生成的现象越小。
2.提示词
提示词用于对AI的回复做出一系列指令和约束。
可插入表单变量,例如{input}。这段提示词不会被最终用户所看到,变量将以表单形式让用户在对话前填写,用户填写的表单内容将自动替换提示词中的变量。
提示词的来源可以直接引用平台Prompt模板,支持引用预置和创建的prompt模板。
3.知识库
在插件编排中可以选择关联知识库,结果返回知识库知识。
知识库的来源为平台已经创建的知识库内容,如果您之前未创建相关支持库,可以参考知识库使用说明文档内容,直接创建知识库。
插件上线后,调用知识库应答的计费内容可查看价格文档中的示例3。
4.开场白
助手开场内容,可插入变量,变量KEY需要与提示词设置中的变量KEY相同。
5.最长上下文
当您创建的场景为对话类任务应用时,需要您配置插件应用的最长上下文:多轮对话上下文最多组数,如果最后一轮对话总长度大于2000字符,系统会依次遗忘最早的历史会话,直到对话的总长度不超过2000个字符。区间范围[1,10]
6.安装插件
所有配置工作完成后,您可以在对话框选择安装插件,在线测试插件应用的对答能力,当前安装插件个数不超过3个(知识库除外)。
- 如果您已经关联了知识库,则默认安装知识库插件。
- 知识库插件和chatfile插件支持测试框的文档上传。
同时,您也可以选择安装自定义的插件,关于更多插件的介绍说明可移步至插件列表或自定义插件。
特别注意:域内知识搜索增强将停止维护,卸载后将下线该插件,请卸载前确认已将知识转移到知识库产品内。
- 指定知识库回答问题:插件关联知识库后,如果使用“/”指定知识库,将会根据用户问题去知识库中检索相关段落,召回后让大模型去总结答案。
- 不指定知识库回答问题:插件关联知识库后,如果没有用“/”指定知识库,会先根据知识库描述以及问题意图识别判断是否需要使用知识库回答问题,如果不使用知识库,则直接使用EB回答问题;插件判断是否需要使用知识库的凭据是 知识库的描述信息,建议使用中文,尽可能全面的描述文档内容。
7.调试信息
插件服务支持在对话测试中展示调试记录,展示在进行应用配置时对于配置效果的每一步执行效果。通过调试记录,你可以清晰了解当前配置是否起作用以及是否为最优配置, 以便为您做最直观的配置成果反馈。
如下所示,对话提交后则会在对话框右侧生成调试信息。
- Thinking
包括以下的执行参数返回:
- Plugin
包括以下的执行参数返回:
- LLM
包括以下的执行参数返回: