千帆 SDK 介绍
介绍
千帆SDK开源说明
SDK 支持的语言及版本
SDK 安装及使用流程
SDK 支持的功能
大模型能力相关
对话Chat
| 模型 | 介绍 | SDK调用 | HTTP调用 |
|---|---|---|---|
| ERNIE-Bot 4.0 | ERNIE-Bot 4.0是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。 | 支持 | API文档 |
| ERNIE-Bot | ERNIE-Bot是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。 | 支持 | API文档 |
| ERNIE-Bot-turbo | ERNIE-Bot-turbo是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力，响应速度更快。 | 支持 | API文档 |
| BLOOMZ-7B | BLOOMZ-7B是业内知名的大语言模型，由BigScience研发并开源，能够以46种语言和13种编程语言输出文本。 | 支持 | API文档 |
| Qianfan-BLOOMZ-7B-compressed | 千帆团队在BLOOMZ-7B基础上的压缩版本，融合量化、稀疏化等技术，显存占用降低30%以上。 | 支持 | API文档 |
| Llama-2-7b-chat | Llama-2-7b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能原生开源版本，适用于对话场景。 | 支持 | API文档 |
| Llama-2-13b-chat | Llama-2-13b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡的原生开源版本，适用于对话场景。 | 支持 | API文档 |
| Llama-2-70b-chat | Llama-2-70b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果的原生开源版本。 | 支持 | API文档 |
| Qianfan-Chinese-Llama-2-7B | 千帆团队在Llama-2-7b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | API文档 |
| Qianfan-Chinese-Llama-2-13B | 千帆团队在Llama-2-13b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | API文档 |
| ChatGLM2-6B-32K | 在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。 | 支持 | API文档 |
| AquilaChat-7B | 由智源研究院研发，基于Aquila-7B训练的对话模型，支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。 | 支持 | API文档 |
| Linly-Chinese-LLaMA-2-7B | 由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 7b参数版本。 | 支持 | API文档 |
| Linly-Chinese-LLaMA-2-13B | 由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 13b参数版本。 | 支持 | API文档 |
| ChatGLM2-6B | 智谱AI与清华KEG实验室发布的中英双语对话模型，具备强大的推理性能、效果、较低的部署门槛及更长的上下文，在MMLU、CEval等数据集上相比初代有大幅的性能提升。 | 支持 | API文档 |
| ChatGLM2-6B-INT4 | 在ChatGLM2-6B的基础上进行INT4 量化，6G 显存支持的对话长度由 1K 提升到了 8K。 | 支持 | API文档 |
| Baichuan2-13B-Chat | Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为130亿参数规模的Chat版本。 | 支持 | API文档 |
| XVERSE-13B-Chat | 由深圳元象科技自主研发的支持多语言的大语言模型，支持8k上下文、40多种语言，具备训练效率高、稳定性强、算力利用率高等特点。该版本为130亿参数规模的Chat版本。 | 支持 | API文档 |
| Falcon-7B | 由TII研发、在精选语料库增强的1500B tokens上进行训练。由OpenBuddy调优并开源，提升了处理复杂对话任务的能力与表现。 | 支持 | API文档 |
| Falcon-40B-Instruct | 由TII研发的仅使用解码器的模型，并在Baize的混合数据集上进行微调，具备优异的推理效果。 | 支持 | API文档 |
| RWKV-4-World | 由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-World在100多种语言上进行训练，具备优秀的英语零样本与上下文学习能力。 | 支持 | API文档 |
| RWKV-4-pile-14B | 由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-pile-14B为在 Pile 数据集上训练的 L40-D5120 因果语言模型。 | 支持 | API文档 |
| RWKV-Raven-14B | 由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-Raven-14B为在Pile数据集上训练，并在Alpaca、CodeAlpaca等上进行微调的Chat版本。 | 支持 | API文档 |
| OpenLLaMA-7B | 在Meta AI研发的Llama模型基础上，OpenBuddy进行调优，涵盖了更广泛的词汇、通用字符与token嵌入，具备与Llama相当的性能与推理效果。 | 支持 | API文档 |
| Dolly-12B | 由Databricks训练的指令遵循大语言模型。基于pythia-12b，由InstructGPT论文的能力域中生成的约15k指令/响应微调记录训练。 | 支持 | API文档 |
| MPT-7B-Instruct | MPT-7B-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在Databricks Dolly-15k、HH-RLHF数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。 | 支持 | API文档 |
| MPT-30B-instruct | MPT-30M-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在更为丰富的数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。 | 支持 | API文档 |
| OA-Pythia-12B-SFT-4 | 基于Pythia12B，Open-Assistant项目的第4次SFT迭代模型。该模型在https://open-assistant.io/收集的人类反馈的对话数据上进行微调。 | 支持 | API文档 |
| RWKV-5-World | 由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。 | 支持 | API文档 |
| 自定义导入模型 | 千帆支持HuggingFace Transformer架构的自定义模型导入。 | 支持 | API文档 |
续写Completions
| 大模型 | 介绍 | SDK调用 | HTTP调用 |
|---|---|---|---|
| SQLCoder-7B | 由Defog研发、基于Mistral-7B微调的语言模型，用于将自然语言问题转换为SQL语句，具备优秀的生成效果。 | 支持 | API文档 |
| CodeLlama-7b-Instruct | Code Llama是由Meta AI研发并开源的一系列文本生成模型，旨在用于一般代码合成和理解。该模型参数规模为70亿。 | 支持 | API文档 |
| AquilaCode-multi | 由智源研究院研发，基于Aquila-7B训练的代码生成模型，使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的10～40%。 | 支持 | API文档 |
| Cerebras-GPT-13B | 由Cerebras研发并开源，使用 Chinchilla 公式进行训练的13B参数GPT模型，可为给定的计算预算提供最高的准确性，具备更低的训练成本与功耗。 | 支持 | API文档 |
| Pythia-12B | 由EleutherAI研发并开源，在Pile数据集上训练的12B参数transformer语言模型。 | 支持 | API文档 |
| GPT-J-6B | EleutherAI开发的6B参数transformer模型，基于Mesh Transformer JAX训练。 | 支持 | API文档 |
| GPT-NeoX-20B | 由EleutherAI开发，使用GPT-NeoX库，基于Pile训练的200亿参数自回归语言模型，模型结构与GPT-3、GPT-J-6B类似。 | 支持 | API文档 |
| GPT4All-J | 由Nomic AI研发、基于GPT-J在包括文字问题、多轮对话、代码、诗歌、歌曲和故事在内的大量语料上进行精调训练生成的模型。 | 支持 | API文档 |
| StarCoder | 由BigCode研发的15.5B参数模型，基于The Stack (v1.2)的80+编程语言训练，训练语料来自Github。 | 支持 | API文档 |
| StableLM-Alpha -7B | Stability AI开发的7B参数的NeoX transformer架构语言模型，支持4k上下文。 | 支持 | API文档 |
| ERNIE-Bot-4 | ERNIE-Bot-4是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。 | 支持 | 不支持 |
| ERNIE-Bot | ERNIE-Bot是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。 | 支持 | 不支持 |
| ERNIE-Bot-turbo | ERNIE-Bot-turbo是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力，响应速度更快。 | 支持 | 不支持 |
| BLOOMZ-7B | BLOOMZ-7B是业内知名的大语言模型，由BigScience研发并开源，能够以46种语言和13种编程语言输出文本。 | 支持 | 不支持 |
| Qianfan-BLOOMZ-7B-compressed | 千帆团队在BLOOMZ-7B基础上的压缩版本，融合量化、稀疏化等技术，显存占用降低30%以上。 | 支持 | 不支持 |
| Llama-2-7b-chat | Llama-2-7b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能原生开源版本，适用于对话场景。 | 支持 | 不支持 |
| Llama-2-13b-chat | Llama-2-13b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡的原生开源版本，适用于对话场景。 | 支持 | 不支持 |
| Llama-2-70b-chat | Llama-2-70b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果的原生开源版本。 | 支持 | 不支持 |
| Qianfan-Chinese-Llama-2-7B | 千帆团队在Llama-2-7b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | 不支持 |
| ChatGLM2-6B-32K | 在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。 | 支持 | 不支持 |
| AquilaChat-7B | 由智源研究院研发，基于Aquila-7B训练的对话模型，支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。 | 支持 | 不支持 |
| 自定义导入模型 | 千帆支持HuggingFace Transformer架构的自定义模型导入。 | 支持 | API文档 |
向量Embeddings
| 模型 | 说明 | SDK调用 | HTTP调用 |
|---|---|---|---|
| Embedding-V1 | Embedding-V1是基于百度文心大模型技术的文本表示模型，将文本转化为用数值表示的向量形式，用于文本检索、信息推荐、知识挖掘等场景。 | 支持 | API文档 |
| bge-large-zh | 由智源研究院研发的中文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。 | 支持 | API文档 |
| bge-large-eh | 由智源研究院研发的英文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。 | 支持 | API文档 |
模型服务
| 功能 | 介绍 |
|---|---|
| 创建服务 | 用于创建服务 |
| 查询服务详情 | 用于查询服务详情。 |
模型管理
| 功能 | 介绍 |
|---|---|
| 获取模型版本详情 | 根据模型版本id获取模型版本详情，如模型名称、版本号、模型版本来源类型等。 |
| 获取模型详情 | 用于根据模型ID获取模型详情，如模型名称、类型、来源、版本列表等。 |
| 训练任务发布为模型 | 用于将训练任务的产出发布为模型管理中具体某个模型的版本，支持发布为新建模型的新版本或已有模型新版本。 |
模型调优
| 功能 | 介绍 |
|---|---|
| 创建训练任务 | 用于创建训练任务。 |
| 创建任务运行 | 用于创建训练任务运行。 |
| 获取任务运行详情 | 用于获取训练运行详情信息，如任务名称、任务版本、训练方法、训练状态、任务运行时间等。 |
| 停止任务运行 | 用于停止训练任务运行。 |
数据管理
| API名称 | 说明 |
|---|---|
| 创建数据集 | 用于创建数据集。 |
| 发起数据集发布任务 | 用于发布数据集。 |
| 发起数据集导入任务 | 用于导入数据集。 |
| 获取数据集详情 | 用于查看某数据集详情，如数据集名称、数据类型、版本信息等。 |
| 获取数据集状态详情 | 用于批量查询数据集状态。 |
| 发起数据集导出任务 | 用于导出数据集。 |
| 删除数据集 | 用于删除数据集。 |
| 获取数据集导出记录 | 用于获取某个数据集发起的导出记录。 |
| 获取数据集导入错误详情 | 用于获取数据集导入错误的详情。 |
插件应用
| 功能 | 介绍 |
|---|---|
| 知识库 | 使用知识库中存储的相关内容进行问答增强。 |
| 智慧图问 | 实现OCR能力。 |
| 天气 | 借助实时天气信息，回答天气相关问题，预报未来天气状况。 |
修改于 2023-11-16 09:16:43