千帆 SDK 介绍

介绍

百度智能云千帆大模型平台提供了千帆 SDK，开发者可使用 SDK，快捷地开发功能，提升开发效率。SDK 支持对话Chat、续写Completions、向量Embeddings、模型管理、模型服务、模型调优等调用。

千帆SDK开源说明

千帆SDK已开源，欢迎广大开发者加入交流，详见千帆SDK开源说明。

SDK 支持的语言及版本

千帆SDK目前只提供了 Python 语言的SDK，支持 Python >= 3.7版本。

SDK 安装及使用流程

请查看SDK 安装及使用流程。

SDK 支持的功能

千帆SDK支持以下功能。

• 大模型能力相关
  • 对话Chat
  • 续写Completions
  • 向量Embeddings
• 模型服务
• 模型管理
• 模型调优
• 数据管理
• 插件应用

大模型能力相关

对话Chat

通过千帆SDK 调用对话Chat相关API，请查看对话Chat SDK调用说明文档。

模型	介绍	SDK调用	HTTP调用
ERNIE-Bot 4.0	ERNIE-Bot 4.0是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。	支持	API文档
ERNIE-Bot	ERNIE-Bot是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。	支持	API文档
ERNIE-Bot-turbo	ERNIE-Bot-turbo是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力，响应速度更快。	支持	API文档
BLOOMZ-7B	BLOOMZ-7B是业内知名的大语言模型，由BigScience研发并开源，能够以46种语言和13种编程语言输出文本。	支持	API文档
Qianfan-BLOOMZ-7B-compressed	千帆团队在BLOOMZ-7B基础上的压缩版本，融合量化、稀疏化等技术，显存占用降低30%以上。	支持	API文档
Llama-2-7b-chat	Llama-2-7b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能原生开源版本，适用于对话场景。	支持	API文档
Llama-2-13b-chat	Llama-2-13b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡的原生开源版本，适用于对话场景。	支持	API文档
Llama-2-70b-chat	Llama-2-70b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果的原生开源版本。	支持	API文档
Qianfan-Chinese-Llama-2-7B	千帆团队在Llama-2-7b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	支持	API文档
Qianfan-Chinese-Llama-2-13B	千帆团队在Llama-2-13b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	支持	API文档
ChatGLM2-6B-32K	在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。	支持	API文档
AquilaChat-7B	由智源研究院研发，基于Aquila-7B训练的对话模型，支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。	支持	API文档
Linly-Chinese-LLaMA-2-7B	由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 7b参数版本。	支持	API文档
Linly-Chinese-LLaMA-2-13B	由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 13b参数版本。	支持	API文档
ChatGLM2-6B	智谱AI与清华KEG实验室发布的中英双语对话模型，具备强大的推理性能、效果、较低的部署门槛及更长的上下文，在MMLU、CEval等数据集上相比初代有大幅的性能提升。	支持	API文档
ChatGLM2-6B-INT4	在ChatGLM2-6B的基础上进行INT4 量化，6G 显存支持的对话长度由 1K 提升到了 8K。	支持	API文档
Baichuan2-13B-Chat	Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为130亿参数规模的Chat版本。	支持	API文档
XVERSE-13B-Chat	由深圳元象科技自主研发的支持多语言的大语言模型，支持8k上下文、40多种语言，具备训练效率高、稳定性强、算力利用率高等特点。该版本为130亿参数规模的Chat版本。	支持	API文档
Falcon-7B	由TII研发、在精选语料库增强的1500B tokens上进行训练。由OpenBuddy调优并开源，提升了处理复杂对话任务的能力与表现。	支持	API文档
Falcon-40B-Instruct	由TII研发的仅使用解码器的模型，并在Baize的混合数据集上进行微调，具备优异的推理效果。	支持	API文档
RWKV-4-World	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-World在100多种语言上进行训练，具备优秀的英语零样本与上下文学习能力。	支持	API文档
RWKV-4-pile-14B	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-pile-14B为在 Pile 数据集上训练的 L40-D5120 因果语言模型。	支持	API文档
RWKV-Raven-14B	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-Raven-14B为在Pile数据集上训练，并在Alpaca、CodeAlpaca等上进行微调的Chat版本。	支持	API文档
OpenLLaMA-7B	在Meta AI研发的Llama模型基础上，OpenBuddy进行调优，涵盖了更广泛的词汇、通用字符与token嵌入，具备与Llama相当的性能与推理效果。	支持	API文档
Dolly-12B	由Databricks训练的指令遵循大语言模型。基于pythia-12b，由InstructGPT论文的能力域中生成的约15k指令/响应微调记录训练。	支持	API文档
MPT-7B-Instruct	MPT-7B-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在Databricks Dolly-15k、HH-RLHF数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。	支持	API文档
MPT-30B-instruct	MPT-30M-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在更为丰富的数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。	支持	API文档
OA-Pythia-12B-SFT-4	基于Pythia12B，Open-Assistant项目的第4次SFT迭代模型。该模型在https://open-assistant.io/收集的人类反馈的对话数据上进行微调。	支持	API文档
RWKV-5-World	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。	支持	API文档
自定义导入模型	千帆支持HuggingFace Transformer架构的自定义模型导入。	支持	API文档

续写Completions

通过千帆SDK 调用续写Completions，请查看续写Completions SDK调用说明文档。

大模型	介绍	SDK调用	HTTP调用
SQLCoder-7B	由Defog研发、基于Mistral-7B微调的语言模型，用于将自然语言问题转换为SQL语句，具备优秀的生成效果。	支持	API文档
CodeLlama-7b-Instruct	Code Llama是由Meta AI研发并开源的一系列文本生成模型，旨在用于一般代码合成和理解。该模型参数规模为70亿。	支持	API文档
AquilaCode-multi	由智源研究院研发，基于Aquila-7B训练的代码生成模型，使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的10～40%。	支持	API文档
Cerebras-GPT-13B	由Cerebras研发并开源，使用 Chinchilla 公式进行训练的13B参数GPT模型，可为给定的计算预算提供最高的准确性，具备更低的训练成本与功耗。	支持	API文档
Pythia-12B	由EleutherAI研发并开源，在Pile数据集上训练的12B参数transformer语言模型。	支持	API文档
GPT-J-6B	EleutherAI开发的6B参数transformer模型，基于Mesh Transformer JAX训练。	支持	API文档
GPT-NeoX-20B	由EleutherAI开发，使用GPT-NeoX库，基于Pile训练的200亿参数自回归语言模型，模型结构与GPT-3、GPT-J-6B类似。	支持	API文档
GPT4All-J	由Nomic AI研发、基于GPT-J在包括文字问题、多轮对话、代码、诗歌、歌曲和故事在内的大量语料上进行精调训练生成的模型。	支持	API文档
StarCoder	由BigCode研发的15.5B参数模型，基于The Stack (v1.2)的80+编程语言训练，训练语料来自Github。	支持	API文档
StableLM-Alpha -7B	Stability AI开发的7B参数的NeoX transformer架构语言模型，支持4k上下文。	支持	API文档
ERNIE-Bot-4	ERNIE-Bot-4是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。	支持	不支持
ERNIE-Bot	ERNIE-Bot是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。	支持	不支持
ERNIE-Bot-turbo	ERNIE-Bot-turbo是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力，响应速度更快。	支持	不支持
BLOOMZ-7B	BLOOMZ-7B是业内知名的大语言模型，由BigScience研发并开源，能够以46种语言和13种编程语言输出文本。	支持	不支持
Qianfan-BLOOMZ-7B-compressed	千帆团队在BLOOMZ-7B基础上的压缩版本，融合量化、稀疏化等技术，显存占用降低30%以上。	支持	不支持
Llama-2-7b-chat	Llama-2-7b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能原生开源版本，适用于对话场景。	支持	不支持
Llama-2-13b-chat	Llama-2-13b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡的原生开源版本，适用于对话场景。	支持	不支持
Llama-2-70b-chat	Llama-2-70b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果的原生开源版本。	支持	不支持
Qianfan-Chinese-Llama-2-7B	千帆团队在Llama-2-7b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	支持	不支持
ChatGLM2-6B-32K	在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。	支持	不支持
AquilaChat-7B	由智源研究院研发，基于Aquila-7B训练的对话模型，支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。	支持	不支持
自定义导入模型	千帆支持HuggingFace Transformer架构的自定义模型导入。	支持	API文档

向量Embeddings

通过千帆SDK 调用向量Embeddings，请查看向量Embeddings SDK调用说明文档。

模型	说明	SDK调用	HTTP调用
Embedding-V1	Embedding-V1是基于百度文心大模型技术的文本表示模型，将文本转化为用数值表示的向量形式，用于文本检索、信息推荐、知识挖掘等场景。	支持	API文档
bge-large-zh	由智源研究院研发的中文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。	支持	API文档
bge-large-eh	由智源研究院研发的英文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。	支持	API文档

模型服务

功能	介绍
创建服务	用于创建服务
查询服务详情	用于查询服务详情。

模型管理

功能	介绍
获取模型版本详情	根据模型版本id获取模型版本详情，如模型名称、版本号、模型版本来源类型等。
获取模型详情	用于根据模型ID获取模型详情，如模型名称、类型、来源、版本列表等。
训练任务发布为模型	用于将训练任务的产出发布为模型管理中具体某个模型的版本，支持发布为新建模型的新版本或已有模型新版本。

模型调优

功能	介绍
创建训练任务	用于创建训练任务。
创建任务运行	用于创建训练任务运行。
获取任务运行详情	用于获取训练运行详情信息，如任务名称、任务版本、训练方法、训练状态、任务运行时间等。
停止任务运行	用于停止训练任务运行。

数据管理

API名称	说明
创建数据集	用于创建数据集。
发起数据集发布任务	用于发布数据集。
发起数据集导入任务	用于导入数据集。
获取数据集详情	用于查看某数据集详情，如数据集名称、数据类型、版本信息等。
获取数据集状态详情	用于批量查询数据集状态。
发起数据集导出任务	用于导出数据集。
删除数据集	用于删除数据集。
获取数据集导出记录	用于获取某个数据集发起的导出记录。
获取数据集导入错误详情	用于获取数据集导入错误的详情。

插件应用

功能	介绍
知识库	使用知识库中存储的相关内容进行问答增强。
智慧图问	实现OCR能力。
天气	借助实时天气信息，回答天气相关问题，预报未来天气状况。