API 列表

千帆大模型平台提供了丰富的API能力，包括以下：

• 模型相关
  • 对话Chat：支持创建chat，用于发起一次对话。
  • 续写Completions：支持创建completion，用于发起一次续写请求，不支持多轮会话等。
  • 向量Embeddings：支持Embeddings，用于根据输入内容生成对应的向量表示。
  • 自定义模型：平台支持HuggingFace Transformer架构的自定义模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
  • 图像Images：提供图像相关API能力。
• 模型服务：提供创建服务、获取服务详情等API能力。
• 模型管理：提供获取模型、模型版本详情及将训练任务发布为模型等API能力。
• 模型调优：提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等API能力。
• 数据管理：提供创建数据集、导入导出数据集等API能力。
• Prompt工程：提供模版相关API能力。
• 插件应用：提供知识库、天气等相关能力。

大模型相关

对话Chat

模型	介绍	支持的API
ERNIE-Bot 4.0	ERNIE-Bot 4.0是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。	创建chat，用于发起一次对话请求。
ERNIE-Bot	ERNIE-Bot是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力。	创建chat，用于发起一次对话请求。
ERNIE-Bot-turbo	ERNIE-Bot-turbo是百度自行研发的大语言模型，覆盖海量中文数据，具有更强的对话问答、内容创作生成等能力，响应速度更快。	创建chat，用于发起一次对话请求。
BLOOMZ-7B	BLOOMZ-7B是业内知名的大语言模型，由BigScience研发并开源，能够以46种语言和13种编程语言输出文本。	创建chat，用于发起一次对话请求。
Qianfan-BLOOMZ-7B-compressed	千帆团队在BLOOMZ-7B基础上的压缩版本，融合量化、稀疏化等技术，显存占用降低30%以上。	创建chat，用于发起一次对话请求。
Mistral-7B-Instruct	由Mistral AI研发并开源的7B参数大语言模型，具备强大的推理性能和效果，对硬件需求更少、在各项评测基准中超越同规模模型。该版本为Mistral-7B-v0.1基础上的微调版本。	创建chat，用于发起一次对话请求。
Llama-2-7b-chat	Llama-2-7b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能原生开源版本，适用于对话场景。	创建chat，用于发起一次对话请求。
Llama-2-13b-chat	Llama-2-13b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡的原生开源版本，适用于对话场景。	创建chat，用于发起一次对话请求。
Llama-2-70b-chat	Llama-2-70b-chat由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果的原生开源版本。	创建chat，用于发起一次对话请求。
Qianfan-Chinese-Llama-2-7B	千帆团队在Llama-2-7b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	创建chat，用于发起一次对话请求。
Qianfan-Chinese-Llama-2-13B	千帆团队在Llama-2-13b基础上的中文增强版本，在CMMLU、C-EVAL等中文数据集上表现优异。	创建chat，用于发起一次对话请求。
Linly-Chinese-LLaMA-2-7B	由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 7b参数版本。	创建chat，用于发起一次对话请求。
Linly-Chinese-LLaMA-2-13B	由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 13b参数版本。	创建chat，用于发起一次对话请求。
ChatGLM2-6B	智谱AI与清华KEG实验室发布的中英双语对话模型，具备强大的推理性能、效果、较低的部署门槛及更长的上下文，在MMLU、CEval等数据集上相比初代有大幅的性能提升。	创建chat，用于发起一次对话请求。
ChatGLM2-6B-32K	在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。	创建chat，用于发起一次对话请求。
ChatGLM2-6B-INT4	在ChatGLM2-6B的基础上进行INT4 量化，6G 显存支持的对话长度由 1K 提升到了 8K。	创建chat，用于发起一次对话请求。
Baichuan2-13B-Chat	Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为130亿参数规模的Chat版本。	创建chat，用于发起一次对话请求。
XVERSE-13B-Chat	XVERSE-13B-Chat是由深圳元象科技自主研发的支持多语言的大语言模型，支持8k上下文、40多种语言，具备训练效率高、稳定性强、算力利用率高等特点。该版本为130亿参数规模的Chat版本。	创建chat，用于发起一次对话请求。
Falcon-7B	由TII研发、在精选语料库增强的1500B tokens上进行训练。由OpenBuddy调优并开源，提升了处理复杂对话任务的能力与表现。	创建chat，用于发起一次对话请求。
Falcon-40B-Instruct	由TII研发的仅使用解码器的模型，并在Baize的混合数据集上进行微调，具备优异的推理效果。	创建chat，用于发起一次对话请求。
AquilaChat-7B	由智源研究院研发，基于Aquila-7B训练的对话模型，支持流畅的文本对话及多种语言类生成任务，通过定义可扩展的特殊指令规范，实现 AquilaChat对其它模型和工具的调用，且易于扩展。	创建chat，用于发起一次对话请求。
RWKV-4-World	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-World在100多种语言上进行训练，具备优秀的英语零样本与上下文学习能力。	创建chat，用于发起一次对话请求。
RWKV-4-pile-14B	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-4-pile-14B为在 Pile 数据集上训练的 L40-D5120 因果语言模型。	创建chat，用于发起一次对话请求。
RWKV-Raven-14B	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。RWKV-Raven-14B为在Pile数据集上训练，并在Alpaca、CodeAlpaca等上进行微调的Chat版本。	创建chat，用于发起一次对话请求。
OpenLLaMA-7B	在Meta AI研发的Llama模型基础上，OpenBuddy进行调优，涵盖了更广泛的词汇、通用字符与token嵌入，具备与Llama相当的性能与推理效果。	创建chat，用于发起一次对话请求。
Dolly-12B	由Databricks训练的指令遵循大语言模型。基于pythia-12b，由InstructGPT论文的能力域中生成的约15k指令/响应微调记录训练。	创建chat，用于发起一次对话请求。
MPT-7B-Instruct	MPT-7B-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在Databricks Dolly-15k、HH-RLHF数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。	创建chat，用于发起一次对话请求。
MPT-30B-instruct	MPT-30M-Instruct是一种短格式指令遵循模型，由MosaicML研发，基于MPT-7B模型在更为丰富的数据集上调优的版本，采用经过修改的仅使用解码器的transformer架构。	创建chat，用于发起一次对话请求。
OA-Pythia-12B-SFT-4	基于Pythia12B，Open-Assistant项目的第4次SFT迭代模型。该模型在https://open-assistant.io/收集的人类反馈的对话数据上进行微调。	创建chat，用于发起一次对话请求。
Falcon-180B-Chat	由TII研发的仅使用解码器的180B模型，在Ultrachat, Platypus和Airoboros的混合数据集上进行微调，具备优异的推理效果。	创建chat，用于发起一次对话请求。
RWKV-5-World	由香港大学物理系校友彭博研发并开源，结合了Transformer与RNN的优点，具备优秀的推理性能与效果。	创建chat，用于发起一次对话请求。
Flan-UL2	由Google研发并开源，基于T5架构的tranformer模型，使用UL2模型相同的配置，在“Flan”数据集上进行微调，在少样本上下文学习中具有优秀的表现。	创建chat，用于发起一次对话请求。

续写Completions

大模型	介绍	支持的API
SQLCoder-7B	由Defog研发、基于Mistral-7B微调的语言模型，用于将自然语言问题转换为SQL语句，具备优秀的生成效果。	创建completion，用于发起一次文本续写请求。
CodeLlama-7b-Instruct	Code Llama是由Meta AI研发并开源的一系列文本生成模型，旨在用于一般代码合成和理解。该模型参数规模为70亿。	创建completion，用于发起一次文本续写请求。
AquilaCode-multi	由智源研究院研发，基于Aquila-7B训练的代码生成模型，使用经过高质量过滤且有合规开源许可的代码数据进行训练，数据量约为其他开源代码生成模型的10～40%。	创建completion，用于发起一次文本续写请求。
Cerebras-GPT-13B	由Cerebras研发并开源，使用 Chinchilla 公式进行训练的13B参数GPT模型，可为给定的计算预算提供最高的准确性，具备更低的训练成本与功耗。	创建completion，用于发起一次文本续写请求。
Pythia-12B	由EleutherAI研发并开源，在Pile数据集上训练的12B参数transformer语言模型。	创建completion，用于发起一次文本续写请求。
GPT-J-6B	EleutherAI开发的6B参数transformer模型，基于Mesh Transformer JAX训练。	创建completion，用于发起一次文本续写请求。
GPT-NeoX-20B	由EleutherAI开发，使用GPT-NeoX库，基于Pile训练的200亿参数自回归语言模型，模型结构与GPT-3、GPT-J-6B类似。	创建completion，用于发起一次文本续写请求。
GPT4All-J	由Nomic AI研发、基于GPT-J在包括文字问题、多轮对话、代码、诗歌、歌曲和故事在内的大量语料上进行精调训练生成的模型。	创建completion，用于发起一次文本续写请求。
StarCoder	由BigCode研发的15.5B参数模型，基于The Stack (v1.2)的80+编程语言训练，训练语料来自Github。	创建completion，用于发起一次文本续写请求。
StableLM-Alpha -7B	Stability AI开发的7B参数的NeoX transformer架构语言模型，支持4k上下文。	创建completion，用于发起一次文本续写请求。
Cerebras-GPT-6.7B	由Cerebras研发并开源，使用 Chinchilla 公式进行训练的6.7B参数GPT模型，可为给定的计算预算提供最高的准确性，具备更低的训练成本与功耗。	创建completion，用于发起一次文本续写请求。
Pythia-6.9B	由EleutherAI研发并开源，在Pile数据集上训练的6.9B参数transformer语言模型。	创建completion，用于发起一次文本续写请求。

向量Embeddings

大模型	介绍	支持的API
Embedding-V1	Embedding-V1是基于百度文心大模型技术的文本表示模型，将文本转化为用数值表示的向量形式，用于文本检索、信息推荐、知识挖掘等场景。	Embeddings，用于根据输入内容生成对应的向量表示。
bge-large-zh	由智源研究院研发的中文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。	Embeddings，用于根据输入内容生成对应的向量表示。
bge-large-eh	由智源研究院研发的英文版文本表示模型，可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。	Embeddings，用于根据输入内容生成对应的向量表示。

自定义模型

大模型	介绍	支持的API
自定义模型调用API	千帆支持HuggingFace Transformer架构的自定义模型导入，将自定义模型发布为服务，可以通过相关API调用该服务，输入输出模式不同调用的API不同。	自定义模型调用API

图像Images

大模型	介绍	支持的API
Stable-Diffusion-XL	业内知名的跨模态大模型，由StabilityAI研发并开源，有着业内领先的图像生成能力。	文生图，用于根据用户输入的文本生成图片。

模型服务

大模型服务提供了全面的在线服务管理功能，满足不同大语言模型业务场景的需要。大模型服务提供了以下API能力。

API名称	介绍
创建服务	用于创建服务。
查询服务详情	用于查询服务详情。

模型管理

大模型管理用于集中管理平台训练、压缩及预置的生成式大模型，支持对模型进行评估、压缩及部署大模型管理提供了以下API能力。

API名称	介绍
获取模型详情	用于根据模型ID获取模型详情，如模型名称、类型、来源、版本列表等。
获取模型版本详情	用于根据模型版本ID获取模型版本详情，如模型名称、版本号、模型版本来源类型等。
训练任务发布为模型	用于将训练任务的产出发布为模型管理中具体某个模型的版本，支持发布为新建模型的新版本或已有模型新版本。

模型调优

大模型训练指基于基础模型的Fine-Tuning的训练模式，开发者可以选择适合自己任务场景的训练模式并加以调参训练，从而实现理想的模型效果；也可以通过RLHF训练模式，依次训练奖励模型和利用强化学习机制，训练得到性能更优的模型。大模型训练支持以下API能力。

API名称	介绍
创建训练任务	用于创建训练任务。
创建任务运行	用于创建训练任务运行。
任务运行详情	用于获取训练运行详情信息，如任务名称、任务版本、训练方法、训练状态、任务运行时间等。
停止任务运行	用于停止训练任务运行。

数据管理

API名称	说明
创建数据集	用于创建数据集。
发起数据集发布任务	用于发起数据集发布任务。
发起数据集导入任务	用于发起数据集导入任务。
获取数据集详情	用于查看某数据集详情，如数据集名称、数据类型、版本信息等。
获取数据集状态详情	用于批量查询数据集状态。
发起数据集导出任务	用于发起数据集导出任务。
删除数据集	用于删除数据集。
获取数据集导出记录	用于获取某个数据集发起的导出记录。
获取数据集导入错误详情	用于获取数据集导入错误的详情。

Prompt工程

Prompt工程指针对于Prompt进行结构、内容等维度进行优化的AI技术，它把大模型的输入限定在了一个特定的范围之中，进而更好地控制模型的输出。Prompt工程支持以下API能力。

API名称	介绍
获取Prompt模板	用于获取Prompt工程里面模板的内容。

插件应用

插件应用是大语言模型(LLM)的应用构建工具，帮助用户快速构建LLM应用或将LLM应用到自建程序中。插件应用支持以下API能力。

API名称	介绍
知识库	使用知识库中存储的相关内容进行问答增强。
智慧图问	使用智慧图文插件可以输出简要图片内容描述等。
天气	借助实时天气信息，回答天气相关问题，预报未来天气状况。