导入泛文本无标注数据

登录到千帆大模型操作台，在左侧功能列选择数据集管理，进入数据集管理主任务界面。

泛文本无标注数据多用于特定行业方向/场景下的大规模无标注数据语料，作为后续Post-pretrain的训练输入，推荐数据量至少10亿tokens，如需试用的话，
则推荐1千万tokens及以上的数据量，凸显训练效果。

导入数据

创建数据集完成后，在数据集管理页面中，找到该数据集，点击右侧操作列下的“导入”按钮，即可进入导入数据页面。

您可以使用以下方案上传文本数据：

本地导入支持两种种导入格式：单文件和压缩包。

导入格式	格式要求
单文件	支持文本文件类型为txt/doc/docx，编码仅支持UTF-8，单个文件不超过60M，单次上传限制100个文件。
压缩包	1. 上传文件要求为zip/tar.gz格式压缩包，同时压缩前源文件大小在5G以内，文件编码仅支持UTF-8 2. 压缩包内支持多个txt/doc/docx文件的上传。

选择BOS文件导入，需要指定到文件；选择BOS目录导入，需要指定到文件的路径。

导入格式	格式要求	格式示例
Bucket地址·文件导入	支持文本文件类型为txt/doc/docx，编码仅支持UTF-8，单个文件不超过60M，单次上传限制100个文件
Bucket地址·目录导入	文件夹内文件类型支持txt/doc/docx，文件编码仅支持UTF-8。	-----

请确保将全部文本文件保存至同一压缩包，压缩包仅支持zip/tar.gz格式，压缩前源文件大小限制5G以内

需输入链接地址。分享链接导入的要求如下：

仅支持来自百度BOS、阿里OSS、腾讯COS、华为OBS的共享链接。

导入方式	格式要求
输入链接地址导入	1. 链接地址要求为zip/tar.gz格式压缩包，同时压缩前源文件大小在5G以内，文件编码仅支持UTF-8。 2. 压缩包内支持多个txt/doc/docx文件。

导入方式	格式要求	数据集要求
选择数据集	仅支持选择未发布的数据集版本	已在平台导入的非空数据集。

以上所有步骤完成后，即可导入数据至数据集。