发起数据集导入任务
功能介绍
用于发起数据集导入任务。
注意事项
调用本文API,需使用安全认证AK/SK鉴权,调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
使用bos导入
# 使用bos进行数据导入
from qianfan.resources.console.consts import DataSourceType
from qianfan import resources
ds_id=1111
# 导入
import_resp = resources.Data.create_data_import_task(dataset_id=ds_id,
is_annotated=True,
import_source=DataSourceType.PrivateBos,
file_url="bos:/xxx/xx/xxx/dataset01.jsonl")
print(import_resp)
使用共享链接导入
# 使用bos进行数据导入
from qianfan.resources.console.consts import DataSourceType
from qianfan import resources
ds_id=1111
# 导入
import_resp = resources.Data.create_data_import_task(dataset_id=ds_id,
is_annotated=True,
import_source=DataSourceType.SharedZipUrl,
file_url="http[s]://bucketName.bj.bcebos.com/fileName.zip?authorization=bce-auth-v1/c786...")
print(import_resp)
返回示例
QfResponse(code = 200, headers = {...
},
body = {
'log_id': '482ntzjscqg1as02',
'result': True,
'status': 200,
'success': True
})
参数说明
请求参数
名称 | 类型 | 必填 | 描述 |
---|---|---|---|
dataset_id | int | 是 | 要导入的数据集版本ID,示例:1,可以通过以下任一方式获取该字段值: · 方式一,通过调用创建数据集接口,返回的id字段获取 · 方式二,在千帆控制台-数据集管理列表页面查看,如下图所示: |
is_annotated | bool | 是 | 是否带标注导入,可选值如下: · true:表示带标注信息 · false:表示不带 |
import_source | DataSourceType | 是 | 上传方式,可选值如下: · DataSourceType.PrivateBos:用户Bos目录/文件上传 · DataSourceType.SharedZipUrl:网络分享链接,将全部文件保存至同一压缩包,压缩包仅支持zip/tar.gz格式,压缩前源文件大小限制5G以内;仅支持来自百度BOS、阿里OSS、腾讯COS、华为OBS的共享链接 |
file_url | string | 否 | 导入文件名称,数量随importFrom字段变化,说明: · import_source为DataSourceType.PrivateBos,值为bos:/bucketName/some/path/ (可为目录或文件) · import_source为DataSourceType.SharedZipUrl,值为http[s]://bucketName.bj.bcebos.com/fileName.zip?authorization=bce-auth-v1/c786... |
返回参数
名称 | 类型 | 描述 |
---|---|---|
success | bool | 是否操作成功 |
result | bool | 发起数据集导入任务成功 |
status | int | 状态码 |
log_id | string | 操作记录id |
修改于 10 个月前