IO 运算符

这些运算符对文件系统或对象存储执行各种操作。

传输文件

使用 FileTransferOperator 将文件从一个位置复制到另一个位置。该运算符的参数如下：

  • src - 来源路径，str 或 ObjectStoragePath 类型

  • dst - 目标路径，str 或 ObjectStoragePath 类型

  • src_conn_id - 来源连接 ID（默认值：None）

  • dst_conn_id - 目标连接 ID（默认值：None）

  • overwrite - 是否覆盖目标（默认值：False）

如果 src 和 dst 都位于同一个对象存储中，则将在对象存储中执行复制。否则，数据将从来源流式传输到目标。

下面的示例展示了如何实例化 FileTransferOperator 任务。

tests/system/common/io/example_file_transfer_local_to_s3.py

transfer = FileTransferOperator(src=temp_file_path, dst=AWS_BUCKET, task_id="transfer")

此条目有帮助吗？