airflow.providers.microsoft.azure.transfers.s3_to_wasb¶
模块内容¶
类¶
用于将数据从 AWS S3 存储桶移动到 Microsoft Azure Blob 存储的操作符。 |
- 异常 airflow.providers.microsoft.azure.transfers.s3_to_wasb.TooManyFilesToMoveException(number_of_files)[源代码]¶
基类:
Exception当尝试将多个文件从 S3 移动到单个 Azure Blob 时抛出的自定义异常。
- 异常 airflow.providers.microsoft.azure.transfers.s3_to_wasb.InvalidAzureBlobParameters[源代码]¶
基类:
Exception当没有将 blob_prefix 或 blob_name 传递给操作符时引发的自定义异常。
- 异常 airflow.providers.microsoft.azure.transfers.s3_to_wasb.InvalidKeyComponents[源代码]¶
基类:
Exception当没有为 _create_key 提供 full_path 或 file_name + prefix 时引发的自定义异常。
- 类 airflow.providers.microsoft.azure.transfers.s3_to_wasb.S3ToAzureBlobStorageOperator(*, aws_conn_id='aws_default', wasb_conn_id='wasb_default', s3_bucket, container_name, s3_prefix=None, s3_key=None, blob_prefix=None, blob_name=None, create_container=False, replace=False, s3_verify=False, s3_extra_args=None, wasb_extra_args=None, **kwargs)[源代码]¶
基类:
airflow.models.BaseOperator用于将数据从 AWS S3 存储桶移动到 Microsoft Azure Blob 存储的操作符。
存在一个类似的类，用于将数据从 Microsoft Azure Blob 存储移动到 AWS S3 存储桶，位于 airflow/providers/amazon/aws/transfers/azure_blob_to_s3.py 文件中
可以提供显式的 S3 密钥，也可以提供包含要传输到 Azure Blob 存储的文件的前缀。Blob 名称也是如此；可以传递显式的名称，也可以提供 Blob 前缀以存储文件
- 参数
aws_conn_id (str) – 要使用的 AWS S3 连接的 ID。
wasb_conn_id (str) – 要使用的 Azure Blob 存储连接的 ID。
s3_bucket (str) – 将从中传输对象（或多个对象）的 AWS S3 存储桶的名称。(模板化)
container_name (str) – 将对象（或多个对象）传输到的 Azure 存储 Blob 容器的名称。(模板化)
s3_prefix (str | None) – 筛选以该前缀开头的任何 S3 对象的前缀字符串。(模板化)
s3_key (str | None) – 要传输的显式 S3 密钥（对象）。(模板化)
blob_prefix (str | None) – 将为对象（或多个对象）移动到的 Azure 存储 Blob 容器中的路径提供前缀字符串。(模板化)
blob_name (str | None) – 将对象传输到的显式 Blob 名称。这仅当移动单个文件时才可以使用。如果 S3 存储桶中有多个要移动到单个 Azure Blob 的文件，则会引发异常。(模板化)
create_container (bool) – 如果容器不存在，是否应该创建它，否则为 False。
replace (bool) – 如果容器中存在 Blob 并且 replace 的值为 true，则它将被覆盖。如果 replace 为 False 且容器中存在 Blob，则该文件将不会被覆盖。
s3_verify (bool) –
是否验证 S3 连接的 SSL 证书。默认情况下，SSL 证书会进行验证。您可以提供以下值
False: 不验证 SSL 证书。仍然会使用 SSL(除非 use_ssl 为 False)，但不会验证 SSL 证书。
path/to/cert/bundle.pem: 要使用的 CA 证书捆绑包的文件名。如果您想使用与 botocore 使用的不同的 CA 证书捆绑包，则可以指定此参数。
s3_extra_args (dict | None) – 要传递给 S3Hook 的 kwargs。
wasb_extra_args (dict | None) – 要传递给 WasbHook 的 kwargs。
- template_fields: collections.abc.Sequence[str] = ('s3_bucket', 'container_name', 's3_prefix', 's3_key', 'blob_prefix', 'blob_name')[源代码]¶