airflow.providers.microsoft.azure.operators.adls¶

属性¶

DEFAULT_AZURE_DATA_LAKE_CONN_ID

类¶

`ADLSCreateObjectOperator`	从传入数据创建新对象到 Azure Data Lake 的指定文件。
`ADLSDeleteOperator`	删除指定路径中的文件。
`ADLSListOperator`	列出指定路径中的所有文件。

模块内容¶

airflow.providers.microsoft.azure.operators.adls.DEFAULT_AZURE_DATA_LAKE_CONN_ID = 'azure_data_lake_default'[source]¶

class airflow.providers.microsoft.azure.operators.adls.ADLSCreateObjectOperator(*, file_system_name, file_name, data, length=None, replace=False, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]¶

基类: airflow.models.BaseOperator

从传入数据创建新对象到 Azure Data Lake 的指定文件。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：ADLSCreateObjectOperator

参数:

file_system_name (str) – 文件系统的名称或 FileSystemProperties 的实例。
file_name (str) – 需要在文件系统中创建的文件的名称。
data (bytes | str | collections.abc.Iterable[AnyStr] | IO[AnyStr]) – 将要上传的数据。
length (int | None) – 数据大小（以字节为单位）（可选）。
replace (bool) – 是否强制覆盖现有文件/目录。如果为 False 且远程路径是目录，无论是否会覆盖任何文件，都将退出。如果为 True，则仅实际覆盖匹配的文件名。
azure_data_lake_conn_id (str) – 对 Azure Data Lake 连接的引用。

template_fields: collections.abc.Sequence[str] = ('file_system_name', 'file_name', 'data')[source]¶

ui_color = '#e4f0e8'[source]¶

file_system_name[source]¶

file_name[source]¶

replace = False[source]¶

data[source]¶

length = None[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

创建操作符时派生。

Context 是渲染 jinja 模板时使用的相同字典。

有关更多上下文信息，请参阅 get_template_context。

class airflow.providers.microsoft.azure.operators.adls.ADLSDeleteOperator(*, path, recursive=False, ignore_not_found=True, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]¶

基类: airflow.models.BaseOperator

删除指定路径中的文件。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：ADLSDeleteOperator

参数:

path (str) – 要移除的目录或文件
recursive (bool) – 是否遍历位置内的目录并移除文件
ignore_not_found (bool) – 如果要删除的文件未找到是否引发错误
azure_data_lake_conn_id (str) – 对 Azure Data Lake 连接的引用。

template_fields: collections.abc.Sequence[str] = ('path',)[source]¶

ui_color = '#901dd2'[source]¶

path[source]¶

recursive = False[source]¶

ignore_not_found = True[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

创建操作符时派生。

Context 是渲染 jinja 模板时使用的相同字典。

有关更多上下文信息，请参阅 get_template_context。

class airflow.providers.microsoft.azure.operators.adls.ADLSListOperator(*, path, azure_data_lake_conn_id=DEFAULT_AZURE_DATA_LAKE_CONN_ID, **kwargs)[source]¶

基类: airflow.models.BaseOperator

列出指定路径中的所有文件。

此操作符返回一个 Python 列表，其中包含可供: 下游任务中的 xcom 使用的文件名。

另请参阅

有关如何使用此操作符的更多信息，请参阅指南：ADLSListOperator

参数:

path (str) – 查找对象的 Azure Data Lake 路径。支持 glob 字符串（模板化）
azure_data_lake_conn_id (str) – 对 Azure Data Lake 连接的引用。

template_fields: collections.abc.Sequence[str] = ('path',)[source]¶

ui_color = '#901dd2'[source]¶

path[source]¶

azure_data_lake_conn_id = 'azure_data_lake_default'[source]¶

execute(context)[source]¶

创建操作符时派生。

Context 是渲染 jinja 模板时使用的相同字典。

有关更多上下文信息，请参阅 get_template_context。