airflow.providers.apache.hdfs.sensors.web_hdfs¶

类¶

`WebHdfsSensor`	等待文件或文件夹进入 HDFS。
`MultipleFilesWebHdfsSensor`	等待文件夹中的多个文件进入 HDFS。

模块内容¶

class airflow.providers.apache.hdfs.sensors.web_hdfs.WebHdfsSensor(*, filepath, webhdfs_conn_id='webhdfs_default', **kwargs)[source]¶

Bases: airflow.sensors.base.BaseSensorOperator

等待文件或文件夹进入 HDFS。

template_fields: collections.abc.Sequence[str] = ('filepath',)[source]¶

filepath[source]¶

webhdfs_conn_id = 'webhdfs_default'[source]¶

poke(context)[source]¶

在派生此类时重写。

class airflow.providers.apache.hdfs.sensors.web_hdfs.MultipleFilesWebHdfsSensor(*, directory_path, expected_filenames, webhdfs_conn_id='webhdfs_default', **kwargs)[source]¶

Bases: airflow.sensors.base.BaseSensorOperator

等待文件夹中的多个文件进入 HDFS。

template_fields: collections.abc.Sequence[str] = ('directory_path', 'expected_filenames')[source]¶

directory_path[source]¶

expected_filenames[source]¶

webhdfs_conn_id = 'webhdfs_default'[source]¶

poke(context)[source]¶

在派生此类时重写。