airflow.providers.apache.pig.hooks.pig

类

PigCliHook

Pig CLI 的简单封装。

模块内容

class airflow.providers.apache.pig.hooks.pig.PigCliHook(pig_cli_conn_id=default_conn_name, pig_properties=None)[source]

基类: airflow.hooks.base.BaseHook

Pig CLI 的简单封装。

参数:

  • pig_cli_conn_id (str) – Hook 使用的连接 ID

  • pig_properties (list[str] | None) – 作为字符串列表添加到 pig cli 命令之后的额外属性。

conn_name_attr = 'pig_cli_conn_id'[source]
default_conn_name = 'pig_cli_default'[source]
conn_type = 'pig_cli'[source]
hook_name = 'Pig 客户端封装'[source]
pig_properties = [][source]
conn[source]
sub_process = None[source]
run_cli(pig, pig_opts=None, verbose=True)[source]

使用 pig cli 运行 pig 脚本。

>>> ph = PigCliHook()
>>> result = ph.run_cli("ls /;", pig_opts="-x mapreduce")
>>> ("hdfs://" in result)
True
kill()[source]

终止 Pig 作业。

此条目有帮助吗？