airflow.providers.google.cloud.operators.bigquery_dts¶

本模块包含 Google BigQuery Data Transfer Service 算子。

类¶

`BigQueryCreateDataTransferOperator`	创建新的数据传输配置。
`BigQueryDeleteDataTransferConfigOperator`	删除传输配置。
`BigQueryDataTransferServiceStartTransferRunsOperator`	启动手动传输运行，在 schedule_time 等于当前时间时立即执行。

模块内容¶

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryCreateDataTransferOperator(*, transfer_config, project_id=PROVIDE_PROJECT_ID, location=None, authorization_code=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

创建新的数据传输配置。

另请参阅

有关如何使用此算子的更多信息，请参阅指南：创建传输配置

参数：

transfer_config (dict) – 要创建的数据传输配置。
project_id (str) – 要创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。
location (str | None) – 用于区域传输的 BigQuery Transfer Service 位置。
authorization_code (str | None) – 用于此传输配置的授权码。如果需要新的凭据，则此参数是必需的。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定了 None，则不会重试请求。
timeout (float | None) – 等待请求完成的超时时间（秒）。请注意，如果指定了 retry，则超时应用于每个单独的尝试。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的附加元数据。
gcp_conn_id – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用于使用短期凭据模拟的可选服务帐号，或获取列表中最后一个帐号的 access_token 所需的帐号链，该帐号将在请求中被模拟。如果设置为字符串，该帐号必须授予原始帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予 Service Account Token Creator IAM 角色给紧接的前一个身份，列表中的第一个帐号将此角色授予原始帐号（使用模板）。

template_fields: collections.abc.Sequence[str] = ('transfer_config', 'project_id', 'authorization_code', 'gcp_conn_id', 'impersonation_chain')[source]¶

operator_extra_links[source]¶

transfer_config[source]¶

authorization_code = None[source]¶

project_id = None[source]¶

location = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在创建算子时派生。

Context 与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDeleteDataTransferConfigOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

删除传输配置。

另请参阅

有关如何使用此算子的更多信息，请参阅指南：删除传输配置

参数：

transfer_config_id (str) – 要使用的传输配置 ID。
project_id (str) – 要创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认 project_id。
location (str | None) – 用于区域传输的 BigQuery Transfer Service 位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定了 None，则不会重试请求。
timeout (float | None) – 等待请求完成的超时时间（秒）。请注意，如果指定了 retry，则超时应用于每个单独的尝试。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的附加元数据。
gcp_conn_id – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用于使用短期凭据模拟的可选服务帐号，或获取列表中最后一个帐号的 access_token 所需的帐号链，该帐号将在请求中被模拟。如果设置为字符串，该帐号必须授予原始帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予 Service Account Token Creator IAM 角色给紧接的前一个身份，列表中的第一个帐号将此角色授予原始帐号（使用模板）。

template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'gcp_conn_id', 'impersonation_chain')[source]¶

project_id = None[source]¶

location = None[source]¶

transfer_config_id[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

execute(context)[source]¶

在创建算子时派生。

Context 与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

class airflow.providers.google.cloud.operators.bigquery_dts.BigQueryDataTransferServiceStartTransferRunsOperator(*, transfer_config_id, project_id=PROVIDE_PROJECT_ID, location=None, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=(), gcp_conn_id='google_cloud_default', impersonation_chain=None, deferrable=conf.getboolean('operators', 'default_deferrable', fallback=False), **kwargs)[source]¶

Bases: airflow.providers.google.cloud.operators.cloud_base.GoogleCloudBaseOperator

启动手动传输运行，在 schedule_time 等于当前时间时立即执行。

可以为一个时间范围（其中 run_time 在 start_time（包含）和 end_time（不包含）之间）创建传输运行，或为一个特定的 run_time 创建。

另请参阅

有关如何使用此算子的更多信息，请参阅指南：手动启动传输运行

参数：

transfer_config_id (str) – 要使用的传输配置 ID。
requested_time_range (dict | None) – 应启动的传输运行的时间范围。如果提供了 dict，其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同。
requested_run_time (dict | None) – 应启动的传输运行的特定 run_time。requested_run_time 不能是未来时间。如果提供了 dict，其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同。
project_id (str) – 应创建传输配置的 BigQuery 项目 ID。
location (str | None) – 用于区域传输的 BigQuery Transfer Service 位置。
retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定了 None，则不会重试请求。
timeout (float | None) – 等待请求完成的超时时间（秒）。请注意，如果指定了 retry，则超时应用于每个单独的尝试。
metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的附加元数据。
gcp_conn_id – 用于连接到 Google Cloud 的连接 ID。
impersonation_chain (str | collections.abc.Sequence[str] | None) – 用于使用短期凭据模拟的可选服务帐号，或获取列表中最后一个帐号的 access_token 所需的帐号链，该帐号将在请求中被模拟。如果设置为字符串，该帐号必须授予原始帐号 Service Account Token Creator IAM 角色。如果设置为序列，列表中的身份必须授予 Service Account Token Creator IAM 角色给紧接的前一个身份，列表中的第一个帐号将此角色授予原始帐号（使用模板）。
deferrable (bool) – 在可延迟模式下运行算子。

template_fields: collections.abc.Sequence[str] = ('transfer_config_id', 'project_id', 'requested_time_range', 'requested_run_time',...[source]¶

operator_extra_links[source]¶

project_id = None[source]¶

location = None[source]¶

transfer_config_id[source]¶

requested_time_range = None[source]¶

requested_run_time = None[source]¶

retry[source]¶

timeout = None[source]¶

metadata = ()[source]¶

gcp_conn_id = 'google_cloud_default'[source]¶

impersonation_chain = None[source]¶

deferrable = True[source]¶

property hook: airflow.providers.google.cloud.hooks.bigquery_dts.BiqQueryDataTransferServiceHook[source]¶

execute(context)[source]¶

在创建算子时派生。

Context 与渲染 jinja 模板时使用的字典相同。

有关更多上下文，请参阅 get_template_context。

execute_completed(context, event)[source]¶

在 defer 方法中调用的 trigger 完成其任务后执行。

get_openlineage_facets_on_complete(_)[source]¶: 实现 _on_complete，因为我们需要运行配置来提取信息。