airflow.providers.google.cloud.hooks.bigquery_dts

此模块包含一个 BigQuery Hook。

类

BiqQueryDataTransferServiceHook

用于 Google Bigquery Transfer API 的 Hook。

AsyncBiqQueryDataTransferServiceHook

用于 BigQuery 服务，与 Google 库的异步客户端一起使用的 Hook。

函数

get_object_id(obj)

返回对象的唯一 ID。

模块内容

airflow.providers.google.cloud.hooks.bigquery_dts.get_object_id(obj)[source]

返回对象的唯一 ID。

class airflow.providers.google.cloud.hooks.bigquery_dts.BiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseHook

用于 Google Bigquery Transfer API 的 Hook。

Hook 中所有使用 project_id 的方法都必须使用关键字参数调用，而不是位置参数。

location = None[source]
get_conn()[source]

检索到 Google Bigquery 的连接。

返回:

Google Bigquery API 客户端

返回类型:

google.cloud.bigquery_datatransfer_v1.DataTransferServiceClient

create_transfer_config(transfer_config, project_id=PROVIDE_PROJECT_ID, authorization_code=None, retry=DEFAULT, timeout=None, metadata=())[source]

创建一个新的数据传输配置。

参数:

  • transfer_config (dict | google.cloud.bigquery_datatransfer_v1.types.TransferConfig) – 要创建的数据传输配置。

  • project_id (str) – 应创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认项目 ID。

  • authorization_code (str | None) – 与此传输配置一起使用的授权码。如果需要新凭据，则此参数为必需。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（秒）。请注意，如果指定了 retry，则 timeout 应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的额外元数据。

返回:

一个 google.cloud.bigquery_datatransfer_v1.types.TransferConfig 实例。

返回类型:

google.cloud.bigquery_datatransfer_v1.types.TransferConfig

delete_transfer_config(transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

删除传输配置。

参数:

  • transfer_config_id (str) – 要使用的传输配置 ID。

  • project_id (str) – 应创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（秒）。请注意，如果指定了 retry，则 timeout 应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的额外元数据。

返回:

None

返回类型:

None

start_manual_transfer_runs(transfer_config_id, project_id=PROVIDE_PROJECT_ID, requested_time_range=None, requested_run_time=None, retry=DEFAULT, timeout=None, metadata=())[source]

启动手动传输运行，立即执行，schedule_time 等于当前时间。

可以为一个时间范围创建传输运行，其中 run_time 在 start_time（包含）和 end_time（不包含）之间，或为一个特定的 run_time。

参数:

  • transfer_config_id (str) – 要使用的传输配置 ID。

  • requested_time_range (dict | None) – 应启动的传输运行的时间范围。如果提供的是字典，其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.TimeRange 相同

  • requested_run_time (dict | None) – 要启动的传输运行的特定 run_time。`requested_run_time` 不能是将来时间。如果提供的是字典，其形式必须与 protobuf 消息 ~google.cloud.bigquery_datatransfer_v1.types.Timestamp 相同

  • project_id (str) – 应创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（秒）。请注意，如果指定了 retry，则 timeout 应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的额外元数据。

返回:

一个 google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse 实例。

返回类型:

google.cloud.bigquery_datatransfer_v1.types.StartManualTransferRunsResponse

get_transfer_run(run_id, transfer_config_id, project_id=PROVIDE_PROJECT_ID, retry=DEFAULT, timeout=None, metadata=())[source]

返回关于特定传输运行的信息。

参数:

  • run_id (str) – 传输运行的 ID。

  • transfer_config_id (str) – 要使用的传输配置 ID。

  • project_id (str) – 应创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认项目 ID。

  • retry (google.api_core.retry.Retry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（秒）。请注意，如果指定了 retry，则 timeout 应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的额外元数据。

返回:

一个 google.cloud.bigquery_datatransfer_v1.types.TransferRun 实例。

返回类型:

google.cloud.bigquery_datatransfer_v1.types.TransferRun

class airflow.providers.google.cloud.hooks.bigquery_dts.AsyncBiqQueryDataTransferServiceHook(gcp_conn_id='google_cloud_default', location=None, impersonation_chain=None, **kwargs)[source]

基类: airflow.providers.google.common.hooks.base_google.GoogleBaseAsyncHook

用于 BigQuery 服务，与 Google 库的异步客户端一起使用的 Hook。

sync_hook_class[source]
async get_transfer_run(config_id, run_id, project_id, location=None, retry=DEFAULT, timeout=None, metadata=())[source]

返回关于特定传输运行的信息。

参数:

  • run_id (str) – 传输运行的 ID。

  • config_id (str) – 要使用的传输配置 ID。

  • project_id (str | None) – 应创建传输配置的 BigQuery 项目 ID。如果设置为 None 或缺失，则使用 Google Cloud 连接中的默认项目 ID。

  • location (str | None) – 用于区域传输的 BigQuery Transfer Service 位置。

  • retry (google.api_core.retry_async.AsyncRetry | google.api_core.gapic_v1.method._MethodDefault) – 用于重试请求的重试对象。如果指定 None，则不会重试请求。

  • timeout (float | None) – 等待请求完成的时间（秒）。请注意，如果指定了 retry，则 timeout 应用于每个单独的尝试。

  • metadata (collections.abc.Sequence[tuple[str, str]]) – 提供给方法的额外元数据。

返回:

一个 google.cloud.bigquery_datatransfer_v1.types.TransferRun 实例。

此条目有帮助吗？