Google¶
Airflow 支持 Google 服务。
所有 hooks 都基于 airflow.providers.google.common.hooks.base_google.GoogleBaseHook。一些集成也使用了 airflow.providers.google.common.hooks.discovery_api。
请参阅 Google Cloud 连接类型 文档，了解如何配置与 Google 服务的连接。
Google Cloud¶
Airflow 对 Google Cloud 提供了广泛支持。
注意
您可以通过分析 Google Cloud 示例 dags 的源代码来了解如何使用 Google Cloud 集成
服务¶
这些集成允许您在 Google Cloud 中执行各种操作。
Google AutoML¶
Google BigQuery¶
Google BigQuery Data Transfer Service¶
Google Bigtable¶
Google Campaign Manager¶
Google Cloud AlloyDB¶
Google Cloud Build¶
Google Cloud Common¶
Google Cloud Data Loss Prevention (DLP)¶
Google Cloud Firestore¶
Google Cloud Functions¶
Google Cloud Key Management Service (KMS)¶
Google Cloud Life Sciences¶
Google Cloud Managed Service for Apache Kafka¶
Google Cloud Memorystore¶
Google Cloud Natural Language¶
Google Cloud OS Login¶
Google Cloud Pub/Sub¶
Google Cloud Secret Manager¶
Google Cloud Spanner¶
Google Cloud Speech-to-Text¶
Google Cloud SQL¶
Google Cloud Stackdriver¶
Google Cloud Storage (GCS)¶
Google Cloud Storage Transfer Service¶
Google Cloud Tasks¶
Google Cloud Text-to-Speech¶
Google Cloud Translation¶
Google Cloud Video Intelligence¶
Google Cloud Vision¶
Google Cloud Workflows¶
Google Compute Engine¶
Google Data Catalog¶
Google Data Fusion¶
Google Dataflow¶
Google Dataplex¶
Google Dataprep¶
Google Dataproc¶
Google Dataproc Metastore¶
Google Datastore¶
Google Deployment Manager¶
Google Kubernetes Engine¶
Google Looker¶
Google Machine Learning Engine¶
Google Vertex AI¶
- 算子：
airflow.providers.google.cloud.operators.vertex_ai.dataset,airflow.providers.google.cloud.operators.vertex_ai.custom_job,airflow.providers.google.cloud.operators.vertex_ai.auto_ml,airflow.providers.google.cloud.operators.vertex_ai.batch_prediction_job,airflow.providers.google.cloud.operators.vertex_ai.endpoint_service,airflow.providers.google.cloud.operators.vertex_ai.hyperparameter_tuning_job,airflow.providers.google.cloud.operators.vertex_ai.model_service,airflow.providers.google.cloud.operators.vertex_ai.pipeline_job,airflow.providers.google.cloud.operators.vertex_ai.generative_model,airflow.providers.google.cloud.operators.vertex_ai.feature_store。- 钩子：
airflow.providers.google.cloud.hooks.vertex_ai.dataset,airflow.providers.google.cloud.hooks.vertex_ai.custom_job,airflow.providers.google.cloud.hooks.vertex_ai.auto_ml,airflow.providers.google.cloud.hooks.vertex_ai.batch_prediction_job,airflow.providers.google.cloud.hooks.vertex_ai.endpoint_service,airflow.providers.google.cloud.hooks.vertex_ai.hyperparameter_tuning_job,airflow.providers.google.cloud.hooks.vertex_ai.model_service,airflow.providers.google.cloud.hooks.vertex_ai.pipeline_job,airflow.providers.google.cloud.hooks.vertex_ai.generative_model,airflow.providers.google.cloud.hooks.vertex_ai.prediction_service,airflow.providers.google.cloud.hooks.vertex_ai.feature_store。- 传感器：
airflow.providers.google.cloud.sensors.vertex_ai.feature_store.- 指南：
- 提供程序：
- 产品文档：
传输¶
这些集成允许您在 Google Cloud 之间复制数据。
Google Cloud Storage (GCS) 到 Amazon Simple Storage Service (S3)¶
Amazon Glacier 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Presto 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Trino 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Common SQL 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- Python API：
- 提供程序：
Google Cloud Storage (GCS) 到 Google Drive¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Drive 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Apache Cassandra 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- Python API：
- 提供程序：
Google Calendar 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Spreadsheet 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Amazon Simple Storage Service (S3) 到 Google Cloud Storage (GCS)¶
Google Cloud Storage (GCS) 到 SSH File Transfer Protocol (SFTP)¶
PostgreSQL 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google BigQuery 到 Common SQL¶
- 源产品文档：
- 目标产品文档：
- Python API：
- 提供程序：
Google BigQuery 到 MySQL¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google BigQuery 到 Microsoft SQL Server (MSSQL)¶
Google BigQuery 到 PostgreSQL¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
airflow.providers.google.cloud.transfers.bigquery_to_postgres- 提供程序：
Google Cloud Storage (GCS) 到 Google BigQuery¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Cloud Storage (GCS) 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Facebook Ads 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
airflow.providers.google.cloud.transfers.facebook_ads_to_gcs- 提供程序：
SSH File Transfer Protocol (SFTP) 到 Google Cloud Storage (GCS)¶
Microsoft Azure Data Lake Storage 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- Python API：
- 提供程序：
Google BigQuery 到 Google BigQuery¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
airflow.providers.google.cloud.transfers.bigquery_to_bigquery- 提供程序：
MySQL 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Oracle 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Cloud Storage (GCS) 到 Google Spreadsheet¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
本地到 Google Cloud Storage (GCS)¶
Google BigQuery 到 Google Cloud Storage (GCS)¶
Google Cloud Storage (GCS) 到本地¶
Salesforce 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Ads 到 Google Cloud Storage (GCS)¶
- 源产品文档：
- 目标产品文档：
- Python API：
- 提供程序：
Microsoft SQL Server (MSSQL) 到 Google Cloud Storage (GCS)¶
Microsoft Azure Blob Storage 到 Google Cloud Storage (GCS)¶
Google Cloud Storage (GCS) 到 Presto¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Cloud Storage (GCS) 到 Samba¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Cloud Storage (GCS) 到 Snowflake¶
- 源产品文档：
- 目标产品文档：
- Python API：
- 提供程序：
Google Cloud Storage (GCS) 到 Trino¶
- 源产品文档：
- 目标产品文档：
- 算子指南：
- Python API：
- 提供程序：
Google Marketing Platform¶
注意
您可以通过分析示例 DAG 的源代码来了解如何使用 Google Marketing Platform 集成。