AWS: 亚马逊网络服务

Airflow 支持 亚马逊网络服务

所有钩子都基于 airflow.providers.amazon.aws.hooks.base_aws

服务

这些集成允许您在亚马逊网络服务中执行各种操作。

Amazon Appflow

操作符

airflow.providers.amazon.aws.operators.appflow.

钩子

airflow.providers.amazon.aws.hooks.appflow.

指南

Amazon AppFlow.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Appflow

Amazon Athena

操作符

airflow.providers.amazon.aws.operators.athena.

钩子

airflow.providers.amazon.aws.hooks.athena, airflow.providers.amazon.aws.hooks.athena_sql

传感器

airflow.providers.amazon.aws.sensors.athena.

指南

Amazon Athena, Amazon Athena SQL

提供者

apache-airflow-providers-amazon

产品文档

Amazon Athena

Amazon Bedrock

操作符

airflow.providers.amazon.aws.operators.bedrock.

钩子

airflow.providers.amazon.aws.hooks.bedrock.

传感器

airflow.providers.amazon.aws.sensors.bedrock.

指南

Amazon Bedrock.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Bedrock

Amazon Chime

钩子

airflow.providers.amazon.aws.hooks.chime.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Chime

Amazon CloudFormation

操作符

airflow.providers.amazon.aws.operators.cloud_formation.

钩子

airflow.providers.amazon.aws.hooks.cloud_formation.

传感器

airflow.providers.amazon.aws.sensors.cloud_formation.

指南

AWS CloudFormation.

提供者

apache-airflow-providers-amazon

产品文档

Amazon CloudFormation

Amazon CloudWatch Logs

钩子

airflow.providers.amazon.aws.hooks.logs.

提供者

apache-airflow-providers-amazon

产品文档

Amazon CloudWatch Logs

Amazon Comprehend

操作符

airflow.providers.amazon.aws.operators.comprehend.

钩子

airflow.providers.amazon.aws.hooks.comprehend.

传感器

airflow.providers.amazon.aws.sensors.comprehend.

指南

Amazon Comprehend.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Comprehend

Amazon DataSync

操作符

airflow.providers.amazon.aws.operators.datasync.

钩子

airflow.providers.amazon.aws.hooks.datasync.

指南

AWS DataSync.

提供者

apache-airflow-providers-amazon

产品文档

Amazon DataSync

Amazon DynamoDB

钩子

airflow.providers.amazon.aws.hooks.dynamodb.

传感器

airflow.providers.amazon.aws.sensors.dynamodb.

指南

Amazon DynamoDB.

提供者

apache-airflow-providers-amazon

产品文档

Amazon DynamoDB

Amazon EC2

操作符

airflow.providers.amazon.aws.operators.ec2.

钩子

airflow.providers.amazon.aws.hooks.ec2.

传感器

airflow.providers.amazon.aws.sensors.ec2.

指南

Amazon Elastic Compute Cloud (EC2).

提供者

apache-airflow-providers-amazon

产品文档

Amazon EC2

Amazon ECS

操作符

airflow.providers.amazon.aws.operators.ecs.

钩子

airflow.providers.amazon.aws.hooks.ecs.

传感器

airflow.providers.amazon.aws.sensors.ecs.

提供者

apache-airflow-providers-amazon

产品文档

Amazon ECS

Amazon Elastic Container Registry (ECR)

钩子

airflow.providers.amazon.aws.hooks.ecr.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Elastic Container Registry (ECR)

Amazon Elastic Kubernetes Service (EKS)

操作符

airflow.providers.amazon.aws.operators.eks.

钩子

airflow.providers.amazon.aws.hooks.eks.

传感器

airflow.providers.amazon.aws.sensors.eks.

指南

Amazon Elastic Kubernetes Service (EKS).

提供者

apache-airflow-providers-amazon

产品文档

Amazon Elastic Kubernetes Service (EKS)

Amazon ElastiCache

钩子

airflow.providers.amazon.aws.hooks.elasticache_replication_group.

提供者

apache-airflow-providers-amazon

产品文档

Amazon ElastiCache

Amazon EMR

操作符

airflow.providers.amazon.aws.operators.emr.

钩子

airflow.providers.amazon.aws.hooks.emr.

传感器

airflow.providers.amazon.aws.sensors.emr.

指南

Amazon EMR.

提供者

apache-airflow-providers-amazon

产品文档

Amazon EMR

Amazon EMR on EKS

操作符

airflow.providers.amazon.aws.operators.emr.

钩子

airflow.providers.amazon.aws.hooks.emr.

传感器

airflow.providers.amazon.aws.sensors.emr.

指南

Amazon EMR on Amazon EKS.

提供者

apache-airflow-providers-amazon

产品文档

Amazon EMR on EKS

Amazon EventBridge

操作符

airflow.providers.amazon.aws.operators.eventbridge.

钩子

airflow.providers.amazon.aws.hooks.eventbridge.

指南

Amazon EventBridge.

提供者

apache-airflow-providers-amazon

产品文档

Amazon EventBridge

Amazon Glacier

操作符

airflow.providers.amazon.aws.operators.glacier.

钩子

airflow.providers.amazon.aws.hooks.glacier.

传感器

airflow.providers.amazon.aws.sensors.glacier.

指南

Amazon S3 Glacier.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Glacier

Amazon Kinesis Data Firehose

钩子

airflow.providers.amazon.aws.hooks.kinesis.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Kinesis Data Firehose

Amazon Neptune

操作符

airflow.providers.amazon.aws.operators.neptune.

钩子

airflow.providers.amazon.aws.hooks.neptune.

指南

Amazon Neptune.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Neptune

Amazon OpenSearch Serverless

钩子

airflow.providers.amazon.aws.hooks.opensearch_serverless.

传感器

airflow.providers.amazon.aws.sensors.opensearch_serverless.

指南

Amazon OpenSearch Serverless.

提供者

apache-airflow-providers-amazon

产品文档

Amazon OpenSearch Serverless

Amazon QuickSight

操作符

airflow.providers.amazon.aws.operators.quicksight.

钩子

airflow.providers.amazon.aws.hooks.quicksight.

传感器

airflow.providers.amazon.aws.sensors.quicksight.

指南

Amazon QuickSight.

提供者

apache-airflow-providers-amazon

产品文档

Amazon QuickSight

Amazon RDS

操作符

airflow.providers.amazon.aws.operators.rds.

钩子

airflow.providers.amazon.aws.hooks.rds.

传感器

airflow.providers.amazon.aws.sensors.rds.

指南

Amazon Relational Database Service (RDS).

提供者

apache-airflow-providers-amazon

产品文档

Amazon RDS

Amazon Redshift

操作符

airflow.providers.amazon.aws.operators.redshift_cluster, airflow.providers.amazon.aws.operators.redshift_data

钩子

airflow.providers.amazon.aws.hooks.redshift_sql, airflow.providers.amazon.aws.hooks.redshift_cluster, airflow.providers.amazon.aws.hooks.redshift_data

传感器

airflow.providers.amazon.aws.sensors.redshift_cluster.

指南

Amazon Redshift SQL, Amazon Redshift (集群)

提供者

apache-airflow-providers-amazon

产品文档

Amazon Redshift

Amazon SageMaker

操作符

airflow.providers.amazon.aws.operators.sagemaker.

钩子

airflow.providers.amazon.aws.hooks.sagemaker.

传感器

airflow.providers.amazon.aws.sensors.sagemaker.

指南

Amazon SageMaker.

提供者

apache-airflow-providers-amazon

产品文档

Amazon SageMaker

Amazon SageMaker Unified Studio

操作符

airflow.providers.amazon.aws.operators.sagemaker_unified_studio.

钩子

airflow.providers.amazon.aws.hooks.sagemaker_unified_studio.

传感器

airflow.providers.amazon.aws.sensors.sagemaker_unified_studio.

指南

Amazon SageMaker Unified Studio.

提供者

apache-airflow-providers-amazon

产品文档

Amazon SageMaker Unified Studio

Amazon SecretsManager

钩子

airflow.providers.amazon.aws.hooks.secrets_manager.

提供者

apache-airflow-providers-amazon

产品文档

Amazon SecretsManager

Amazon Simple Email Service (SES)

钩子

airflow.providers.amazon.aws.hooks.ses.

指南

Amazon Elastic Container Service (ECS).

提供者

apache-airflow-providers-amazon

产品文档

Amazon Simple Email Service (SES)

Amazon Simple Notification Service (SNS)

操作符

airflow.providers.amazon.aws.operators.sns.

钩子

airflow.providers.amazon.aws.hooks.sns.

指南

Amazon Simple Notification Service (SNS).

提供者

apache-airflow-providers-amazon

产品文档

Amazon Simple Notification Service (SNS)

Amazon Simple Queue Service (SQS)

操作符

airflow.providers.amazon.aws.operators.sqs.

钩子

airflow.providers.amazon.aws.hooks.sqs.

传感器

airflow.providers.amazon.aws.sensors.sqs.

指南

Amazon Simple Queue Service (SQS).

提供者

apache-airflow-providers-amazon

产品文档

Amazon Simple Queue Service (SQS)

Amazon Simple Storage Service (S3)

操作符

airflow.providers.amazon.aws.operators.s3.

钩子

airflow.providers.amazon.aws.hooks.s3.

传感器

airflow.providers.amazon.aws.sensors.s3.

指南

Amazon S3.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Simple Storage Service (S3)

Amazon Systems Manager (SSM)

钩子

airflow.providers.amazon.aws.hooks.ssm.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Systems Manager (SSM)

Amazon Verified Permissions

钩子

airflow.providers.amazon.aws.hooks.verified_permissions.

提供者

apache-airflow-providers-amazon

产品文档

Amazon Verified Permissions

Amazon Web Services

操作符

airflow.providers.amazon.aws.operators.base_aws.

钩子

airflow.providers.amazon.aws.hooks.base_aws.

传感器

airflow.providers.amazon.aws.sensors.base_aws.

提供者

apache-airflow-providers-amazon

产品文档

亚马逊网络服务

AWS Batch

操作符

airflow.providers.amazon.aws.operators.batch.

钩子

airflow.providers.amazon.aws.hooks.batch_client, airflow.providers.amazon.aws.hooks.batch_waiters

传感器

airflow.providers.amazon.aws.sensors.batch.

指南

AWS Batch.

提供者

apache-airflow-providers-amazon

产品文档

AWS Batch

AWS Database Migration Service

操作符

airflow.providers.amazon.aws.operators.dms.

钩子

airflow.providers.amazon.aws.hooks.dms.

传感器

airflow.providers.amazon.aws.sensors.dms.

指南

AWS Database Migration Service (DMS).

提供者

apache-airflow-providers-amazon

产品文档

AWS Database Migration Service

AWS Glue

操作符

airflow.providers.amazon.aws.operators.glue, airflow.providers.amazon.aws.operators.glue_crawler

钩子

airflow.providers.amazon.aws.hooks.glue, airflow.providers.amazon.aws.hooks.glue_crawler, airflow.providers.amazon.aws.hooks.glue_catalog

传感器

airflow.providers.amazon.aws.sensors.glue, airflow.providers.amazon.aws.sensors.glue_crawler, airflow.providers.amazon.aws.sensors.glue_catalog_partition

指南

AWS Glue.

提供者

apache-airflow-providers-amazon

产品文档

AWS Glue

AWS Glue DataBrew

操作符

airflow.providers.amazon.aws.operators.glue_databrew.

钩子

airflow.providers.amazon.aws.hooks.glue_databrew.

指南

AWS Glue DataBrew.

提供者

apache-airflow-providers-amazon

产品文档

AWS Glue DataBrew

AWS Lambda

操作符

airflow.providers.amazon.aws.operators.lambda_function.

钩子

airflow.providers.amazon.aws.hooks.lambda_function.

传感器

airflow.providers.amazon.aws.sensors.lambda_function.

指南

AWS Lambda.

提供者

apache-airflow-providers-amazon

产品文档

AWS Lambda

AWS Security Token Service (STS)

钩子

airflow.providers.amazon.aws.hooks.sts.

提供者

apache-airflow-providers-amazon

产品文档

AWS Security Token Service (STS)

AWS Step Functions

操作符

airflow.providers.amazon.aws.operators.step_function.

钩子

airflow.providers.amazon.aws.hooks.step_function.

传感器

airflow.providers.amazon.aws.sensors.step_function.

指南

AWS Step Functions.

提供者

apache-airflow-providers-amazon

产品文档

AWS Step Functions

传输

这些集成允许您在亚马逊网络服务之间传输数据。

Amazon DynamoDB 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Amazon DynamoDB

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

Amazon DynamoDB 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.dynamodb_to_s3

提供者

apache-airflow-providers-amazon

Google Cloud Storage (GCS) 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Google Cloud Storage (GCS)

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

Google Cloud Storage 到 Amazon S3 传输操作符

Python API

airflow.providers.amazon.aws.transfers.gcs_to_s3

提供者

apache-airflow-providers-amazon

Amazon Glacier 到 Google Cloud Storage (GCS) 的传输

源产品文档

Amazon Glacier

目标产品文档

Google Cloud Storage (GCS)

操作符指南

Amazon S3 Glacier 到 GCS

Python API

airflow.providers.amazon.aws.transfers.glacier_to_gcs

提供者

apache-airflow-providers-amazon

Google 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Google

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

Google API 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.google_api_to_s3

提供者

apache-airflow-providers-amazon

Apache Hive 到 Amazon DynamoDB 的传输

源产品文档

Apache Hive

目标产品文档

Amazon DynamoDB

操作符指南

Apache Hive 到 Amazon DynamoDB

Python API

airflow.providers.amazon.aws.transfers.hive_to_dynamodb

提供者

apache-airflow-providers-amazon

超文本传输协议 (HTTP) 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

超文本传输协议 (HTTP)

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

HTTP 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.http_to_s3

提供者

apache-airflow-providers-amazon

互联网消息访问协议 (IMAP) 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

互联网消息访问协议 (IMAP)

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

IMAP 附件到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.imap_attachment_to_s3

提供者

apache-airflow-providers-amazon

MongoDB 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

MongoDB

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

MongoDB 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.mongo_to_s3

提供者

apache-airflow-providers-amazon

Amazon Redshift 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Amazon Redshift

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

Amazon Redshift 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.redshift_to_s3

提供者

apache-airflow-providers-amazon

Amazon Simple Storage Service (S3) 到 Amazon Redshift 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Amazon Redshift

操作符指南

Amazon S3 到 Amazon Redshift

Python API

airflow.providers.amazon.aws.transfers.s3_to_redshift

提供者

apache-airflow-providers-amazon

Amazon Simple Storage Service (S3) 到 SSH 文件传输协议 (SFTP) 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

SSH 文件传输协议 (SFTP)

操作符指南

Amazon S3 到 SFTP

Python API

airflow.providers.amazon.aws.transfers.s3_to_sftp

提供者

apache-airflow-providers-amazon

SSH 文件传输协议 (SFTP) 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

SSH 文件传输协议 (SFTP)

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

SFTP 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.sftp_to_s3

提供者

apache-airflow-providers-amazon

Amazon Simple Storage Service (S3) 到文件传输协议 (FTP) 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

文件传输协议 (FTP)

操作符指南

Amazon S3 到 FTP

Python API

airflow.providers.amazon.aws.transfers.s3_to_ftp

提供者

apache-airflow-providers-amazon

Exasol 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Exasol

目标产品文档

Amazon Simple Storage Service (S3)

Python API

airflow.providers.amazon.aws.transfers.exasol_to_s3

提供者

apache-airflow-providers-amazon

文件传输协议 (FTP) 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

文件传输协议 (FTP)

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

FTP 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.ftp_to_s3

提供者

apache-airflow-providers-amazon

Salesforce 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Salesforce

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

Salesforce 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.salesforce_to_s3

提供者

apache-airflow-providers-amazon

本地到 Amazon Simple Storage Service (S3) 的传输

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

本地文件系统到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.local_to_s3

提供者

apache-airflow-providers-amazon

通用 SQL 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

通用 SQL

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

SQL 到 Amazon S3

Python API

airflow.providers.amazon.aws.transfers.sql_to_s3

提供者

apache-airflow-providers-amazon

Amazon Simple Storage Service (S3) 到通用 SQL 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

通用 SQL

操作符指南

Amazon S3 到 SQL

Python API

airflow.providers.amazon.aws.transfers.s3_to_sql

提供者

apache-airflow-providers-amazon

亚马逊网络服务到亚马逊网络服务的传输

源产品文档

亚马逊网络服务

目标产品文档

亚马逊网络服务

Python API

airflow.providers.amazon.aws.transfers.base

提供者

apache-airflow-providers-amazon

Microsoft Azure Blob Storage 到 Amazon Simple Storage Service (S3) 的传输

源产品文档

Microsoft Azure Blob Storage

目标产品文档

Amazon Simple Storage Service (S3)

操作符指南

Azure Blob Storage 到 Amazon S3 传输操作符

Python API

airflow.providers.amazon.aws.transfers.azure_blob_to_s3

提供者

apache-airflow-providers-amazon

Amazon Simple Storage Service (S3) 到 Amazon DynamoDB 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Amazon DynamoDB

操作符指南

Amazon S3 到 DynamoDB

Python API

airflow.providers.amazon.aws.transfers.s3_to_dynamodb

提供者

apache-airflow-providers-amazon

Amazon Simple Storage Service (S3) 到 Apache Hive 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Apache Hive

Python API

airflow.providers.apache.hive.transfers.s3_to_hive

提供者

apache-airflow-providers-apache-hive

Amazon Simple Storage Service (S3) 到 Google Cloud Storage (GCS) 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Google Cloud Storage (GCS)

操作符指南

将数据从 Amazon S3 传输到 Google Cloud Storage

Python API

airflow.providers.google.cloud.transfers.s3_to_gcs

提供者

apache-airflow-providers-google

Amazon Simple Storage Service (S3) 到 Microsoft Azure Blob Storage 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Microsoft Azure Blob Storage

操作符指南

Amazon S3 到 Azure Blob Storage 传输操作符

Python API

airflow.providers.microsoft.azure.transfers.s3_to_wasb

提供者

apache-airflow-providers-microsoft-azure

Amazon Simple Storage Service (S3) 到 MySQL 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

MySQL

Python API

airflow.providers.mysql.transfers.s3_to_mysql

提供者

apache-airflow-providers-mysql

Amazon Simple Storage Service (S3) 到 Snowflake 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Snowflake

操作符指南

CopyFromExternalStageToSnowflakeOperator

Python API

airflow.providers.snowflake.transfers.copy_into_snowflake

提供者

apache-airflow-providers-snowflake

Amazon Simple Storage Service (S3) 到 Teradata 的传输

源产品文档

Amazon Simple Storage Service (S3)

目标产品文档

Teradata

操作符指南

S3ToTeradataOperator

Python API

airflow.providers.teradata.transfers.s3_to_teradata

提供者

apache-airflow-providers-teradata

此条目是否有帮助?