airflow.providers.amazon.aws.links.emr

类

EmrClusterLink

用于构建 Amazon EMR Cluster Link 的辅助类。

EmrLogsLink

用于构建 Amazon EMR Logs Link 的辅助类。

EmrServerlessLogsLink

用于构建 Amazon EMR Serverless 到 Spark stdout 日志链接的辅助类。

EmrServerlessDashboardLink

用于构建 Amazon EMR Serverless Dashboard Link 的辅助类。

EmrServerlessS3LogsLink

用于构建 Amazon EMR Serverless 日志到 S3 控制台链接的辅助类。

EmrServerlessCloudWatchLogsLink

用于构建 Amazon EMR Serverless 日志到 CloudWatch 控制台链接的辅助类。

函数

get_serverless_log_uri(*, s3_log_uri, application_id, ...)

检索 EMR Serverless 作业日志的 S3 URI。

get_serverless_dashboard_url(*[, aws_conn_id, ...])

检索 EMR Serverless 仪表盘的 URL。

get_log_uri(*[, cluster, emr_client, job_flow_id])

检索 EMR 作业日志的 S3 URI。

模块内容

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Cluster Link 的辅助类。

name = 'EMR Cluster'[source]

链接名称。这将是任务 UI 上的按钮名称。

key = 'emr_cluster'[source]
format_str = 'https://console.{aws_domain}/emr/home?region={region_name}#/clusterDetails/{job_flow_id}'[source]

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Logs Link 的辅助类。

name = 'EMR Cluster Logs'[source]

链接名称。这将是任务 UI 上的按钮名称。

key = 'emr_logs'[source]
format_str = 'https://console.{aws_domain}/s3/buckets/{log_uri}?region={region_name}&prefix={job_flow_id}/'[source]

格式化 AWS 服务链接。

某些 AWS 服务链接可能需要额外的转义，在这种情况下应覆盖此方法。

airflow.providers.amazon.aws.links.emr.get_serverless_log_uri(*, s3_log_uri, application_id, job_run_id)[source]

检索 EMR Serverless 作业日志的 S3 URI。

任何 EMR Serverless 作业都可能具有不同的 S3 日志记录位置（或无），该位置是 S3 URI。日志记录位置为 {s3_uri}/applications/{application_id}/jobs/{job_run_id}。

airflow.providers.amazon.aws.links.emr.get_serverless_dashboard_url(*, aws_conn_id=None, emr_serverless_client=None, application_id, job_run_id)[source]

检索 EMR Serverless 仪表盘的 URL。

此 URL 是一次性、临时链接，1 小时后过期且无需认证即可访问。

必须传入 AWS 连接 ID 或现有的 EMR Serverless 客户端。如果传入连接 ID，则使用该连接生成客户端。

airflow.providers.amazon.aws.links.emr.get_log_uri(*, cluster=None, emr_client=None, job_flow_id=None)[source]

检索 EMR 作业日志的 S3 URI。

需要 describe_cluster 调用的输出，或同时需要 EMR 客户端和 job_flow_id。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 到 Spark stdout 日志链接的辅助类。

name = 'Spark Driver stdout'[source]

链接名称。这将是任务 UI 上的按钮名称。

key = 'emr_serverless_logs'[source]

格式化 AWS 服务链接。

某些 AWS 服务链接可能需要额外的转义，在这种情况下应覆盖此方法。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless Dashboard Link 的辅助类。

name = 'EMR Serverless Dashboard'[source]

链接名称。这将是任务 UI 上的按钮名称。

key = 'emr_serverless_dashboard'[source]

格式化 AWS 服务链接。

某些 AWS 服务链接可能需要额外的转义，在这种情况下应覆盖此方法。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 日志到 S3 控制台链接的辅助类。

name = 'S3 Logs'[source]

链接名称。这将是任务 UI 上的按钮名称。

key = 'emr_serverless_s3_logs'[source]
format_str = 'https://console.{aws_domain}/s3/buckets/{bucket_name}?region={region_name}&prefix={prefix}/appli...[source]

格式化 AWS 服务链接。

某些 AWS 服务链接可能需要额外的转义，在这种情况下应覆盖此方法。

Bases: airflow.providers.amazon.aws.links.base_aws.BaseAwsLink

用于构建 Amazon EMR Serverless 日志到 CloudWatch 控制台链接的辅助类。

这是一个深层链接，可过滤特定作业运行。

name = 'CloudWatch Logs'[source]

链接名称。这将是任务 UI 上的按钮名称。

key = 'emr_serverless_cloudwatch_logs'[source]
format_str = 'https://console.{aws_domain}/cloudwatch/home?region={region_name}#logsV2:log-groups/log-group/{a...[source]

格式化 AWS 服务链接。

某些 AWS 服务链接可能需要额外的转义，在这种情况下应覆盖此方法。

此条目有帮助吗？