AWS 分析 – Amazon Managed Workflows for Apache Airflow (Amazon MWAA)

2024年12月18日

Amazon MWAA は、Apache Airflow を完全マネージド型で提供し、ワークフローのオーケストレーションを簡素化し、スケーラブルで信頼性の高いデータパイプラインの構築をサポートします。

概要

Amazon Managed Workflows for Apache Airflow (Amazon MWAA) は、オープンソースの Apache Airflow を利用したワークフロー管理を AWS 上で簡単に実現するマネージドサービスです。データパイプラインのスケジューリングや監視を一元的に管理できるため、運用負担を軽減しながら高度なデータ処理を実現できます。

主な特徴

完全マネージド型: Airflow 環境のセットアップ、管理、スケーリングが不要。
シームレスな統合: S3、Redshift、Glue、Lambda、DynamoDB などの AWS サービスとの簡単な連携。
セキュリティ: IAM ポリシーによるアクセス制御、VPC サポートで安全な環境を提供。
スケーラビリティ: ワークフローの実行規模に応じて自動スケーリング。
オープンソースの柔軟性: Apache Airflow のオープンソースエコシステムをそのまま利用可能。

構成要素

DAG (Directed Acyclic Graph): ワークフローのタスクとその依存関係を定義する Python ファイル。
タスクオペレーター: Glue のジョブ起動、Redshift のクエリ実行、S3 データ転送などの具体的なアクション。
スケジューラ: DAG を解析してタスクを実行。
Web UI: ワークフローの監視と管理を行うインターフェース。
ログ: CloudWatch Logs に記録される詳細な実行データ。

活用シナリオ

ETL パイプライン: S3 に格納されたデータを加工し、Redshift や Snowflake にロード。
データサイエンスワークフロー: 機械学習モデルのトレーニングや予測タスクのスケジューリング。
データ転送: クロスリージョンやハイブリッドクラウド環境間でのデータ移動。
モニタリングと通知: 定期的なデータチェックやエラー発生時のアラート。

設定手順

Amazon MWAA 環境の作成:
- AWS Management Console にて MWAA 環境を作成。
- 環境名、Airflow バージョン、DAG ファイルの S3 パスを指定。
IAM ロールの設定:
- 必要なサービスアクセスを許可する IAM ロールを作成。
- IAM ロールを MWAA 環境にアタッチ。
DAG ファイルのアップロード:
- S3 バケットに Python ファイルをアップロード。
環境設定の確認:
- VPC 設定やセキュリティグループを確認。
ワークフローの実行:
- Airflow の Web UI にアクセスして DAG を有効化し、実行。