AWSのGlueのPythonでhello worldを行うサンプルです。
目次
| AWS | Glueとは |
| ジョブを作成する | |
| ジョブを実行する | |
| 再度ジョブを実行する |
Glueとは
AWSのGlueは、ETL(Extract, Transform, Load)サービスの機能を持っています。
ETLとは、異なるデータソースからデータを抽出して変換し、別のデータストアにロードします。
Amazon S3やRDS、Redshift、DynamoDBなど、様々なデータソースにアクセスでき、異なる形式のデータ(CSV、JSON)も処理できます。
ビッグデータの処理やデータウェアハウスの構築など、データ関連の課題を解決するために設計されたサービスです。
ジョブを作成する
１．検索入力欄で「Glue」と入力し、表示された「Glue」をクリックします。
２．「ETL jobs」をクリックします。
３．「Python Shell script editor」にチェックを入れ、Optionsでは、「Create a new script with boilerplate code」をチェックし右上にある「Create」をクリックします。
４．ジョブ名を入力します。(test-hello)
Scriptのタブをクリックし、コードを入力します。
コード
import sys
print("hello world")
５．Job detailsをクリックします。
６．IAM Roleはそのままで大丈夫です。Pythonはバージョンを選択できます。
７．Advanced propertiesをクリックしてファイル名を入力します。(test-hello.py)
８．Saveボタンをクリックします。
９．問題ない場合Runボタンが押せるようになります。
ジョブを実行する
１．画面右側のRunボタンをクリックします。
２．Runsタブをクリックします。ジョブが成功するとRun statusがSucceededになります。
３．右下にある「Output logs」をクリックします。
４．hello worldの文字が表示されます。
再度ジョブを実行する
１．「ETL jobs」をクリックします。
２．ジョブにチェックを入れ、右にある「Run job」をクリックすると再度ジョブが実行されます。
関連の記事