データサービス

一般

IFS データ サービスは、以下の主なサービスの組み合わせです。

データ サービスを使用すると、データ レイクからデータを取得し、データ レイクにデータをアップロードおよび処理し、指定した場所に保存または書き戻すことができます。これらはマルチテナント サービスです。データ サービス関連の機能は、 Nexus Shared Services プラットフォームに依存します。

背景情報

1) データ レイク

データ サービスの主なデータ ストアは、データ レイク (ADLS Gen 2) になります。このデータ レイクは、さまざまな要件 (分析ベースのソリューション、インデックス作成用のドキュメント) に基づいてデータを保持します。生データはデータ レイクに取り込まれ、変換を経て最終レイヤーに移動され、 IFS Cloud に書き戻すために使用できます。

2) データ ポンプ

データ ポンプ は実際のデータの移動と Parquet ファイルの生成を実行します。Oracle データベースからデータを読み取ります。作成された Parquet ファイルは、 データ レイク サービスに送信され、その後、特定のデータ レイクに送信されます。

3) データ レイク サービス

データ レイク サービスを使用して、データ ファイルを データ レイク にアップロードできます。このサービスは、データ レイク (ADLS Gen 2) の実際の実装を抽象化します。

4) データ パイプライン サービス

データ パイプライン サービスは、複数のスクリプトをオーケストレーションできるデータ パイプライン (ワークフロー) を開始するために使用されます。データ レイクの接続詳細はワークフローに送信され、ワー​​クフローはその詳細をスクリプトに送信するため、スクリプトにはデータ レイクにアクセスするための情報が含まれます。

5) ワークフロー

データ サービスは、ワークフローを使用してスクリプトの実行フローを調整します。

6) ワークロード ジョブ

IFS Cloud Web のワークロード ジョブ ページを使用して、データ パイプライン サービスを介してパイプラインを開始できます。ワークロード ジョブは、 Parquet データソース (データ) とワークフロー (アクション) の組合わせです。

IFS Cloud Web で利用できるその他の機能は次のとおりです。