データベース応用

要点と定義

データベース応用では、蓄積したデータを分析に使う技術や、複数の場所に分けて処理する技術を理解します。データレイクは、後の用途に応じて加工できるよう、さまざまな形式のデータを元の形に近い状態で蓄積する考え方です。データウェアハウスやデータマートのように用途別に整理されたデータと、蓄積時点での形を区別します。

データレイクに蓄積したデータは、ETLやデータクレンジングなどで取り出し、変換・整理して利用できます。たとえば、記録の形式をそろえ、重複行を取り除いてから集計する処理が考えられます。ETLは抽出、変換、格納の流れを指す用語例です。

Apache Sparkは、分散処理フレームワークの用語例です。過去の出題で扱った補足として、SparkではRDDと呼ばれるデータ集合に変換処理を適用し、処理を分散実行できます。RDDをSparkの唯一の実行モデルとはみなしません。

ファクトデータベースはシラバスの用語例です。過去の出題で扱った補足として、スタースキーマではファクトテーブルに取引などの分析対象となる事実や数値を格納し、ディメンションテーブルの属性を分析の切り口にします。両者は役割が異なります。

ブロックチェーンに関するデータベース技術も、シラバスの用語例です。過去の出題で扱った補足として、ブロックが通常、直前ブロックのヘッダのハッシュ値を参照して連鎖する構造があります。これにより過去ブロックの改変を検出しやすくします。この値を、直前の各取引データを直接検証する値とは捉えません。

適用条件と例

連続して発生するイベントをあらかじめ決めた条件に照らし、合致したときに処理する方式は、過去の出題で扱った補足としてのCEP（複合イベント処理）です。たとえば、センサーのイベント列を監視し、設定条件に合うイベントやその組合せに応じて通知する用途が考えられます。これは提示されたシラバス細目に個別の用語として明記された知識ではなく、過去問由来の補足です。

JupyterLabは、過去の出題で扱った補足として、ノートブックなどでコードを対話的に編集・実行する環境です。分析コードを動かしながら結果を確認する用途に結び付きます。分散処理基盤やワークフロー管理ツールそのものではなく、提示されたシラバス細目に個別の用語として明記された知識でもありません。