マルチメディア技術

要点と定義

マルチメディアは、文字、音声、静止画、動画など複数のメディアをデジタル情報として扱い、統合する考え方である。各メディアはそれぞれの特性に応じた方法で表現・処理される。

ラスター画像は画素の集合で画像を表し、ベクター画像は線や図形などの要素で画像を表す。アウトラインフォントは文字の輪郭情報から字形を描画する。音声の標本化は、連続的な音声信号を一定間隔で測定してデジタル化する処理である。動画は連続するフレームで表され、フレームレートは単位時間当たりのフレーム数を示す。

適用条件と例

ラスター画像では、画素を行ごとに並べて記録する方式なら、座標（x，y）の画素位置は y×横幅＋x で求められる。1画素が16ビットなら、必要な先頭アドレスはこの位置に2バイトを掛けて求める。ベクター画像は図形を幾何的な要素として表すため、拡大縮小を伴う用途に適する。アウトラインフォントも文字の輪郭情報から描画するため、倍率を変えて表示しやすい。

音声を標本化するとき、最高周波数が20 kHzなら、標本化周波数は少なくとも40 kHz必要であり、そのときの周期は最大25マイクロ秒となる。標本化後のデータ量は、標本化周波数、量子化ビット数、音声チャネル数、時間から見積もる。

非圧縮動画のデータ率は、横画素数×縦画素数×1画素当たりのビット数×毎秒のフレーム数で求める。例えば800×600画素、24ビットカラー、毎秒30フレームでは345,600,000ビット／秒、約345.6 Mビット／秒となる。実際の配信では圧縮などによりデータ率が変わる。

仮想空間の情報から画面に表示する画像を生成する処理がレンダリングである。画像生成の手法には、光線の追跡や面どうしの光の反射を考慮するものがあるが、これらは画像処理の適用例として扱う。

レイトレーシングは、画素ごとに視点から光線を追跡し、物体との交点を調べて画像を生成する手法である。反射や透明などの性質も計算に含めることがある。

レンダリングは、仮想空間の形状や状態などの情報を、画面に表示できる画像へ変換する処理である。

ラジオシティ法は、拡散反射する面どうしの相互反射を考慮して、面の明るさを求める画像生成手法である。適用例として押さえ、マルチメディアの各メディア表現やデータ量の説明とは区別する。

圧縮を行わない動画のデータ率は、1フレームの画素数、1画素当たりのビット数、毎秒のフレーム数の積で求める。800×600画素、24ビットカラー、毎秒30フレームの場合は345,600,000ビット／秒、約345.6 Mビット／秒となる。

アウトラインフォントは文字の輪郭情報から描画するため、任意の倍率への拡大縮小に適している。画素を記録するビットマップフォントは拡大時に輪郭が粗くなりやすい。

標本化では、信号の最高周波数の2倍以上の標本化周波数が必要となる。最高周波数が20 kHzなら最低40 kHzであり、その逆数である標本化周期は最大25マイクロ秒である。