音楽鑑賞においてVR 仮想空間が及ぼす影響に 関する研究

本研究は,音楽ストリーミングサービスの普及に伴い一般化した「ながら聴き」や「スキップ」といった視聴行動,特に,主要主題(サビ)に至るまでの展開が長く複雑なクラシック音楽において顕著となる序盤での視聴離脱という課題に対し,VR(仮想現実)技術を用いた新たな音楽鑑賞手法を提案し,その有効性を検証することを目的とする.提案手法は,聞き馴染みのない楽曲の展開部で失われがちな次の音を予測する自発的な知覚を,ユーザーの注意資源を占有する没入的な視聴覚情報と,身体性を伴う能動的なインタラクションによって補完し,楽曲への関心を維持することを目指す.

本研究で実装したシステムは,複数のクラシック楽曲(ホルスト『木星』,ロッシーニ『ウィリアム・テル』序曲など)に対応した,汎用的な音楽同期VR体験フレームワークである.システムは,Unityエンジンを中核とし,リアルタイム音響解析によって抽出された音楽的特徴量(ラウドネス,ビート,周波数分布)に基づき,3Dオブジェクトの生成・軌道・色彩といった視覚要素をプロシージャルに制御する.さらに,楽曲の物語構造に合わせて体験を複数の「幕(フェーズ)」として管理し,背景となるスカイボックスやプレイヤー自身の動きを劇的に変化させることで,音楽の物語性を直感的に体験させる.本システムの中心的要素として,ハンドトラッキングを利用した,指揮者インタラクションを実装した.これは,ユーザーの腕を振る速度が,音楽の音量や空間の輝度にリアルタイムに介在することを可能にする.このインタラクションは,ユーザーに自分が世界に影響を与えているという感覚を与え,受動的な鑑賞者から,音楽体験を共同で創造する能動的な参加者へと,その役割を転換させることを企図している.

本手法の有効性を検証するため,「音楽のみ」「音楽+同期映像(パッシブ視聴)」「音楽+同期映像+インタラクション(アクティブ視聴)」という3条件の比較実験を実施した.結果として「音楽のみ」の実験参加者は平均18.1\%の再生率に比べて,「音楽+同期映像(パッシブ視聴)」「音楽+同期映像+インタラクション(アクティブ視聴)」の2条件では楽曲の67\%以上の再生率を得ることができた.さらに,「実再生時間 - 実験参加者の体感視聴時間」を算出し,正の値が大きいほど時間が短く感じられたことを示す時間誤差から,「音楽のみ」の条件よりも「音楽+同期映像(パッシブ視聴)」「音楽+同期映像+インタラクション(アクティブ視聴)」の2条件でより時間が短く感じられた結果を得た.