(2016.3.3 追記しました)
本記事は2月14日に開催されたインタラクティブミュージック勉強会の概要を記録する目的で作成されています。開催に関する詳細な情報については下記WEBサイトをご覧下さい。
facebook（公開グループ/誰でも参加可能） https://www.facebook.com/groups/im.laboratory/ Twitter https://twitter.com/IM_Laboratory/ InteractiveMusicLaboratory http://im-laboratory.tumblr.com/
Wwise インタラクティブミュージックプレゼンテーション
講演者：Audiokinetic株式会社 田島政朋様
ゲームでのWwise（ワイズ）で実現可能なインタラクティブミュージックとは？
本日のアジェンダは以下の通りです。
・WwiseとIM
・WwiseにおけるIMの手法
・コンテンツ制作から実装
・UE4とWwiseのIMデモ
ゲームにおけるIMとは？
田島氏はゲームの状況に合わせてBGMがシームレスに変化/進化していくものと定義しています。音楽の持つ「感情を高める効果」を効果的に用いることで、プレイヤーの没入感を高める目的で実装されるIM。映画では次の展開が分かっているため時間軸に沿った作曲が可能ですが、ゲームは「いつプレイヤーがどういった行動をするか」という展開の予測は不可能です。つまり、プレイヤーの操作（インプット）を考慮した作曲やサウンドデザインが重要となります。
こうした展開予測不能のインタラクティブ・コンテンツであるゲームのサウンドデザインを行うためには、Wwiseのような専用のミドルウェアが効果的となります。
WwiseにおけるIMの手法
まずは横手法、縦手法のインタラクティブミュージックが動画で紹介されました。
題材となったのは横スクロールのアクションゲームで、プレイヤー位置によってトラックをクロスフェードさせて音楽を切り替える手法、時間によってサウンドが変化する手法、ゴールした瞬間に音楽がキレイにストップして終止感を出すような手法などが挙げられています。
それぞれ、下記機能を元に実装されています。
1.スイッチコンテナ
2.プレーリストコンテナ
3.セグメント
Wise内ではIn-Game Musicが「Stealth」「Stress」「Fight」に大別され、これらをStates（ステート）と呼びます。StealthからFightに変わった時、FightからStressに変わった時など、これら「変わる」という部分をスイッチコンテナで制御（オーサリングツール上で設定）します。
横方向の手法
リアルタイムステムミックス
マルチレイヤーのボリュームコントロール
→ゲーム内のパラメーターを用いてステムをミックスしていく手法
先述のStates内にも数種類のステムが内包され、それぞれがリアルタイムにミックスされます。
参考記事：「ハノイの本」のサウンドデザイン概要 http://blog.nine-gates.com/?p=51 ※今後もこっそりとステマを挟んで行きます（多分）
縦方向の手法（Re-Sequencing）
2小節や4小節など短く区切った音楽を組み合わせて音楽を作っていく
※ちなみに縦、横は別の解釈があり、俗に言うブロック再生などを横と呼ぶ場合もあるが、Wwiseの場合はこれらが縦、横と認識して呼称しています
ブロック再生といえば、こういうのとか→VOXQUEST
コンテンツ制作から実装
続いてはSteinberg Nuendoを用いたデモンストレーション。Nuendoはもともと映像作品のMAに適したDAWでしたが、最新バージョンよりWwiseとの連携（Game Audio Connect）が実装され、現在ではゲーム業界でも大きな注目を集めています。
参考記事： 【CEDEC 2015】『ベヨネッタ2』におけるインタラクティブミュージック～プラチナゲームズ流のWwise活用法 http://www.gamebusiness.jp/article/2015/09/10/11397.html
Nuendoのプロジェクト画面にはAmbientやBass、Drumsなどの複数のステムトラックが展開され、Stealthの音楽を構築しています。
「AmbientとBassだけ鳴らしたい」「Ambientの音楽を流したまま徐々にDrumsの音量をオートメーションで上げて行きたい」といった、DAW上では簡単な作業も、インゲームで行うのはプログラマーの方はなかなか大変。
Game Audio Connectを用いてNuendoのプロジェクトファイルから4つのステムファイルをWwiseに読み込み、RealTime Paramater Control(RTPC)という設定項目で操作して行きます。
Y軸に各ステムのボリューム、X軸にゲームパラメータ(今回の場合はGame Stealth Factor)を設定すれば、インゲームでもDAWで行ったような有機的なミックスが可能となります。同様に縦軸の手法としても、Entry CueとPost Cueなどをステムごとに指定してWwise上で制御可能です。
Stateが変わった時にどう音楽が変わっていくのか？Source(移り変わる元)からDestination(移り変わった先)のそれぞれの項目で設定可能です。移り変わるタイミングはCueなのかBarなのか？Post Exitを再生するのか？また、移り変わった先でシンクさせるのはどの部分なのか？など。
また、必ずしもキレイに繋がる訳ではないが、”Transition Segment”を繋ぎに使う事によって隙間を埋めて次のStatesに移り変わるという設定も可能です。
これまではこういった複雑な処理を全て「プログラマーさんにお願いする」形でしかサウンドクリエイターが実機で確認する方法はありませんでした。しかし、Wwise上で詳細に設定が可能になったお陰で、早いタイミングでシミュレーションが可能となりました。
UE4とWwiseのIMデモ
続いてはUE上でのFPS形式のゲームを題材にしてデモンストレーションが行われました。
扉に近づいたら音楽が鳴り始める、扉が開いて中に入ったら音楽が展開する、スイッチに乗って、スイッチが下まで下り切った段階でStatesが変化して音楽が変化する、などを非常に簡単に実装可能です。
また、ここまでの流れをプログラマーではなくサウンドクリエイター側が全て実装しているため、これまで困難だった有機的な音楽の変化の実験をクリエイター自らが行う事が出来るようになりました。このことから、よりクリエイティブな作品制作が行えるのではないかと感じます。
「Sync FX」ビート同期エフェクター BEATWIZだから実現できる次世代のDSPエフェクト技術とゲームへの活用法
講演者：株式会社 CRI・ミドルウェア 増野 宏之様
いきなりですが、 CEDEC2016講演者募集中！応募締切は4月3日、開催日時は8月24日〜26日！ ということで、宜しくお願いいたします。 >> http://cedec.cesa.or.jp/2016/koubo/
講演に先立ち、最初はBEATWIZ用語集の紹介がありました。
BPM：音楽の早さを表す数値
MBT（Meas:Beat:Tick＝小節、拍、チック）：4拍子の曲の場合は1M＝4B
→BEATWIZの分解能は960なので、1Bは960チックとなります
さっそく講演内容の方に入って行きましょう。
そもそもBEATWIZとは？
wavやmp3などの音楽ファイルを入力すると、「いいもの」が出てくるソフトウェア。
いいものというのは具体的にはBPMや拍など様々ですが、BEATWIZはこの楽曲分析を行うミドルウェアのことを指します。
BEATWIZで得られる情報は、BPM値（分析範囲は60~240bpm、最大制度は0.01bpm単位）、拍子数と1拍目の正確な時刻（3拍子か4拍子か？を判別可能、1拍目の平均誤差は僅かに8サンプル）、音楽の盛り上がり情報の定量化および視覚化など。小節単位の盛り上がりをサビの検出、16〜64部音符単位の盛り上がりでフレーズ解析を行うことも可能です。
また、MABPF（適応型バンドパスフィルター）を用いてバスドラムやスネア、ハイハットなどの特定の打楽器の発音タイミングを追跡＋抽出することも可能です。
加えてマイク入力などからのストリーム（リアルタイム）BPM解析も可能で、BPM値だけでなく拍のタイミングなども正確に補足することが可能です。さらにこれらがPCでは3〜4%程度の処理不可で、iOS/Android組み込み機器でも軽快に動作するということです。
BEATWIZの特徴は、「超高速＋超高精度＋ローカル分析」。
1〜2世代前の PCで原曲1分あたり0.1秒未満で、ローカル側で分析するため分析時の著作権上の問題もありません。
楽曲解析から音ゲー譜面作成まで、一瞬で完結。任意の音楽を用いた音楽ゲームの制作も、あっという間に可能ということです。これまでは曲の情報を確認しながらエクセル片手に頑張る場合も多かったですが、かなり実用度の高い機能です。
このような多機能さからか、BEATWIZのバージョンはBeta 30.0とのことです。社内でもBeta 29.2までしか誰も知らないらしく、何と言うかいろいろとブッ飛んだスペックです。すげえ…。
BEATWIZ機能紹介のデモンストレーション
説明の後はBEATWIZの実機デモが行われました。
3つのCDからリッピングされたwavファイルを、1秒以内に全て解析しています。
曲のBPM情報だけでなく、盛り上がりの情報などもキレイにビジュアライズされ、また盛り上がり情報に合わせて3Dモデルの女の子が13段階のダンスを披露してくれるなど、デザイン部分も非常に優れています。
諸々の情報はcsv出力可能。リアルタイム解析のスピードはかなりのもので、デモンストレーション内ではファイルをループバックでBEATWIZに戻し、その解析を行うといった内容も公開されましたが、ひょっとしてズルをしているのでは？と疑われるほど、遅延などが見受けられません。
Sync-FXとは？
続いてはBEATWIZで解析したBPM情報をDSPエフェクターを制御するSync-FXの紹介が行われました。あらかじめSync-FX側でシーケンスを作成し、保存すると、あとは勝手にシステムがやってくれるという仕組みです。
エフェクトパターンを作成し保存、それらを小節ごとに割り当てるといったことも可能で（今日の朝作ったとか…。）、一小節ごとや小節ごとにエフェクターが掛かって行きます。Step-Filterのようなイメージですが、これを自動解析で行っているというのが震えます。
今後の展望
UIをかっこよくする！
→ボタンがぐるぐる回っちゃって良く分からないUI、かっこよさ重視
→クラシックUIの方が100倍は使いやすい
オマケでシューティングゲームがついてくる！（！？）
→音楽が同期して弾が飛んで来るなど、音声解析を使ったデモゲームのような位置付け
今後のロードマップですが、UnityプラグインについてはPC/Mac版は完成、iOS/Androidは開発中とのこと。また、今回デモのあったダンスゲームの完全版をGDC2016に出展見込みで、Sync-FXも1ー2週間前後で別途提供予定となります。
今後はボーカル曲のボーカル分離や音声の音程、母音の抽出ができるようなシステムも作成予定とのことです。DJやVJなどの業界にも突撃するかも知れないとの事で、今から期待が高まります。
「インタラクション×ミュージック、研究×表現」
明治大学 教授 宮下芳明 様
つまみとスライダーが大好きで音楽やソフトウェアを作っていたら教授になっていた同氏の研究室。
コンテンツを受け取るメディアを深めていくと作るメディアとなる循環を大きく表現という枠組みで取り扱っています。
「Seek Ropes」
→シークバーを輪っかにしてみたらどうだろう？という発想から、サンプリングループを用いて楽曲制作を行う事が出来るようなシステムに転化
「DTS：Desktop Shodo（書道）」
→名書の「はらい」や「筆の掠れ」などをサンプリングして、自分で文字が書けるシステム
→書道家から様々な素材の提供を受け、現在はそれらを同梱して配布
最近はフィジカルコンテンツをメインに研究しており、3Dプリンタを15台も買ってしまいました。
Milbox Touch：
HMDインタフェースの自作、ハコスコの中に入ってしまったスマートフォンを箱の側部から触ってしまおうという仕組みで、SXSWイノベーションアワードのファイナリストにも選出されています。
「横断して共通点を見つける」
講演の展開が早すぎてついていくのが精一杯ですが、「音楽制作ソフトと映像制作ソフト」、「ドラムマシンとカレンダー」などの類似点を意識的に探すことで、クリエイティブな発想を得ていくような考え方の紹介がありました。
例えば、毛筆の物理シミュレーションは「リアルだけど使いにくい」、YAMAHA VL-1などの物理モデリング音源も「あんまり使えない…」という部分においては類似しており、シンセサイザーについては結局PCM音源が主流になったことから発想を得て「毛筆もサンプリングで行えばいいのではないか？」という発想が誕生。ここから、先ほど紹介があったサンプリング書道が制作されたとのことです。
「あらゆるもののどこにでも共通点が潜んでいる」ということを意識して物事を見てみると、より良い発想が生まれるかも知れません。
（時間/コンテンツ、創作履歴を利用したリミックス等々、その辺の話は早すぎて書けていません…）
「インターステラー、インセプションなどのインフォグラフィックスが、シーケンサに見える」
からの、インセプション・シーケンサー （＝各トラックごとの時間軸が異なるシーケンサー）
こうした事例からも、全く異なるモノから得た着想を別のモノに落とし込むことで「普通のループシーケンサーと違って何日再生していても飽きないシーケンサー」のような全く新しいコンテンツが生まれていることが分かります。
IMとは「不可逆、不可変になってしまった音楽を、再び柔軟なものにする」こと。
ABProの紹介
続いてはエクセルを使ったデモンストレーションが行われました。説明するまでもなく、エクセルは本来表計算のソフトですが、VBAのマクロを使ってみると…エクセルでピアノロールのシーケンサが作れたりします。
続いてメモ帳を256個起動して、メモ帳の開閉で映像を表現してみたり…「プログラミングによっては、普通のものが普通ではない挙動」をするものです。こうした普通ではない挙動のプログラムたちの発表の場として、ABProが紹介されました。
「ABPro」：http://abpro.jp 2007年研究室発足当初から行っている「普通じゃないプログラム発表会」 人を驚かせたり笑わせたり、幸せにするプログラムのお祭り
事例紹介：
USBメモリーをLEDとして利用したり、USBメモリーの抜き差しでシーケンサーを作ってみたり
流しそうめん音ゲー：そうめん射出機から音楽に合わせてそうめんが射出される つかんで食べる
なお、インタラクティブミュージック勉強に関する情報はこちら。
facebook（公開グループ/誰でも参加可能） https://www.facebook.com/groups/im.laboratory/ Twitter https://twitter.com/IM_Laboratory/ InteractiveMusicLaboratory http://im-laboratory.tumblr.com/ インタラクティブミュージック勉強会#4速報:http://blog.nine-gates.com/?p=84 個人的SIG-AUDIO#8 速報まとめ:http://blog.nine-gates.com/?p=450
One comment
Comments are closed.