現在CRIミドルウェアにお邪魔しています。
ちょうど今インタラクティブミュージック勉強会の全講演が終了したところです。
講演スライドも順次アップロードする予定ですが、メモ代わりのまとめを取り急ぎ制作しました。
もし気になるキーワードなどがあれば、是非インタラクティブミュージック研究会のFacebookやTwitterをチェックして頂けると幸いです。
facebook（公開グループ/誰でも参加可能） https://www.facebook.com/groups/im.laboratory/ Twitter https://twitter.com/IM_Laboratory/ InteractiveMusicLaboratory http://im-laboratory.tumblr.com/
インタラクティブミュージック勉強会#4簡易まとめ
作成者:@gula_sound
「インタラクティブミュージックの歴史 ちゃーりー感」
l CRIでできること
- 一言で言えば「低負荷」「音途切れがしない」
- 「低負荷」
² 圧縮する
l 192kHzより48kHz（4/1）
² 低ビットレート化
l 1411kbpsより（64〜172kbps）
- 「音途切れしないために」
² データ読込とオーディオ処理
l いろいろな環境でいろいろなトラブルが…
² あらゆる環境でのオーディオシステムの挙動の把握
- ミドルウェアに完成はない？→ツール、ランタイムの改善
l ADX 2新機能デモ
- プロジェクトツリーの改善
² 複数人数での作業の効率化
- 「ミュージックトランジションキュー」の追加
² 同じ長さのステレオの音楽ファイルを複数用意
² トラックにラベルを付けて管理
l サンプルレベルできっちり同期した状態で楽曲の切り替え可能
- しかし1voiceであるためリソースも確保
² ビート同期情報を登録する事で拍ごとの切り替えが可能
l 別トラックに移り変わった時に、ぴったり拍の頭で入れる
- フィールドから戦闘曲に移行する、みたいな時に便利
l インタラクティブミュージックの歴史（ちゃーりー感）
- 初期の音はピンボールの発射音などSEの延長
² しかし、音屋はみんなプログラムが打てるわけではない
² →プログラムレスで簡単に表現が出来るような言語に変化（MML）
- FM音源の登場、MIDI風制御
- 波形メモリーを再生するPCM音源の登場
² ファミコン時代のスポーツゲームや麻雀ゲームの掛け声などの再生
- スーパーファミコン時代から急にメモリ制限が緩くなったり
- CDからのストリーミング技術の誕生
² 読み込んでから鳴らす、だとCD分時間が掛かってしまうため
² ハード制限の割に容量に余裕があった為BGMや大量ボイスの投入
l 音屋さんが作った2MIXが直接鳴らせるようになった
- 転機①この時期、メインCPUの高速化により「音源チップがなくなる」！
² ここから悲しく辛いメモリ戦争が始まる
- ストリームの音量自動制御（＝ダッキング）
² 今でこそ当たり前だが、ストリームの音量制御は当時斬新でした
- ピカチュウげんきでちゅうやシーマンなど音声解析技術の発展
² 恋愛ゲームで入力した名前を呼んでくれたり
- 転機②（誰も望んでいないのに）いきなり5.1chが出てきた
² 同時発音数の緩和により映画的な演出が要求されるようになってきた
l 映像が綺麗になったため、音楽もそれに追従するように打ち込み感
満載のものからリアル路線に
² リアルタイムオーディオ処理技術の発展
l ピッチシフターやタイムストレッチなど
- 転機③携帯機が異常に売れるようになった
² 極めて少ない容量のため圧縮技術が必須に
l 携帯ゲーム機のみならずスマートフォンなどでゲームをする層も急増
l CRIファイルマジックPRO（ステマ）
- ダウンロードしながらストリーミング再生をしたり
² ユーザーにとっては当たり前のことも、実はかなりの技術を要している
l CRI REACTの功績
- プログラマーさんが忙しい時に音屋さんがヒマだったり
² 例えば音割れなどはSバグでないので対応してくれない
l 音屋さん側で音量調整などが出来るように！
- ラウドネスの誕生
l 転機④ゲームエンジンの登場
- 非プログラマがステキな音楽演出をするためには？
² 仕組みさえ考えてしまえばツールが補ってくれる時代
- そして未来は「BPM解析」や「楽曲解析」など
l まとめ
- 負荷、メモリ消費、開発期間の短期化、予算の小規模化…などなど、
「インタラクティブミュージック」まで頭が回らない経営陣にどうやって判子を押させるか？
このような開発の実情に合わせ、もっと手軽にプロトタイピングが出来るように、
CRIミドルウェアさんは日々超頑張っています
「なぜ誰も可変音楽を作らないのか byスミイ酸氏」
l コンピューターゲームと可変音楽
- ハードやインフラの問題はクリアされ、コンテンツの内容で勝負する時代
² インタラクティブに変化する音楽への注目が高まっている
- 楽曲はそもそも「可変」である／音楽の在り方の変化
² 口伝
l 厳密でないふわふわした伝え方
- 子守唄などのメロディは曖昧でもよい
² 記譜
l 伝えるのは正確になったが、演奏者によって「解釈の余地」がある
² 録音
l ここではじめて演奏が固定化される
² コンピューター
l 再び固定に戻るのでは？
² 変化の種類
l 人から人へ伝わるうちに解釈・改変されて変化する
l 同じ曲を時季や状況を変えて演奏すると変化する
l 同じ曲を時季や状況を変えて再生すると変化する
- ゲームの音楽を「可変」にすると何がいいの？
² アクション（行動）と音楽が同期する
l 環境や好みに適用できる
- 曲がTPOに合わせて空気を読んでくれたら素敵
l 次の展開が読めないライブ感
- ただのループ再生に比べて飽きにくい
² ループの不自然さをなくす
l 曲に奥行きが出る
- 5分の曲なら5分に収める必要があるが、可変音楽は複数のパースペクティブを内包出来る
² 100回目のループでも新しい発見を
² メディアの連鎖における可変音楽再生機の役割
l 音の混沌からインスパイアを受けた作曲家が曲を作り、演奏家が演奏し、エンジニアが録り、「可変再生機」を通りリスナーへと届く
- 音楽を可変させるとなんの意味があるのか？
² ①ドラマ（ストーリー）の緊張感と音楽の緊張感を合わせる演出
l 日常→深い話→事件→緊張・感情
- 音楽とストーリーの盛り上がりがシンクする事によってより体験が深まる
² ②ドラマ（ストーリー）の緊張感と音楽の緊張感を合わせない演出
l 盛り上がりのピークはズレてしまうが、制約がなくなるぶん楽曲のクオリティはこちらの方が高い場合が多い
² では、「いい曲」をもっと細かく切り分けて（＝フラグメント）ストーリーと合わせてしまえばいいのでは？
l ！可変音楽！
- ツールがないので手間のかかる可変音楽、なぜスミイ酸氏はこれを作るのか？
² 普通のリニアな音楽を飽きた
² 音楽世界を作って、みんなをその中で遊ばせたい
² 巨大建築物へのあこがれ
l 1曲5分で終わり、というものではなく蓄積する大作を作りたい
l 作曲家の懸念
² 俺の（作曲家の）意図が通じなくなるのではないか？
² 楽曲に起承転結がある場合、組み替えて可変にすると変になるのでは？
² 作曲家の伝えたい想いを可変で伝えるべく再構築する必要がある
l まだノウハウがないが、こちらのほうが「おもしろい」
l traumbaumでのアプローチ
- http://traumbaum.aframasda.com/
- トップダウン思考
- 音楽による架空の世界を構築したい
² 光景や人物の曲をひとつひとつ作って構築していく
l オープンワールド的な思考
- ボトムアップ思考
² 普通の音楽を拡張して奥行きを持たせたい
l おもちゃ屋的な思考
l traumbaumは全体で見るとトップダウン的思考だが、局所的に見るとボトムアップ的に作っている
- traumbaumのデザインについて
² 時間ではなく空間を埋めるもの
l 家具としてのエンドレス・アンビエント音楽
² 大規模（CDアルバムレベルの）な楽曲
l 5分尺の曲を可変しても面白くないが、大規模化すると質が変わる
- 全フラグメント（1744個）を聴くには1〜2週間も掛かる
² インタラクションの除外
l 曲の展開に手を加える事は出来ないが、一応終わりの設定は出来る
² システムの隠蔽
l リスナーに可変音楽であることを意識させない
l 有機的な楽曲構造：リスナーに仕組みがバレないように
² 拡張性・ボーダレス統合
l 修正、拡張、リアレンジ、派生作品、二次創作など全てを統合
- オープン化
- 苦労したこと・展望
² 楽譜に描けない！
² とにかく偏る（＝バタフライ・エフェクト）、そしてこれはアルゴリズムで処理すると音楽的にならないため手で修正している
- 今後は音楽空間を自由に移動できる（音楽への干渉、インタラクション）をさせたい、成長・進化する音楽を作りたい
「ゲームサウンドの機能とIM/AMの可能性
〜海外の研究事情をもとに〜 by伊藤彰教氏」
- インタラクティブミュージック
- ミドルウェアを利用して特殊なサウンドファイル形式を用いて組み合わせの変化でインタラクティビティを実現するモノ、という認識
ゲームをプレイするということは音楽をプレイすることと同じ、ゲームサウンド全てがひとつの音楽を奏でる
映画では味わえなかった、音楽が持つ初源的インタラクティビティをゲームが復活させる
- ここ１年くらいのゲームサウンドの変化
- ADX2LE の誕生
² インタラクティブミュージックをゲーム業界の人間でなくても試せる
² SuperColiderなどのクローンがiOSに出現
- 映画音楽には機能がある
- ゲームサウンドにも機能があるのではないか？
- 今日取り上げるのは「Karen Collins氏（Waterloo Univ）」
- ゲームサウンド研究者・サウンドデザイナ・アントレプレナー
² Veemix社CEOも兼任
² Gamesound(2008)
² Playing with Sound(2013)
l 文系／アート系の切り口
l インタラクションに関する理論研究
- 事例の1つとしてSecond Life
- この文献の7章Function of Game Audioをまとめてみた
- Game AudioはCinema Soundのすべての機能を踏襲しているし、踏襲すべき
- Game Audio特有のものもあれば、機能としては同じだが視聴者への働きかけが違うものがある
- メディアビジネス展開としてのサウンドはまたちょっと別の機能がある
- 洋ゲーの場合は現場再現が非常に重要
² ハリウッド映画のゲーム化の場合、シーン毎に原作の音楽を流す
² スポーツイベントをゲーム化する場合、その時来たアーティストの歌を流す
- ゲームと映画の音楽の比較検討で重要なポイント
- 学習曲線の緩和
² ゲームで学習すべきことはたくさんある
l 設定だったり操作だったり解決すべき事だったり…
l ネトゲなどは3ヶ月くらい放置すると完全に忘れいていたりする
- 音は「言語的理解」を飛ばして何かを「思い出す」効果が強い？
- プレイヤーポジションの通知
² レースゲームが典型
l 今何週目？何分でゴールすべきであと何分残ってる？などなど
- シナリオ繊維の通知
² RPG系が典型
² ゲームマップとしてどこにいるかで、例えばレースゲームのコース上のような物理的ポジションのことではない
- プレーヤシチュエーションの通知
² 敵数、敵方向
² 自分のパラメータ状況
² どんな状況に自分がいるのか？
l 昼夜の変化は単なるステージ状況に応じた音楽の変化ではなく敵の強さ・種類・数などが変わる
- ハイラル平原など
² 昼だから、夜だからで音楽を変えているわけではない！
- セグメント終了通知
² プレイヤーが何か操作をしないと次の場面に進まないシーン
l RPGの戦闘終了、ゲームオーバーから次のコインを入れさせる
l タイトルロールからスタートボタンを押させる
² これを上手く促すには？
l Faitigue：疲れさせる
- さっさと次に進ませたい場合、つまらない音楽を流したりあるいは音を止めたりしてしまう
- Dialog：動作誘導
² 情報提供
l 文字情報だけでなく声のイントネーションやニュアンスで状況確認
l 声の「訛り」などは字幕では不可能
- 「周りの人間がメキシコ訛りだからこの酒場はヤバい」的な
- Music(1) Mood（雰囲気）
² インゲームのキャラクタが「どんな雰囲気下にあるのか」
l プレーヤがどう思うのかは関係ない
- Music(2) Emotion
² プレーヤが感じること
l 焦りや安心感など
- インベーダーゲームで、敵が近づいてくると音楽が早くなる＝今危険が迫っている！ヤバい！という感情を想起させる
- ゲームをクリアする／次の行動を起こすためのヒントにもなる
- 映画の視聴者は「思う」ゲームプレーヤは「行動する」
² アートについても、置いといて見てもらうだけのアートと触って弄って欲しいアート（インスタレーション）の二通りある
l それぞれデザインが異なる
- ゲームは触らせるデザインでなくてはいけない
- そういった状況で、音がどう関与するのか？
² それを書いたのがPlaying with Sound
- こういったゲームにおける音楽の指標が出来ると何が嬉しい？
² 社内を説得できる！
- テクノロジーは日々進歩している
² どこで勝負する？→やっぱりコンテンツのクオリティ
- …ただ、コンテンツのクオリティというぼんやりした言葉ではなく、「良さ」はやっぱり数値化したい
² 何らかの確からしさ（それっぽい数字）があれば良い
- 今後のインタラクティブミュージックの発展のためには、クリエイターがぶっ飛んだモノを作る事も大切だし、例えば彰教先生のような研究者がこうした数値を説得材料として出して行くことも大切！
- まとめ
- みんなで頑張りましょう！！
以上です。
もしご興味を持たれる内容がありましたら、どうぞお気軽にコンタクトを下さい。
万が一内容に不備等ございましたら、私宛にご連絡頂ければと思います。