スタジオでバンド練習を録音しても、全部の音が混ざってしまって「自分のパートだけ聞き返したい」が叶わない。 かといって楽器1つずつにマイクを立てるのは大変すぎる。 そこで使うのが、音が「どっちの方向から来たか」まで記録できる特殊なマイク——たった1台を置くだけで、聞きたい楽器を後から前に出して聞き返す研究です。
スマホやICレコーダーをポンと置いて録るだけ——手軽だけど、出てくるのは全パートが混ざった1つの音のかたまり。 ちゃんと分けて録ろうとすると、今度は マルチトラック録音MULTITRACK楽器ごとに専用のマイクを立てて、別々のトラックに録音する方法。プロの現場で使われるけれど、機材も配線も手間も大変で、練習のたびにやるのは現実的じゃない。 が必要で、準備が大変すぎる。「手軽さ」と「あとで分けられること」を両立させたい——それがこの研究の出発点です。
録音を聞き返すと「自分のパートが他の楽器に埋もれる」「ドラムやベースだけ大きすぎる」。どこを直せばいいのか分からず、練習の振り返りに使えません。
ふつうのマイクは「音の大きさ」しか記録しません。だから複数の楽器の音が時間的にも周波数的にも重なり、あとから1つずつ取り出すのがとても難しいのです。
機械学習で音を分ける方法もありますが、学習データに依存し、編成(楽器の組み合わせ)が変わると弱い。さらに倍音が消えて不自然な音になりがち。「聞き返し」には向きません。
じつは「ない」。聞き返しに必要なのは、目的のパートがはっきり聞こえること。他の音が少し残っても、目当ての楽器が前に出ればOK——ここに発想の転換があります。
この研究の主役は アンビソニックスマイクAMBISONICS4つのマイクを1つの本体にまとめた特殊なマイク。音の大きさだけでなく「前後・左右・上下のどっちから来た音か」という方向の情報を、4チャンネル(4トラック)で記録できる。楽器ごとに専用マイクを立てなくても、これ1台を置くだけで空間まるごとを録音できる。。 ふつうのマイクが「音の大きさ」だけを記録するのに対し、こちらは音がどの方向から来たかも一緒に記録します。 楽器はステージ上の決まった場所に置かれているから、「方向」が分かれば「どの楽器か」の手がかりになるのです。
記録されるのは「大きさ」のみ。全部の楽器がこの1本の波にぐちゃっと畳み込まれていて、あとから分けるのは至難の業。
「どの方向から来た音か」も記録される。だから後から「この方向＝ドラム」と狙って、その向きの音だけを前に出せる。
この研究のすごいところは、AI(機械学習)に頼らず、音の性質を計算でうまく扱うことで実現している点。 だから学習データもいらず、どんな編成にも使えます。流れはこの4つ。
本番前に各パートを単独で少し鳴らし、その音から「どの方向にいるか」を計算で割り出します。
SHビームフォーミングSH BEAMFORMING記録した方向の情報を組み合わせて、特定の向きに「聞き耳」を立てる技術。望遠鏡のように狙った方向の音を大きく、他の方向を小さくできる。で、狙った方向の音を相対的に大きくします。
それでも残る他パートの「回り込み」や反響を、 MWFMulti-channel Wiener Filter多チャンネル・ウィーナーフィルタ。たくさんのマイク信号の統計をもとに、目的の音だけを残して邪魔な成分を計算で削るフィルタ。狙った楽器をさらにくっきりさせる仕上げ役。という計算で削ります。
取り出した各パートを、音量つまみ(フェーダー)と左右配置(PAN)で調整。「自分を前に、ドラムを少し下げて」が後からできます。
5つの楽器(ドラム・ギター・ボーカル・ピアノ・ベース)で、処理前と処理後の「狙った音の聞きとりやすさ」を SI-SDRSI-SDR [dB]取り出した音が「正解の音」にどれだけ近いか、邪魔な成分がどれだけ少ないかを表す指標。数字(デシベル)が大きく＋になるほど、目的の音がきれいに取り出せている、という意味。 という指標で測りました。バーが長いほど「クッキリ改善した」ことを表します。
※ 数値はマルチトラック音源から作ったシミュレーションでの評価結果(2秒区間×10回の平均)。 実験からは「マイクと楽器は近いほど、楽器どうしの角度差は大きい(50°以上)ほど取り出しやすい」という、 録音のコツも分かりました。音量が小さい楽器(ボーカルなど)ほどマイクに近づけて置くのがおすすめ、というわけです。
専用マイクなしで聞きたい音を前に出す——この研究は、いくつもの分野が重なり合ってできています。高校の「数学」や「物理」が、こんなところで活きています。
音の波からパターンや特徴を取り出す技術。「方向ごとに聞き耳を立てる」ビームフォーミングの土台になっています。
音が空間をどう伝わり、反射するか。アンビソニックスで「方向」を扱えるのは、音の物理を理解しているからこそ。
方向の表現や、複数マイクの信号を組み合わせる計算は、三角関数や行列の世界。高校数学の延長線上にあります。
MWFは、信号の「統計的な性質」をもとに邪魔な成分を削るフィルタ。データのばらつきを扱う数学が活躍します。
これらの計算をコードにして、録音から聞きたいパートを前に出すシステムに。理論を「動くもの」にする力です。
「練習を聞き返したい」という音楽の現場のニーズが出発点。技術が人の表現を支える、その接点にある研究です。