エレキベースの「ピック弾き」と「指弾き」。同じ弦・同じ場所で弾いても、音色はガラッと変わります。 この研究は、いちど録音した音の"弾き方"を、弾き直さずにあとから入れ替えることに挑戦しました。
ベースの弦をはじく方法、つまり 奏法 SOUHOU / 弾き方 弦をどうやって鳴らすか。エレキベースなら指ではじく「指弾き」、ピックではじく「ピック弾き」が代表的。ほかにスラップやタッピングなどもある。 が変わると、音の印象は大きく変わります。でも、いちど録音してしまった音の弾き方を、後から作り替えるのはとても難しい。なぜでしょう?
指弾きは柔らかく温かい音。ピック弾きはアタックが強く、高い音の成分が豊かで明るい。 同じ弦・同じ位置で弾いても、音の立ち上がり・減衰・倍音の混ざり方がはっきり違います。
イコライザ EQUALIZER (EQ) 音の高い/低い成分のバランスを調整する道具。曲づくりでおなじみだけど、「弾いた瞬間の形」そのものまでは作り替えられない。 などで音色を調整することはできます。でもそれは周波数や音量のバランス調整。「弾き方そのもの」に由来する音の作りは再現しきれません。
奏法を変えたくなったら、同じフレーズをもう一度、別の弾き方で演奏して録り直す。 手間も時間もかかるうえ、まったく同じ演奏には二度とならない——制作の自由度を下げる一因でした。
奏法の差は、弦をはじいた直後のたった数十ミリ秒——発音直後の短い波形に強く現れます。 この一瞬をどう扱うかが、変換できるかどうかのカギになります。
この研究のいちばんの発想は、録音された音を2つの要素の掛け合わせとして捉えることです。 ひとつは楽器固有の 共鳴特性 RESONANCE / 共鳴 楽器の「体」が音をどう響かせるかという性質。ボディやピックアップで決まり、弾き方を変えても基本的に変わらない部分。 、つまり「楽器の体」。もうひとつは弦をはじいた瞬間の力である 励起信号 EXCITATION / 励起信号 弦に与えられた「最初のひと押し」の波形。指かピックか、強いか弱いか——奏法の違いはここに現れる。いわば演奏の「タッチ」。 、つまり「弾いた瞬間のタッチ」です。
奏法の違いが「タッチ」だけに現れるなら——楽器の体はそのまま残し、タッチだけをピックから指のものに差し替えればいい。 下は、弦をはじいた直後のタッチ(励起信号)を、ピックと指で比べたイメージです。👇
立ち上がりが鋭く深い。硬い接触で、高い周波数の成分が豊か。だから明るくアタックの強い音に。
立ち上がりがなだらかで浅い。柔らかい指の接触で、高い成分は控えめ。だから温かくまろやかな音に。
仕組みは大きく4ステップ。「体」を取り出し、「タッチ」を地図の上の点に変え、ピックの点を指の点へ動かし、最後にもう一度音にして戻します。
逆フィルタリング IAIF / 逆フィルタリング 録音から「楽器の体(共鳴)」の影響を段階的に取り除く手法。残ったものが、弾いた瞬間の「タッチ(励起信号)」になる。 で楽器の体の響きを取り除き、純粋な「タッチ」だけを取り出します。
タッチの特徴を主成分分析 PCA / 主成分分析 たくさんの数字でできた特徴を、いちばん効く少数の「軸」にまとめ直す方法。ここでは3つの軸に圧縮し、第1の軸が「弾く強さ」に対応していた。 で3つの軸に圧縮。どんなタッチかを「地図の上の1点」で表せるようにします。
ガウス混合モデル GMM / ガウス混合モデル データの散らばりを、いくつかの「山」の重ね合わせで表す統計モデル。ピックと指の点の関係を確率的に学習できる。 でピックと指の関係を学習し、条件付き期待値 CONDITIONAL EXPECTATION 「このピックの点なら、指ならたぶんこのあたり」という、いちばんありそうな指の点を確率から計算する考え方。 で「指ならここ」という点を推定。強さ別に5グループに分けて変換します。
推定した点にいちばん近い実在の指弾きのタッチを選び、最初に取り出した楽器の体をかぶせて再合成。実データを使うので不自然になりません。
「指弾きらしさ」は、変換後のタッチが本物の指弾きデータの集まりにどれだけ近いか—— 正規化距離(z-score) NORMALIZED DISTANCE 変換後の特徴が、本物の指弾きの分布からどれだけ離れているかを測ったものさし。小さいほど指弾きに近い。 で測りました。録音は単音720個で学習。演奏の強さで5グループ(クラスタ)に分け、評価できた4グループすべてで距離が縮みました。
改善のしやすさは、単純なデータの多さでは決まりませんでした。効きやすかったのは、グループ内でタッチの分布が広く、 ピックと指の差がはっきりしているグループ。強い演奏ほど奏法の違いが大きく出るため、変換の「行き先」が定まりやすかったと考えられます。 逆に、弱から強への中間にある中くらいの演奏(クラスタ3)は、差が小さく圧縮されて見えにくく、改善幅もやや控えめでした。
音楽の話に見えて、中身はいろんな分野の知識のミックス。気になる入り口はある?
音の波を数式で分析する技術。波形からタッチを取り出したり、周波数の成分を調べたり。物理基礎で習う「波」の発展版です。
ガウス混合モデルや主成分分析など、データから関係を学ぶ数学。「ピックならこの指」を確率で導くのもこの分野。
楽器がどうやって音を出すかを物理として研究。共鳴と励起という見方そのものが、この研究の土台になっています。
音楽を情報科学で扱う分野。演奏のニュアンスや音色をデータとして捉え、新しい表現や道具を生み出します。
録音した音を読み込み、分析し、変換して書き出す——一連の処理をコードで実装。Pythonなどが活躍します。
DTMやレコーディングの世界。後処理で奏法を選べる道具は、つくり手の表現の自由度を大きく広げます。