プロのピアニストは、足元のペダルをミリ単位で踏み分けて音色を変えている。 ところが楽譜にも、人の耳にも、その繊細さは映らない。 ——それなら、ピアノ自身が鳴らした「音」から読み解いてしまおう。
ピアノには足元に3本のペダルがある。中でも有名な サステインペダルSUSTAIN PEDALいちばん右にある、長く音を響かせるためのペダル。踏むと弦を止めるダンパーがすべて持ち上がり、音がふわっと伸びる。 と ソフトペダルSOFT PEDALいちばん左のペダル。踏むとハンマー(弦をたたく木)の位置が少しずれて、こもった柔らかい音になる。 は、ON/OFFじゃなくて踏み込む「深さ」で音色が連続的に変化する繊細な操作なんだ。
楽譜のペダル記号はON/OFFだけ。実際の演奏では、ピアニストが楽譜にない場所でも自由にペダルを足したり、深さを変えたりしている。バロック時代の曲やポップスにはペダル記号自体ないこともある。
サステインペダルのON/OFFくらいなら分かる場合もある。でも「ちょっと浅く」「半分くらい」「ぐっと深く」の違いを音だけで判定するのは、プロの演奏家でも難しい。人の耳には限界があるんだ。
変化する。ハンマーの位置が数mmずれるだけで、高い倍音(音の成分)が減って、丸くやわらかい音に変わる。でも単音で聞くと違いは微妙で、グラフで見て初めて「あ、確かに変わってる」と気づくレベル。
名演奏を「コピー」したり、自分の演奏を客観的に分析したり、AIに上手な演奏を学習させたり——応用先はいろいろ。でもデータがないと何も始まらない。だから「どうやって深さを測るか」が研究テーマになる。
左は「楽譜どおりに踏んだ場合」のペダル深度。記号はON/OFFしかないから、踏むか踏まないかの段差グラフになる。 右は「ピアニストが実際に演奏したとき」のペダル深度。なめらかな曲線で、微妙な踏み替えや深さの調整が見える。 この情報は、楽譜だけ・耳だけでは絶対に取れない。
記譜できるのは「踏む」か「離す」かの2択だけ。深さも踏み替えのタイミングも表現できない。
なめらかな曲線。「半分くらい踏んでスーッと戻して、また深く踏む」みたいな繊細な操作が見える。
これまでの研究は「MIDI機構付きの特殊なピアノ」を使ってデータを集めていた。198時間ぶん!でもそんなピアノ、普通の人は持っていない。 この研究は——スマホとシールがあればOKという、めちゃくちゃシンプルな方法を考えた。
サステインとソフト、2つのペダルに違う色のシールを貼る。これがビデオで追いかける「目印」になる。
市販のビデオカメラで、ペダルを横から撮りながら音も録音。映像からシールの位置を追えば「深さ」が、音は学習データになる。
音から 特徴量MFCC / LOG-MEL音をAIが扱いやすい数字の並びに変換したもの。今回は特に音色のクセを表す「MFCC」が良い結果に。 を取り出し、深層学習モデル(CNN+双方向GRU)で「この音色なら深さこのくらい」を学ばせる。
テストデータ約5分ぶんに対して、AIが推定したペダル深度と、実際の深度を比べた。 評価には誤差を測る指標 RMSEROOT MEAN SQUARED ERROR「予測と正解の差」を二乗して平均し、ルートを取った値。要するに「平均してどれくらいズレてるか」。0に近いほど優秀。 と MSEMEAN SQUARED ERRORRMSEの中身、ルートを取る前の二乗誤差の平均。論文どうしの比較で使われる。 を使った。
サステインペダルの踏み込み深さ(0〜1)を、平均誤差0.19程度で推定できた。
これまで誰もやっていなかったソフトペダル深度推定を実現。MIDI 1.0では0か1かしか取れない情報を、連続値で取れた。
踏み込みのタイミングと大まかな上下動はしっかり追えている。ただし「いちばん深く踏み込んだ瞬間」だけは少し控えめに見積もる傾向があった——これは学習データに深い踏み込みが少なかったせい。今後の改善ポイント。
ピアノペダルの研究、と聞くと「音楽の研究?」と思うかもしれない。 でも中身は、信号処理・機械学習・物理・画像処理・音楽理論——いろんな分野のクロスオーバーで成り立っている。 高校生が「自分の好きな道」を考えるヒントになるかも。
音をコンピュータが扱える数字に変換する技術。MFCCやスペクトログラムは、音声認識や音楽推薦にも使われている基礎技術。
CNN(画像系)とGRU(時系列系)を組み合わせる発想。AIの「組み合わせ方」自体がデザインする対象になる、奥が深い分野。
映像からシールの色を検出して、重心座標を追いかける。スポーツ解析やロボットの目とも同じ技術がベースになっている。
ピアノの弦・ダンパー・ハンマーの仕組み、倍音、共鳴。なぜソフトペダルで音色が変わるのか?は物理の話。
楽譜・演奏・楽曲をデータとして扱う比較的新しい学問領域。AI作曲・自動採譜・演奏分析など、応用先がとても広い。
誤差をどう測るか(RMSE/MSE)、クラスのバランス、損失関数の設計——どんな研究も最後は「数字でどう評価するか」が肝心。