さがせ、おもしろ研究! ブルーバックス探検隊が行く

この連載は、ブルーバックス編集部が最先端の研究を行う現場にお邪魔して、そこにどんな研究者がいるのか、どんなことが行われているのかをリポートする研究室探訪記です。
いまこの瞬間、どんなサイエンスが生まれようとしているのか。論文や本となって発表される研究成果の裏側はどうなっているのか。研究に携わるあらゆる人にフォーカスを当てていきます。
書籍としてのブルーバックスとはまた違った視点で見る、科学の現場をお楽しみください。

サビやビートを自動解析!
コンピュータが作る「音楽地図」ってなんだ?

  • 1
  • 2

(取材・文 西田宗千佳)

音楽を解析して「楽しみ方」を拡張する

音楽を楽しむ、とはどういうことだろうか。

「なに当たり前のこと言ってるの? ただ聴いて、楽しめばいいじゃない」――そんな声が聞こえてきそうだ。確かに、「音楽を聴く」ことはごく当たり前の行為のように思えるし、科学や技術と関わりがあるとは想像しがたい。

だが、その音楽に、テクノロジーの光を当て続けている科学者たちがいると聞いて、ブルーバックス探検隊は行動を起こすことにした。なにしろブルーバックスでは、シリーズ専用のジングルを作成するなど、最近は音楽や動画に興味津々なのだ。もしかしてこのサイトでも楽しく使える技術かも!……なんて、少しよこしまな思いを抱きつつ訪ねた産業技術総合研究所 情報技術研究部門首席研究員の後藤真孝さんも、そんな研究者の一人だ。

後藤さん

 

後藤さんが手がけているのは「音楽情報処理」とよばれる技術だ。いったいどんな技術?
「簡単にいえば、音楽の“中身”を自動解析して、音楽の未来を切り拓く技術です」と後藤さんは説明する。
といっても、なかなかピンとこないかもしれない。音楽の中身と聞くと、五線譜に並んだ音符や歌詞、演奏技術といった、“音楽そのもの”に関することを思い浮かべる人が多そうだ。
技術を用いて音楽の中身を解析することで、いったい何ができるのか? それを理解するには、後藤さんが学生時代から積み上げてきた「音楽情報処理」の研究開発の歴史を振り返るのが、いちばんの近道になりそうだ。

後藤さんが音楽情報処理を手がけ始めたのは1992年、彼が大学4年生のときだった。その後、大学院修士・博士後期課程で研究課題として選んだのが、「ビート解析」だった。
ビートとは、規則正しいリズム感のこと。「ビートの効いた曲」といえば、誰でもどんな曲のことか具体的なイメージがわくだろうし、実際にそういう曲が流れてくれば、手拍子を合わせたり、体を動かしたりしてリズムをとることができるだろう。それは、とても自然な音楽の楽しみ方のひとつだ。

だが、それをコンピュータにやらせてみたら?
実はコンピュータにとって、ビートに合わせてなんらかの行動を起こすのは簡単なことではない。演奏される音楽は、音波という物理的な「波」として伝わってくる。波だから、山あり谷ありの波長があって、ある振動数で振動しているわけだが、その波形の中から「ビートに関する情報」だけを抜き出すには、どうしたらいいだろう?

ビートは、音の高低でも大きさでもない。すなわち、音がもつ物理的な性質ではない。したがって、人間にとっては当たり前の存在でも、音波の波形からコンピュータが抽出するには、多彩な信号処理を積み重ねる必要がある。

後藤さんがこの課題に取り組みはじめた1992年はまだ、デジタル音楽をコンピュータに取り込むことすら難しく、MP3も登場していなかった頃だ。当時のコンピュータはまだまだ非力で、音楽の信号処理にも時間がかかった。条件は厳しかったが、後藤さんは、楽器音やドラム音がいつ鳴っているのか、ハーモニーがいつ変わるのかを解析して、「ビート(拍)」だけでなく「小節」の先頭の位置まで自動抽出するシステムを開発することに成功した。
後藤さんはさらに、こうして自動抽出したビート情報を、ある興味深い方法で可視化することに成功する。当時、人気と期待の集まりつつあったCGアニメーションを活用して、音楽から抜き出したビートに合わせ、自動的にダンスを生成してみせたのだ。

ビートを解析して自動的に踊るCGアニメーション(1998年)

 

「CGアニメーションに対する需要が高まってきていた一方、当時は制作時間とコストが膨大で、特に音楽に合わせて動かすのは大変でした。音楽から抽出したビート情報に合わせて自動的にCGキャラクターのダンスを生成できる技術によって、この問題を一部、克服できるのではないかと考えました」
開発の理由を後藤さんはそう振り返るが、このことは、音楽の解析によるビートの抽出、すなわち音楽情報処理が、新たな価値を生み出しうることを示していた。それは、昨今のヒット曲によるダンス振り付けブームが示しているように、私たち人間がビートを感じて手拍子やダンスをすることで、音楽に新しい価値が付加されることとよく似た関係をもっている。

ビートの発見から「サビの自動発見」へ

後藤さんはその後も音楽を解析する研究に取り組み続け、2002~2003年には、楽曲の中から「サビ」部分を自動的に見つける技術も実現した。
気に入った音楽を人に伝えるとき、私たちは「サビ」だけを口ずさむことがある。その楽曲がいちばん盛り上がる、“もっともおいしい”部分がサビであり、サビの良し悪しが楽曲の評価軸のひとつであるのは間違いない。でも、コンピュータがサビを見つけるのって、難しいの?

「音が大きかったりメロディが高かったりする部分が『サビ』のように思えるかもしれません。しかし実際には、非常に多彩なパターンがあります」
後藤さんによれば、ビートと同様、サビもまた「人間にはすぐにわかるが、コンピュータに判断させるのは容易ではない」要素なのだという。これもまた、音波が含む物理的な性質ではないため、解析が難しいからだ。

一般にサビといえば、「楽曲の中ほどにある盛り上がりの部分で、曲全体で見ると同じモチーフを何度か繰り返すもの……」という印象がある。 だが、実際に個々の曲を見てみると、いきなりサビから始まる「サビ頭」の曲もあるし、同じサビのように見えて、曲の進行に合わせて細かく転調させている曲もある。何よりサビは、その曲を聴けば誰もがすぐに「ここだ」とわかるものなのに、言葉や作曲手法などで明確に定義づけられたものではない。後藤さんはいう。
「まず、楽曲の中のさまざまな繰り返し区間を転調なども考慮しながら見つけ出し、次に、その中で最もサビらしい区間を自動的に選ぶことで、サビを見つけることができるんです」

学生時代に音楽情報処理に取り組み始めて以来25年以上が経過して、後藤さんはさまざまな研究者と共同で幅広い研究に取り組みながら、さらに先に進んでいる。たとえば、2012年8月に発表された「Songle」がそれだ。Songleは、ウェブ上で誰もが自由に利用できるよう公開されているので、別ウインドウで立ち上げて一緒に見ながらお読みいただければ、より理解が深まるだろう。

能動的音楽鑑賞サービス「Songle」の「音楽地図」

 

「Songleでは、音楽情報処理によって楽曲の中身を解析したさまざまな結果を、『音楽地図』として視覚的に確かめながら、音楽を聴いて楽しむことができます」
音楽地図? 初耳です。それはいったい、なんですか?
「音楽地図を構成する要素は主に4つ。①ビート構造、②楽曲構造、③コード進行、④メロディーラインです。Songleでは、さまざまな楽曲に対して、この4つの要素を表示できます。楽曲の波形を人間が眺めても、いつ何が起きるのかわかりにくいですが、これら4要素の解析結果を音楽地図として可視化することで、全体構造が把握しやすくなるのです。楽曲全体を『俯瞰する』ことで、サビから聴いたり、気になるところから聴いたりすることが簡単になります」(後藤さん)

実は「不自由」だった音楽再生

曲の冒頭から順に聴かずとも、音楽地図を使ってサビを簡単に聴けるようになると、人に音楽を伝えるのは実に容易になる。短い時間で音楽を楽しみたいときや、好きな部分だけを繰り返し聴きたいときにも、音楽地図から得た情報を使うことができる。

「音楽の好きな部分だけを楽しむなんて、前からできたでしょ」――そんな反論が聞こえてきそうだが、いやいや、実はそんなことはまったくなかったのです。
確かに、今の音楽プレイヤーには、好きな部分へジャンプする「シークバー」がある。しかし、ある楽曲の「好きな部分」が“どこ”なのか、みなさんは正確に記憶しているだろうか? だいたいこのあたり、という大まかな印象はあっても、具体的に何秒の時点で好きな部分がくるかまで覚えているわけではないはずだ。
まして、よく知っている曲ならまだしも、「まだ聴いたことがない曲」や「1~2回耳にしただけの、あまり知らない曲」から、「好きな部分」を探し出したり、「おいしいところだけ」をちょっと試しに聞いてみたりする聴き方は不可能に近い。だからこそ、音楽の「目利き」や、特別な技能と知識をもったDJなどの職種が生まれたのだ。

音楽がデジタル化され、任意の場所から再生できる「技術」は確立されているのに、実際に「好きな部分」「聴きたい部分」だけを抽出する聴き方は難しかったのが実情だ。
「音楽は、もっと能動的に楽しめるはず――。そのためには、楽曲解析を可能にする音楽情報処理の技術が必要なんです」
後藤さんはそう力説する。

音楽を楽しむには、「一定の時間」が必ず必要だ。その時間を操作し、好きなところをシンプルに聴く、あるいは膨大な曲のサビだけを聴いて好みの曲を発見する技術が導入されることで、音楽の聴き方に初めて、時間軸方向での大きな自由度が生まれる。

ある楽曲から「サビ」を自動的に見つけるのは、ビデオに「チャプター」が生まれたことに等しい変化だ。映画を見るときに好きな場面だけを見たり、録画した番組を見る際に不要な部分をスキップしたりするのは、いまや当たり前の行為になっている。映像に関しては、視聴がそれだけ「能動化」したわけだ。

これと同じことが、音楽という時間的にきわめて短い尺の中でも可能になり、聴き方が能動化したのが後藤さんの研究の画期的なところなのである。
従来は、CDにしろ音楽配信にしろ、YouTubeのような動画にしろ、個々の楽曲内にはチャプターが存在せず、あくまで曲単位でのジャンプ/スキップしか操作できなかった。サビだけを聴かせたい……というニーズがないわけではなかったが、ごくニッチな利用にとどまっていたのが実情だ。
理由は、音楽はあまりに数が多すぎるため、すべての曲に手作業でチャプターをつけるのが不可能に近いからだ。

Songleの強みは、この点にある。ソフトウエアの力によって自動的に楽曲を解析し、全体構造を把握したうえでサビを見つけ出す。すべては自動であるため、どれだけ楽曲が増えようとも手間は大きくならない。
後藤さんが「技術が音楽の楽しみ方を能動化する」と主張する理由は、まさにここにある。技術のアシストがあって初めて、「音楽に内在している情報」を取り出すことに成功したのである。

  • 1
  • 2

「さがせ、おもしろ研究! ブルーバックス探検隊が行く」は、ブルーバックス編集部が、最先端の研究を行っているさまざまな現場にお邪魔して、研究の今をリポートする連載企画です。

隔週木曜日に新しい記事を公開していく予定ですので、どうぞお楽しみに!

連載一覧

連載読み物

さがせ、おもしろ研究!
ブルーバックス探検隊が行く

体感!「動く日本列島」
面白“地質博物館”探訪記

(取材・文 中川隆夫) 135年分のコレクション 衛星からの観測によって...

2018/02/20

ページTOPへ