さがせ、おもしろ研究! ブルーバックス探検隊が行く

  • 1
  • 2

花開く「音楽の能動的な楽しみ」

音楽の楽しみ方が能動化することで、具体的にはどのような変化を体験できるのだろうか。2017年に後藤さんたちが発表した「Songle Sync」を例に紹介しよう。

大規模音楽連動制御プラットフォーム「Songle Sync」のチュートリアル

 

 

音楽の楽しみ方のひとつに、「ライブ」がある。Songle Syncは、ライブコンサートをより能動的に楽しむためのサービスだ。 ネットを使う機器は、従来の音楽機器に比べて自由度こそ高いものの、意外なほど「同時に動く」のが苦手だ。音楽では、曲に合わせてぴったり表示を出したり、音を出したりすること、すなわち「完全同期」することがきわめて重要だ。特にライブ会場で、音楽とズレて不自然な演出があると、一体感が生み出せなくなる。

問題は、ネットが関わった瞬間に、「同時」に思えているものが、実は秒単位でズレているという現象が避けられないことだ。実際に、通常の放送とネット配信では、同じ生放送でも一定程度のズレが生じている。音楽においては、秒どころか数百ミリ秒単位のズレすら致命的になる。ほんのわずかでもズレてしまったら、一体感は損なわれ、もはや気持ちの良い音楽体験にはなりえないからだ。

この点を解消したのがSongle Syncで、ウェブにアクセス可能な機器なら、どんなものでも「バチピタ」でタイミングを合わせて動かすことができる。OSも機器の種類も問わない。それによって、たとえばライブコンサート会場で、曲のタイミングに合わせて来場者が手にもったスマホに主催者側の演出に合わせたアニメーションを表示する、あるいは、多数のロボットが同時に踊る、などといったことが簡単に実現できるのだ。

実際にライブコンサートでSongle Syncが使われたときに表示された映像をご覧いただこう。

 

2017年9月2日に幕張メッセで開催されたヴァーチャルシンガーの初音ミク関連イベント「マジカルミライ2017」では、DJステージへの来場者にポストカードが配られ、そこに記載されたQRコードにスマホからアクセスすることで、ステージの楽曲に同期した映像が、来場者のスマホから流れ出した。
しかも、数百人もの画面に完全同期して、だ。特別なアプリも機器も必要としない画期的な音楽体験として、大きな話題となった。

Songleの楽曲解析技術とは一見、関係ないものに思えるサービスだが、実はSongle Syncにとって、Songleの楽曲解析技術こそ必要不可欠だ。楽曲を解析し、そのビートやサビを把握したうえで、それらに合わせてスマホ上で映像を生成しているからだ。 いかにもライブパフォーマンスに合わせて映像を出しているように思えるのだが、実はそうではなく、楽曲を解析した結果から、機器を制御する情報を作り出しているのである。

「TextAlive」は、ネット上に公開されている楽曲に合わせ、歌詞が動く「歌詞アニメーション」が自動生成されるサービスだ。

 

「動画を共有するサービスが当たり前のものとなり、楽曲を公開する人は増えました。でも、実際には動画制作に苦労している人たちがたくさんいます。曲を作ることは得意でも、動画を作るのは苦手、やったことがない、という人が多い。そんな方々のために作成したのがTextAliveです」(後藤さん)

「好きな曲」と出会わせてくれる技術

「Songrium」は、音楽をさらにもう一段上の視点から俯瞰するしくみである。
あらゆる楽曲には、それと「よく似た曲」や「影響を受けた曲」が必ず存在する。単独で成立している楽曲はなかなかなく、すべては他の曲とのなんらかのつながりの中にある。

音楽視聴支援サービス「Songrium」のトップページ

 

Songriumでは、Songleによる楽曲解析に加え、曲に関するデータをネットから収集して解析するウェブマイニング技術を使うことで、楽曲同士のつながりや関係をビジュアル化することを狙っている。自分が好きな曲の雰囲気に近い曲を見つけたり、その曲とのつながりから興味をもてそうな楽曲を探し出したり、関係ありと判断された曲同士を聴き比べたりすることができる。これもまた、新しい角度からの「音楽の能動化」だ。

「音楽の聴き放題サービスも普及し始めてきましたが、そこでは、いかに音楽を発見してもらうか、各ユーザーが好きなタイプの音楽とどう出会ってもらうか、を実現する技術が重要になります。一般的なサービスではアーティスト名や作曲者などを一覧表示するためのデータベースを作り、視聴履歴などから『オススメ』の楽曲が再生されることが多いですが、今後、高い精度で楽曲を推薦するには、各楽曲の全体構造にまで踏み込んで、Songleのように音楽の中身を解析した結果をデータベース化する必要があります」

後藤さんは、産総研内の「メディアコンテンツ生態系プロジェクトユニット」を率いて、所属する多数の研究者と共同で、これらさまざまな「音楽情報処理」技術の研究開発を進めている。そして、その成果を積極的にサービスとして公開している。

「基礎技術を作っただけでは、一般の人々に直接使ってもらうことはできません。そこで、技術で未来を切り拓くために、応用技術としてインタフェースも開発したうえで技術の使われ方を提案したり、サービスとして一般公開することで技術を直接利用可能にしたりする研究開発に挑戦しています。そうすることで、この技術がもつ幅広い可能性を、産業界も含めたさまざまな方々と一緒に考えていくことが可能になるからです」

「音楽を能動化する」――音楽の中身を解析する技術は、私たちの音楽体験をこれからも大きく変えてくれそうだ。

取材協力:

 

後藤真孝(ごとう・まさたか)

国立研究開発法人 産業技術総合研究所
情報技術研究部門 首席研究員
兼 メディアコンテンツ生態系プロジェクトユニット代表

メディアコンテンツ生態系プロジェクトユニットでは、音楽の聴き方・創り方の未来を切り拓く技術開発によって、音楽の楽しみ方がより能動的で豊かになることを目指しています。その中で、研究開発目的での実証実験の一環として、Songle、Songrium、TextAlive、Songle Syncなどのサービスを技術のショーケースとして提供しています。

  • 1
  • 2

「さがせ、おもしろ研究! ブルーバックス探検隊が行く」は、ブルーバックス編集部が、最先端の研究を行っているさまざまな現場にお邪魔して、研究の今をリポートする連載企画です。

隔週木曜日に新しい記事を公開していく予定ですので、どうぞお楽しみに!

連載一覧

連載読み物

さがせ、おもしろ研究!
ブルーバックス探検隊が行く

体感!「動く日本列島」
面白“地質博物館”探訪記

(取材・文 中川隆夫) 135年分のコレクション 衛星からの観測によって...

2018/02/20

ページTOPへ