(^p^)ブログ

いろいろなことがかかれていきます 編入関連の質問はTwitter,@mast15yamachiにて

音楽×情報学の研究をしたい人たちに役立ちそうなことをヘボ院生が勝手にまとめる

この記事に書かれていることは全て筆者の主観です.ご注意ください.

異論は優しくお願いします.豆腐メンタルなので.

 

記事を書くのは去年のmastアドベントカレンダーのとき以来だろうか.

あれからいろいろあって,今はしがない大学院生をやっている.

あいかわらずゲームしてクソして温泉につかってちまちま研究をやるだけの生活をしている.

 

生活面で大きな変化があったこととしては,研究において後輩が増えてきたことだろうか.B4に加え,mastには情報メディア特別演習として2年次(今年から1年次も)の学部生が研究室に短期間属す制度があり,何回かその学生たちにもレクチャーをした.

 

私が所属する研究室は音楽情報処理(音楽をコンピュータであれこれして謎を解き明かす/ゆかいなシステムをつくる)をやるグループと,音響や聴覚,データの可聴化をやるグループが合同でゼミをして研究をしていくスタイルになっている.

 

配属された後輩の面倒をみてく中で,音楽を対象とする研究に臨むことは,他のいわゆる情報学の分野の研究とかなり異なる部分があるな,と思い,そのことをまとめていこうと思う.

 

  • テーマの決まり方
  • アプローチの多様性
  • 学会の種類
  • 役に立つリンクなど

 

テーマの決まり方

筆者の主観だが,他大学の人の話や他大学の音楽情報処理系の研究室のホームページを見る限り,

他の分野に比べ,研究テーマがそのまま降ってくるということはあまりないという印象を持っている.

 

理由としては2つあると考えていて,一つは新しい問題設定をすることが多いこと,もう一つは対象の多様性にあると考えている.

 

https://twitter.com/yshhrknmr/status/1049619862237016064

「CG系の研究は、既知の解法の改良よりは新しい問題を解くことが多く、研究者の興味が発散する」

弊学のCGを研究をされている先生のツイート.

 

音楽情報学の研究はCGの研究とその点において似ていると思う.

音楽情報学も,自動採譜や音楽ジャンル分類,歌声合成など大きなタスクはあれど,新しい問題を解いた研究の方が多いように思う.

ISMIRやSMCといった国際会議の論文のリストをみても,そういった傾向にあると私は考えている.

 

この新しい問題を解くことの重要性が高いことから,教授が企業とのプロジェクトを持っている場合を除き,あまりテーマが降ってくることはないものだと考えている.

 

また,音楽と一口に言っても対象は多岐にわたる.クラシック・ジャズ・民謡・ポップスといったジャンル,歌・管楽器・弦楽器・打楽器といった楽器,人を対象にするか曲を対象にするか,といったいくつもの切り口が考えられる.

 

そうした中で研究テーマを決める際,その人の対象に対する知識や経験が重要となると考えている.

たとえば,私のようなクラシック音楽に全く詳しくない人間が,「MIDIを使ってクラシックの作曲家を識別する」というような研究テーマにしようとしてもうまくいかないと思う.

音楽は他の分野に比べ問題を解くときにまだまだドメイン知識を必要とする分野だと感じている.コンピュータサイエンスは全てわかりますという人以外は,自分のもつ対象に関する知識を活用しないとやっていけない分野だと考えている.

 

研究テーマを自力で考えることは一見,楽しく研究できて楽しい!わあい!となることに思えるかもしれないが,口で軽く言ってそうやっていけるほど研究は甘くないと考えている.

 

だからこれから音楽情報学の研究をしたい,と言う人には,自分が音楽に関して何をやってきて,何に興味があるか,何を成し遂げたいかということを教員とよく話し合って研究テーマを決めてほしいと考えている.

(過去の自分への自戒も含め・・・)

 

 

アプローチの多様性

音楽情報学の研究は前述の通り対象が多岐にわたる.

それと同様に,とれるアプローチも多岐にわたる.

 

いくつかの研究内容を分けるポイントとしては,

といった視点がある.それぞれとれるアプローチが全く異なる.

私がやってる研究は楽譜記号処理ーわかりたいー認識ーインタラクティブにあたるかな.音の研究で重要なイメージのあるフーリエ変換とかは一切使ってないし,最新の信号処理事情とかは全く知らない.MIDIとお友達なので.あと,わかりたい派よりなので,統計分析(機械学習ではない)が中心で進めている.

 

もし音楽情報学の研究を始めたいとなったときに,自分の研究がどんなアプローチになるのか,また,行きたいラボがどの方面で強いのかをよく確認した方がいい.

 

ちなみに弊ラボは「わかりたい」「認識」の研究をやってる人が多い.

 

学会の種類

国内

情報処理学会 音楽情報科学研究会 (SIGMUS)

http://www.sigmus.jp/

通常年4回研究会が開かれる.音楽×コンピュータの研究会.

筆者はあさって発表する

 

日本音響学会 (ASJ)

https://acoustics.jp/

年に2回.春と秋.音響の学会だが,音楽で信号処理を使う研究が発表されることも.

 

また,音楽音響研究会 (MA研)という小さめの研究会もある.

http://musical-acoustics.org/

 

日本音楽知覚認知学会 (音知会)

http://jsmpc.org/

年2回.春と秋.人の音楽の認知の仕方についての研究に特化している.情報系というよりは認知科学寄り.今年春私も発表した.

 

先端芸術音楽創作学会 (JSSA)

https://jssa.info/

年4回.制作系に特化.作曲や新しい音楽パフォーマンスについての研究とか.

私はあんまり知らない.

 

国外

だいたいここに載ってる.投稿予定のあるつよい人はここが投稿日の確認につかえる.

http://conferences.smcnetwork.org/

 

ざっくり主要な会議を説明したい.

 

ISMIR

https://www.ismir.net/

音楽情報検索 (MIR)の会議だけど,自動作曲とかもあって音楽とコンピュータの研究全般をカバー.

2019年はオランダのデルフト,2020年はカナダのモントリオール

秋ごろ

 

SMC 

http://www.smcnetwork.org/

ISMIRより作ってみた系が多い印象がある.

2019年はスペインのマラガでやった.2020年はイタリアのトリノという噂

例年夏頃

 

ICMC 

http://www.computermusic.org/page/23/

コンピュータ音楽の会議.

2019年はニューヨーク.2020年は知らない.

今年は7月にやった.

 

CSMC

https://csmc2019.wordpress.com/

最近存在を知った.音楽の制作系の会議らしい.

今年はドイツのベルリンで10月.

 

ICASSP

https://2019.ieeeicassp.org/

音響信号処理とか.これにアクセプトされたらAI人材として認めてくれるらしい.

今年はイギリスのブライトン.来年はスペインのバルセロナ

例年春ごろ

 

Interspeech

https://www.isca-speech.org/iscaweb/index.php/conferences/interspeech

音声に関する会議.歌声とかやるんだったら参考になるかも.

今年はオーストリアグラーツ.来年は上海.

9月とか

 

ICMPC 

http://www.icmpc.org/icmpc_conferences.html

音楽認知の会議.2年おきに開催.

2020年開催だけど,場所がまだ決まってないらしい.

 

NIME

https://www.nime.org/

新しい音楽表現の手法を扱う会議.

今年は6月にブラジルのポルト・アレグレでやった.来年はイギリスのバーミンガム

 

DAFx

http://www.dafx.de/

デジタルオーディオの学会.

今年9月バーミンガム

 

ここら辺の発表をめざしてがんばると良いかもしれない.

 

役に立つリンク

初心者向けチュートリアル

やる夫で学ぶ信号処理
http://www.ic.is.tohoku.ac.jp/~swk/lecture/yaruodsp/main.html

 

東大 応用音響学の講義スライド
http://hil.t.u-tokyo.ac.jp/~kameoka/aa/

 

音楽情報検索チュートリアル
https://musicinformationretrieval.com/index.html


Deep Learning Tutorial in MIR
https://github.com/slychief/ismir2018_tutorial

 

Awesome-deeplearning-music
https://github.com/ybayle/awesome-deep-learning-music

 

coursera Audio Signal Processing for Music Applications

https://www.coursera.org/learn/audio-signal-processing

 

データセットまとめ

ISMIRのデータセット置き場
https://www.ismir.net/datasets.php

 

機械学習に使えるデータ集
https://github.com/arXivTimes/arXivTimes/tree/master/datasets

 

自動作曲のためのデータセット
https://composing.ai/dataset

 

音響信号のデータセット置き場
https://www.audiocontentanalysis.org/data-sets/

 

musescore

https://musescore.com/sheetmusic

 

使えそうなライブラリ

何ができるライブラリなのかを書くのがめんどくさかったので全部リンク先を見てくれ.

 

音響信号処理系

librosa

https://librosa.github.io/librosa/

 

essentia

https://essentia.upf.edu/documentation/essentia_python_tutorial.html

 

mir-eval

https://craffel.github.io/mir_eval/

 

sox

http://sox.sourceforge.net/

 

sptk

http://sp-tk.sourceforge.net/

 

STRAIGHT

http://www.kki.yamanashi.ac.jp/~mmorise/straight/introductions.html

 

WORLD

http://www.kki.yamanashi.ac.jp/~mmorise/world/index.html

 

SuperCollider

https://supercollider.github.io/

 

 

楽譜処理系

pretty-midi

http://craffel.github.io/pretty-midi/

 

mido

https://mido.readthedocs.io/en/latest/

 

music21

https://web.mit.edu/music21/

 

jSymbolic

http://jmir.sourceforge.net/jSymbolic.html

 

magenta

https://magenta.tensorflow.org/

 

 

おわりに

 

音楽×情報学の研究はとても厳しい.

学際領域であるため,様々な知見がないと太刀打ちできない.また,情報学のプロと音楽のプロ,両方を納得させるような研究に仕上げないといけない.

 

 

でも,とても楽しい.

 

こんなことを研究分野にするくらい音楽が好きな狂ったひとだったら,きっと研究すること自体が楽しくなるはず.

私も,歌うことが好きで歌を研究することになったが,研究を通して歌のことをもっと知れて,とても楽しい.

 

身近にあるけど,謎が多く奥が深い音楽を解き明かすロマンと夢のある研究分野だと思う.

 

音楽情報学の研究,やろうぜ!!