難関国際会議の壁

2021年も 壁 Advent Calendar が開催されることになったわけだが、今回は真面目だが少々青臭い感じの記事を書こうと思う。テーマとして選ぶのは「難関国際会議の壁」である。 難関国際会議は、その定義上明らかなように論文を通すのが難しい学会のことを指す。 このような会議に通りやすい論文をどうやって書くかというのがこの記事の主題である1。 私の論文リストはGoogle Scholarの通りで、主著はある一本2を除いては一、二回の投稿で採録されているので、機械学習系の国際会議に論文を通したい場合にはある程度再現性があると考えられる。 ただし物事はそんなに単純ではないので大体このような記事は眉に唾をつけて読んだ方がいい。

「素人発想、玄人実行」の法則

金出先生の有名な言葉だが、これを聞くと「素人発想」に注目しがちであり、私が実際に金出先生の話を聞いた際も素人発想が大事だなと感じたものであった。 しかしここで注目したいのは「玄人実行」の方である。この記事での私の主張は「玄人実行していれば割と論文は通る」である。

玄人実行できていますか?

私自身は研究している時に、

と考えてしまうことがあるし、実際そのようにして論文が通らなかったことがある。これらは全て玄人実行できていない例である。 玄人実行とは何かを明示的に書くのは難しいので、玄人度が低いと感じる例をさらに列挙・クラスタリングしてみると以下のようになる。とにかくあらゆるところに気を配らないと玄人実行できないわけである。

玄人実行とは

逆にあえて私の思う玄人実行を(抽象的にではあるが)書いてみると、

となるだろうか。少なくとも玄人実行されている論文であれば、コミュニティ内での貢献が明らかであるし読んでいて学びがあるので、通してもいいかとなるわけである3。 一方玄人実行ができていない論文を読んでも確実な学びは少なく満足度があまり高くない。すると査読者も色々文句を言いたくなるものなのだろう。

玄人実行するには

玄人実行するには玄人実行できる人と研究をするのが一番手っ取り早くかつ確実4だが、それをいっては元も子もないので私がやっている工夫をいくつか紹介する。

1. アイデアを思いついた時点でちゃんとサーベイする

サーベイをいつやるかは人によると思うが、私は割と早い段階でしっかりサーベイする派である。 というのも、自分で手を動かせば動かすほど似た既存研究が見つかって欲しくないと思ってしまい、サーベイが甘くなってしまう気がするからである。 最近は早いうちにサーベイをしてきちんとこれまでの研究の文脈を整理するようにしている。 そうすると巨人の肩に乗ることができるので、割と簡単に課題を解決できたりするので、そういう利点もあってサーベイはなるべく早くやるようにしている。

2. 実験を簡単に拡張・再現・実行できるようにする

機械学習系の研究の多くは数値実験を通して手法の性質を理解するが、この実験はかなりめんどくさいので素人実行になりがちである。 例えば論文投稿後からはじめの査読結果が返ってくるまで二、三ヶ月はあるのだが、往々にして実験コードの動かし方を忘れてしまいがちである。 前処理スクリプトを実行して、学習スクリプトを実行して、評価スクリプトを実行して、ログを読んで図を頑張って描く、など、複雑な手順で実験していた場合、実行手順を書き残していても再実行の心理的ハードルは高い。 このような状況で査読者に追加実験を求められた場合、素人実行になってしまうわけである。 このようなことを避けるためには、再実験しやすいようにプログラムを書く必要がある。

私が行っている工夫は、ワークフローエンジンを使って実験を書くこと、そして実験プログラムの雛形を用意しておくことである。 具体的には luigi を使い、実験プログラム用のツール luigine を整備している。 例えば最近書いた論文の実験コードはそれらを使って書いている。 ワークフローエンジンを使うと良い理由は、

などが挙げられる。初期学習コストが必要な点は悪い点ではあるが、便利ツールを使う際には初期学習コストは必ず必要なのでそれは我慢するしかない。

3. 玄人実行できている論文をちゃんと分析する

玄人実行のやり方は色々あるので、自分が玄人実行だなと感じた論文がなぜ玄人実行されていると感じるのかを分析すると学びがある。 ただし難関国際会議に採録されている論文であっても玄人実行できていないものも少なくないので、これは自分の中の玄人実行像ができてきてからやるべきことなのかもしれない。

4. 玄人実行できているのか常に自問する

常に自分を疑え。

おわりに

学びのある研究をするためには玄人実行することが必要であり、また学びのある研究は難関国際会議であっても採録されやすい(気がする)ので、玄人実行して学びのある研究をやって論文を通しましょう、というのが本稿の主張である。 しかし難関国際会議に論文を通すのは研究者としては通過点であって、それさえできていればいいというわけではない。それこそ素人発想のインパクトのある研究をしなければいけないし、論文を書く以外のこともやって、とにかく何かしらの方向でインパクトを出さなければならない。 このように「難関国際会議の壁」の次には「インパクトの壁」があり、おそらくその後にも壁は続くのだろう。 次なる壁の一片でも掴めた際にはまたこのようにして記録を残したいと思う。

※この記事は2021/12/01時点での個人的な意見の表明であり、所属するいかなる組織の意見を代表するものではありません。意見・疑問・質問・苦情などがあればコメントやメールでお願いします。

  1. 難関国際会議に論文を通すのはある意味ゲームであり、論文を通せるからといって偉いわけではないが、通せないよりは通せた方が気持ちいい。 

  2. その一本は5,6回くらい投稿しなおして苦しかった記憶があるが、私のこれまで書いた論文の中ではそこそこ引用されているので世の中分からないものである。 

  3. もちろん玄人実行されている論文でもインパクトが小さくあまり面白くない論文はあるので玄人実行できていればいいわけではないが、玄人実行できないとそもそも学術的な積み重ねにはなりにくいのである。 

  4. 私でよければできる範囲で対応するのでご相談ください