NTTドコモR&Dの技術ブログです。

トップ > AI・機械学習 > 【NeurIPS2022】過去17年間の機械学習・AI研究のトレンドを調査してみた

【NeurIPS2022】過去17年間の機械学習・AI研究のトレンドを調査してみた

AI・機械学習 学生向け 論文・研究紹介

こんにちは。dcm_chidaです。

ドコモ開発者ブログ初投稿です。よろしくお願いします。

はじめに

みなさん「NeurIPS」と言う国際会議名を聞いたことがあるでしょうか？

機械学習・データ分析の分野では毎年たくさんの国際会議が開催されていますが、NeurIPSはその中でも歴史あるトップカンファレンスの一つです。世界中の研究機関や企業から最先端の論文が投稿されます。

NTTドコモR＆DではKDDやNeurIPSといった国際会議の論文読み会を不定期に開催しております。「今年もNeurIPSの論文読み会やるかー」と思って、会議そのもの概要や最新の研究動向などを調べてみたので、ブログ記事にまとめようと思います。

論文そのものの解説記事ではないのでご注意ください。

１分で分かるNeurIPS2022の概要まとめ

  • 会議名称
    • The Conference and Workshop on Neural Information Processing Systems
  • 公式HP
  • 開催期間
    • Monday November 28th through Friday December 9th
  • 開催地
    • the New Orleans Convention Center（オンラインとのハイブリッド開催）
  • 採択率
    • 25.6%

NeurIPSは毎年12月に開催される機械学習と計算論的神経科学の国際会議です。GAFAMをはじめとする米国のIT企業・研究機関が多く参加しています。開始当初は"Neural"という名の通り、生物学的にコンピュータを用いて脳神経を研究する会議でしたが、2012年以降DeepLearningの登場により人工知能に関するトップレベルの論文が多く集まっています。特に他の人工知能系の学会と比べて理論的な論文が多い印象です。

NeurIPS2022見どころチェック！

BestAwardsを見てみる

投稿された論文の中で最も際立って素晴らしかったものはBestAwardsとして表彰されます。今後重要となる研究課題やベンチマークとなる手法が取り上げられる可能性が高いので要チェックです。

他にもNeurIPSでは10年前に遡って、現在に大きな影響を及ぼした投稿論文を表彰する「Test of Time Award」と言う部門が用意されています。今年はあの有名なAlexNetの論文が選出されていました。満場一致だったそうです。

“ImageNet Classification with Deep Convolutional Neural Networks” (Alex Krizhevsky et al., 2012)

今年でDeepLearningブーム10周年ということで、もう一度過去の論文を読んでみるのもいいですね。

OpenReviewを見てみる

最近ではいろんな国際学会で論文採択に関するレビュープロセスが公開されています。どの論文のレビューを見ても直球でPros/Consが書かれていてビビります。（流石トップカンファレンスだ…）。 RejectedPaperも見ることができるので参考になるかもしれません。

Tutorialsを見てみる

NeurIPSではTutorialsと言う特定の研究分野を俯瞰的に紹介するようなセッションも用意されています。

初心者向け（？）の導入部分も書いてあるので、ポスター発表などの難解なセッションと比べると割と取っ付きやすいです。その分野のサーベイとなっている部分もあるので、初手はTutorialsがいいのではないでしょうか。

Competition Trackを見てみる

NeurIPSではKaggleのような機械学習コンペがいくつか開催されています。扱うテーマはどれも研究レベルのチャレンジングなものばかりなので、なかなかハードルが高いです。

個人的に気になっているのはThe Trojan Detection Challengeです。マルウェア検出をテーマとしているコンペですが、データサイズが数GBということもあって取っ付きにくい感じでした。時間とやる気がある時にまた見てみます…

実際の発表を見てみる

NeurIPSの発表とスライドは下記のサイトでほぼ全て公開されています。（こんなものがタダで見れてしまっていいのか…）

NeurIPS 2022 · SlidesLive

論文をいきなり読んでも難解なものが多くて辛いですよね。まずはスライドを一通り理解してから論文を読むと理解が捗るでしょう。

NeurIPS2022のKeywordsを分析してみる

さて本題ですが、今回はNeurIPSで盛り上がっていた研究トレンドを調査しようということでキーワードの分析をしていきたいと思います。

NeurIPSの各論文のページにはKeywordsという項目（下図赤枠）が設定されています。まずは2022年の論文のキーワードを集計してみます。

出現頻度トップ30がこちらです。

Reinforcement Learningが160件以上で最多数でした。DeepLearningよりも多いのは意外です。イマドキDeepなのは当たり前なのでわざわざキーワードと指定することもないんですかね。その他ノイズっぽいキーワードも含まれていますが、RepresentationやGraphなども比較的多いことがわかります。Federated LearningやFairnessといった最近流行っていそうなワードも上位に来ていました。

同様に2021,2020のキーワードもグラフ化して見てみましょう。

Ooops🤮!!

ここで問題発生です。横軸を見るとスケールが全然一致していません。

開催年別のキーワード種類数は下表の通りです。どうやら2021年は投稿時に選択できるキーワードの種類が34種類と少なすぎるため、DeepLearningなどの一般的なワードが多く使われているようです。2020年もAlgorithmsやTheoryという実質何の役にも立たないキーワードばかりですね。逆に2022はキーワード数が異常に多いことがわかります。投稿者が自由に入力出来たんでしょうか…？

year キーワード種類数
2022 5470
2021 34
2020 247

いずれにしても、これでは比較するのが難しいので別の方法を考えます。

自然言語処理を用いたNeurIPSトレンド分析

前述の通りキーワードを集計しても有意義な分析が出来ないため、論文タイトルの頻出ワードを利用して分析してみることにします。

調査方法

  1. 下記URLからHTMLファイルを取得
  2. BeutifulSoupでHTML解析、タイトルを取得
  3. タイトルの単語を前処理
    • 記号除去・小文字変換・レンマ化・ストップワード（日常使うような単語）除去・品詞タグ付け等を行う
  4. 集計
このあたりのNLP的な手法については長くなりそうなので別の記事にまとめたいと思います。

過去17年間のNeurIPSのトレンド推移

NeurIPSのWebサイトでは2006年〜2022年の論文タイトルが公開されていたので、過去17年間を対象に集計を行いました。

品詞別に分けたほうがわかりやすそうだったので「名詞（noun）」「形容詞（adjective）」「動詞（verb）」に分けています。全期間棒グラフ並べるのも面倒なので、bar-chart-raceスタイルで一気に可視化します。

名詞（noun）

Playボタンを押すと棒グラフが競争してくれます。下のバーでYearを指定することも可能です。

さて、2006から見てみましょう。

  • 2006~
    • kernelやregressionのキーワードが多い。SVMや回帰などの古典的機械学習アルゴリズムの全盛期と思われる。
  • 2010~
    • networkやdataが急騰。ニューラルネットワークがビッグデータの波に乗って復興してきた。
  • 2015~
    • optimizationが増加。ニューラルネットワークの研究が一周して、最適化の関心が高まるフェーズに入ったようだ。
  • 2017~
    • reinforcementやgraphなどDeep応用が進む。（cf. 2016年AlphaGoが登場）
  • 2022
    • modelの時代。巨大なIT企業が大規模データで独自のモデルを生成して戦う時代になってきているのではなかろうか。

形容詞（adjective）

こちらも2006から振り返ってみます。

  • 2006~
    • bayesianの時代。ベイズで人間の認知をモデル化しようという計算生命科学の雰囲気を感じる。Bayesian自体は現在でも上位にランクインしているNeurIPSを代表するワードとなっています。
  • 2011~
    • largeやdeepなどがランクイン。DeepLearningの夜明け。
    • これ以降はNeurIPSの名の通りneural一強の時代となる。
  • 2017~
    • robustやadversarialが上位に来る。DeepLearningの安定性や安全性に注目が集まってきた。

動詞（verb）

動詞は他の品詞と比べて一般的な単語が多く分析が難しいですが、一応見ていきます。

※ Lemmatizeによってbesed→base、using→useといった語形変換をしています。

  • 2006~
    • learnが強い。spikeは"Spiking Neurons"のように（脳神経の）ニューロン発火などの研究で用いられていた。計算生命科学の時代。
  • 2015~
    • embedが微増。自然言語処理の分野でWord Embeddingという単語がよく使われていたからか？ (cf. 2013年　Word2Vec)
  • 2020
    • federateがランクイン。"Federated Learning" (データを分散した状態で機械学習を行う手法)はGoogleが力を入れている分野。

Transformerを用いてトレンド推移を可視化してみる

最後にタイトルを「文ベクトル」に変換して、散布図としてプロットしてみようと思います。

文ベクトルの生成は下記のライブラリを使い、プロットの際はキーワード別に色付けしています。

※ 全部プロット出来なかったので、主要なキーワードを含む論文1500件くらいに絞って可視化しています。

範囲指定して拡大してみたり、凡例クリック（ダブルクリック）して指定したりすると詳しく見れます。

前処理が甘すぎて上手く可視化出来ませんでしたが、分野が似ている研究は距離が近いように見えます。因果推論と解釈性（Causual Inference/Interpretability）や画像認識と物体検出などは結構まとまっている気がします。

特に左上のTransformerなどのNLP系の論文とCV系の論文は距離が近づいていそうです。数年前からマルチモーダル学習（画像、音声、テキストなど複数の種類のデータを学習すること）は大きな研究テーマとなっており、実際にプロット上でも確認できます。

「目・耳・口」のAI化が進み、今後はChatGBTのように強化学習等と組み合わさっていくことで、いつの日か本当に映画「A.I.」のようなSF映画の世界が実現するかもしれませんね。

おわりに

年明けにNeurIPS2022論文読み会開催できたらいいなーと思っていたのですが、ちょっと時期が遅くなってしまいました。今更やるのもどうかなといった感じなので、気になった論文はこちらのブログで紹介していこうかなと思っています。アウトプットはいいぞ〜！

それではまた次回。Adios!

参考