NIPS2018Schedule

継続的学習(CL)は、以前に学んだことに基づいて構築されたデータのストリームから継続的に学習するモデルの能力であり、肯定的な転送を表 CLは、エージェントが自然知能の特徴である継続的に変化する環境に適応することを可能にするため、人工知能に向けた基本的なステップです。 また、教師なし学習や教師なし学習にも影響します。 たとえば、データセットが適切にシャッフルされていない場合や、入力分布にドリフトが存在する場合、モデルは最近見たデータを過剰適合させ、残りを忘
継続的な学習は、一連のdesiderataを通じて実際に定義されています。
*オンライン学習-学習は、固定されたタスクやデータセットがなく、タスク間の明確な境界がない、すべての瞬間に発生します;
*転送の存在(前方/後方)–モデルは以前に見たデータまたはタスクから新しいタスクに転送できる必要があります。
*壊滅的な忘却への抵抗-新しい学習は前に見たデータのパフォーマンスを破壊しません。
*有界なシステムサイズ–モデル容量を固定し、システムがその容量をインテリジェントに使用するだけでなく、将来の報酬を最大化するために情報を優雅に忘却する必要があります。;
*以前の経験に直接アクセスすることはできません-モデルは限られた量の経験を記憶することができますが、継続的な学習アルゴリズムは、過去のタ このエディションでは、CLを評価する方法と、それが他の既存のトピック(例えば、CLを評価する方法)とどのように関連するかに焦点を当てて議論を 生涯学習、転移学習、メタ学習)と、これらのトピックからのアイデアは、継続的な学習のために有用である可能性がどのように。
継続的な学習のさまざまな側面が互いに反対している(例えば、固定モデル能力と忘れてはならない)ため、継続的な学習システムをどのように評価す 一方で、これらの異なる反対の力の間の正しいトレードオフは何ですか? これらの異なる次元を与えられた既存のアルゴリズムをどのように比較して評価するのですか(例えば、忘却、正の転送)。 報告すべき適切な指標は何ですか? 一方、最適または意味のあるトレードオフは、データまたは少なくともアルゴリズムをテストするために使用するタスクの種類によって厳密に定義され 最近の多くの論文で使用されている一般的なタスクの1つはPermutedMNISTです。 しかし、MNISTは分類のための信頼できるデータセットではないため、PermutedMNISTは継続的な学習にとって非常に誤解を招く可能性があります。 このトピックを実りあるものにするための適切なベンチマーク、データセット、またはタスクは何でしょうか?
最後に、CLに対する新しいアプローチと実装されたシステムの両方の提示を奨励し、CLとは何か、CLシステムの評価方法の議論を具体化するのに役立ち

コメントを残す

メールアドレスが公開されることはありません。