Calendrier NIPS 2018

L’apprentissage continu (CL) est la capacité d’un modèle à apprendre continuellement à partir d’un flux de données, en s’appuyant sur ce qui a été appris précédemment, présentant ainsi un transfert positif, ainsi que la capacité de se souvenir des tâches précédemment vues. La CL est une étape fondamentale vers l’intelligence artificielle, car elle permet à l’agent de s’adapter à un environnement en constante évolution, une caractéristique de l’intelligence naturelle. Cela a également des implications pour l’apprentissage supervisé ou non supervisé. Par exemple, lorsque l’ensemble de données n’est pas correctement mélangé ou qu’il existe une dérive dans la distribution d’entrée, le modèle surjoue les données récemment vues, oubliant le reste – des phénomènes appelés oubli catastrophique, qui font partie de CL et sont quelque chose que les systèmes CL visent à résoudre.
L’apprentissage continu est défini dans la pratique à travers une série de desiderata. Une liste non complète comprend:
* Apprentissage en ligne – l’apprentissage se produit à chaque instant, sans tâches ou ensembles de données fixes et sans frontières claires entre les tâches;
* Présence de transfert (avant / arrière) – le modèle devrait être capable de transférer des données ou des tâches précédemment vues vers de nouvelles, ainsi que, éventuellement, une nouvelle tâche devrait aider à améliorer les performances des anciennes;
* Résistance à l’oubli catastrophique – le nouvel apprentissage ne détruit pas les performances des données précédemment vues;
* Taille du système limitée – la capacité du modèle doit être fixe, forçant le système à utiliser sa capacité intelligemment ainsi qu’à oublier gracieusement les informations afin de maximiser la récompense future;
* Pas d’accès direct à l’expérience antérieure Dans l’édition précédente de l’atelier, l’accent a été mis sur la définition d’une liste complète des desiderata, de ce qu’un système activé par l’apprentissage continu (CL) devrait être capable de faire. Nous pensons que dans cette édition, nous devrions davantage restreindre la discussion en mettant l’accent sur la façon d’évaluer la CL et son lien avec d’autres sujets existants (par ex. apprentissage tout au long de la vie, apprentissage par transfert, méta-apprentissage) et comment les idées de ces sujets pourraient être utiles pour un apprentissage continu.
Différents aspects de l’apprentissage continu s’opposent les uns aux autres (par exemple, capacité de modèle fixe et non-oubli), ce qui pose également la question de savoir comment évaluer les systèmes d’apprentissage continu. D’une part, quels sont les bons compromis entre ces différentes forces opposées? Comment comparons-nous les algorithmes existants compte tenu de ces différentes dimensions selon lesquelles nous devrions les évaluer (par exemple, oubli, transfert positif)? Quelles sont les bonnes mesures que nous devrions signaler? D’un autre côté, les compromis optimaux ou significatifs seront étroitement définis par les données ou du moins le type de tâches que nous utilisons pour tester les algorithmes. Une tâche répandue utilisée par de nombreux articles récents est PermutedMNIST. Mais comme MNIST n’est pas un ensemble de données fiable pour la classification, PermutedMNIST pourrait être extrêmement trompeur pour un apprentissage continu. Quels seraient les bons benchmarks, jeux de données ou tâches pour exploiter fructueusement ce sujet?
Enfin, nous encouragerons également la présentation de nouvelles approches de la CL et des systèmes mis en œuvre, ce qui aidera à concrétiser la discussion sur ce qu’est la CL et comment évaluer les systèmes CL.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.