Harmonogram NIPS 2018

ciągłe uczenie się (ang. Continual learning, CL) to zdolność modelu do ciągłego uczenia się ze strumienia danych, w oparciu o to, czego nauczyliśmy się wcześniej, co przejawia pozytywny transfer, a także jest w stanie zapamiętać wcześniej widziane zadania. CL jest fundamentalnym krokiem w kierunku sztucznej inteligencji, ponieważ pozwala agentowi dostosować się do stale zmieniającego się środowiska, charakterystycznego dla naturalnej inteligencji. Ma to również wpływ na uczenie się nadzorowane lub nienadzorowane. Na przykład, gdy zbiór danych nie jest prawidłowo przetasowany lub istnieje dryf w dystrybucji wejściowej, model przecenia ostatnio widziane dane, zapominając o reszcie-zjawiskach zwanych katastrofalnym zapomnieniem, które jest częścią CL i jest czymś, co systemy CL mają na celu rozwiązać.
ciągłe uczenie się jest definiowane w praktyce poprzez szereg dezyderat. Niekompletna lista zawiera:
* uczenie się Online-uczenie się odbywa się w każdym momencie, bez stałych zadań lub zestawów danych i bez wyraźnych granic między zadaniami;
* obecność transferu (do przodu / do tyłu) – model powinien być w stanie przenieść z wcześniej widzianych danych lub zadań do nowych, a także prawdopodobnie nowe zadanie powinno pomóc poprawić wydajność na starszych;
* odporność na katastrofalne zapomnienie-nowe uczenie się nie niszczy wydajności na wcześniej widzianych danych;
* ograniczony rozmiar systemu-pojemność modelu powinna zostać ustalona, zmuszając system inteligentnie wykorzystywać swoją pojemność, a także wdzięcznie zapominając o takich informacjach, aby zapewnić maksymalizację przyszłej nagrody;
* brak bezpośredniego dostępu do poprzednich doświadczeń – chociaż model może zapamiętać ograniczoną ilość doświadczenia, algorytm ciągłego uczenia się nie powinien mieć bezpośredniego dostępu do przeszłych zadań ani być w stanie przewijać środowiska;
w poprzedniej edycji warsztatów skupiono się na zdefiniowaniu pełnej listy dezyderat, tego, co system ciągłego uczenia się (CL) powinien być w stanie zrobić. Uważamy, że w tej edycji powinniśmy jeszcze bardziej ograniczyć dyskusję z naciskiem na to, jak oceniać CL i jak odnosi się on do innych istniejących tematów (np. uczenie się przez całe życie, transfer learning, meta-learning) i jak pomysły z tych tematów mogą być przydatne do ciągłego uczenia się.
różne aspekty ciągłego uczenia się są w opozycji do siebie (np. stała zdolność modelowa i nie zapominanie), co również rodzi pytanie, Jak oceniać systemy ciągłego uczenia się. Z jednej strony, jakie są właściwe kompromisy między tymi różnymi przeciwnymi siłami? Jak porównać istniejące algorytmy, biorąc pod uwagę te różne wymiary, według których powinniśmy je oceniać (np. zapominanie, transfer dodatni)? Jakie są właściwe wskaźniki, które powinniśmy zgłosić? Z drugiej strony, optymalne lub znaczące kompromisy będą ściśle określone przez dane lub przynajmniej rodzaj zadań, których używamy do testowania algorytmów. Jednym z powszechnych zadań używanych przez wiele ostatnich artykułów jest PermutedMNIST. Ale ponieważ MNIST nie jest wiarygodnym zestawem danych do klasyfikacji, więc PermutedMNIST może być bardzo mylące dla ciągłego uczenia się. Jakie byłyby odpowiednie benchmarki, zbiory danych lub zadania do owocnego wykorzystania tego tematu?
wreszcie, będziemy również zachęcać do prezentacji zarówno nowatorskich podejść do CL, jak i wdrożonych systemów, co pomoże skonkretyzować dyskusję na temat tego, czym jest CL i jak oceniać systemy CL.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.