NIPS 2018 Schedule

continuous learning (CL) on mallin kyky oppia jatkuvasti datavirrasta, joka perustuu aiemmin opittuun, mikä osoittaa positiivista siirtoa, sekä kyky muistaa aiemmin nähtyjä tehtäviä. CL on perustavanlaatuinen askel kohti tekoälyä, sillä sen avulla agentti voi sopeutua jatkuvasti muuttuvaan ympäristöön, joka on luonnollisen älykkyyden tunnusmerkki. Sillä on myös vaikutuksia valvottuun tai valvomattomaan oppimiseen. Esimerkiksi, kun tietojoukkoa ei sekoiteta oikein tai syöttöjakaumassa on drift, malli ylittää äskettäin nähdyn datan, unohtaen loput — ilmiöt, joita kutsutaan katastrofaaliseksi unohtamiseksi, joka on osa CL: ää ja jota CL: n järjestelmät pyrkivät käsittelemään.
jatkuva oppiminen määritellään käytännössä desiderata-sarjan kautta. Ei-täydellinen luettelo sisältää:
* verkko-oppiminen — oppiminen tapahtuu joka hetki ilman kiinteitä tehtäviä tai tietokokonaisuuksia, eikä tehtävien välillä ole selkeitä rajoja;
* Siirtymä (eteenpäin/taaksepäin) — mallin pitäisi pystyä siirtämään aiemmin nähdyistä tiedoista tai tehtävistä uusiin, ja mahdollisesti uuden tehtävän pitäisi auttaa parantamaan suorituskykyä vanhoilla;
* katastrofaalisen unohtamisen kestävyys — Uusi oppiminen ei tuhoa suorituskykyä aiemmin nähdyillä tiedoilla;
* rajoitettu järjestelmän koko — mallin kapasiteetti on vahvistettava, mikä pakottaa järjestelmän käyttämään kapasiteettiaan älykkäästi ja sulavasti unohtaen tiedot, jotta varmistetaan mahdollisimman suuri palkkio tulevaisuudessa.;
* ei suoraa pääsyä aikaisempaan kokemukseen — vaikka malli muistaa rajallisen määrän kokemusta, jatkuvan oppimisen algoritmilla ei pitäisi olla suoraa pääsyä aikaisempiin tehtäviin tai se ei saisi kelata ympäristöä;
Workshopin edellisessä painoksessa on keskitytty määrittelemään täydellinen luettelo toiveista siitä, mitä jatkuvan oppimisen (cl) mahdollistavan järjestelmän pitäisi pystyä tekemään. Uskomme, että tässä painoksessa meidän tulisi edelleen rajoittaa keskustelua keskittymällä siihen, miten CL: ää arvioidaan ja miten se liittyy muihin olemassa oleviin aiheisiin (esim. life-long learning, transfer learning, meta-learning) ja miten näiden aiheiden ideat voisivat olla hyödyllisiä jatkuvassa oppimisessa.
jatkuvan oppimisen eri osa-alueet ovat toistensa vastakohtia (esim.kiinteä mallikapasiteetti ja unohtamatta), mikä herättää myös kysymyksen jatkuvan oppimisen järjestelmien arvioinnista. Yksi käsi, mitkä ovat oikeat kompromissit näiden eri vastakkaisten voimien välillä? Miten vertaamme olemassa olevia algoritmeja ottaen huomioon nämä eri ulottuvuudet, joita pitkin meidän pitäisi arvioida niitä (esim. unohtaminen, positiivinen siirto)? Mitkä ovat oikeat mittarit, jotka meidän pitäisi ilmoittaa? Toisaalta optimaaliset tai mielekkäät kompromissit määräytyvät tiukasti algoritmien testaamiseen käytettävien tietojen tai ainakin tehtävien tyypin mukaan. Yksi yleinen tehtävä käyttää monia viime papereita on PermutedMNIST. Mutta koska MNIST ei ole luotettava aineisto luokittelua varten, niin permutedmnist saattaa olla erittäin harhaanjohtava jatkuvan oppimisen kannalta. Mitkä olisivat oikeat vertailukohdat, aineistot tai tehtävät tämän aiheen tulokselliseen hyödyntämiseen?
lopuksi kannustamme esittelemään sekä uusia lähestymistapoja CL: ään että toteutettuja järjestelmiä, mikä auttaa konkretisoimaan keskustelua siitä, mitä CL on ja miten CL-järjestelmiä arvioidaan.

Vastaa

Sähköpostiosoitettasi ei julkaista.