NIPS 2018 Schedule

Continual learning (CL) er evnen af en model til at lære hele tiden fra en strøm af data, bygger på, hvad der blev lært tidligere, dermed udviser positiv overførsel, samt at være i stand til at huske tidligere set opgaver. CL er et grundlæggende skridt i retning af kunstig intelligens, da det giver agenten mulighed for at tilpasse sig et konstant skiftende miljø, et kendetegn for naturlig intelligens. Det har også konsekvenser for overvåget eller uovervåget læring. For eksempel, når datasættet ikke blandes korrekt, eller der findes en drift i inputfordelingen, overgår modellen de nyligt set data og glemmer resten-fænomener kaldet katastrofal glemme, som er en del af CL og er noget CL-systemer sigter mod at adressere.
kontinuerlig læring defineres i praksis gennem en række desiderata. En ikke-komplet lister omfatter:
* Online læring-læring sker på hvert øjeblik, uden faste opgaver eller datasæt og ingen klare grænser mellem opgaver;
* tilstedeværelse af overførsel (frem/tilbage) – modellen skal være i stand til at overføre fra tidligere set data eller opgaver til nye, såvel som muligvis ny opgave skal hjælpe med at forbedre ydeevnen på ældre;
* modstand mod katastrofal glemme-ny læring ødelægger ikke ydeevnen på tidligere set data;
* afgrænset systemstørrelse – modelkapaciteten skal fastsættes, hvilket tvinger systemet til at bruge sin kapacitet intelligent såvel som yndefuldt at glemme information sådan for at sikre maksimal fremtidig belønning;
* ingen direkte adgang til tidligere erfaringer-mens modellen kan huske en begrænset mængde erfaring, bør en kontinuerlig læringsalgoritme ikke have direkte adgang til tidligere opgaver eller være i stand til at spole miljøet tilbage;
i den forrige udgave af værkstedet har fokus været på at definere en komplet liste over desiderata, hvad et kontinuerligt læringssystem (CL) skal kunne gøre. Vi mener, at vi i denne udgave yderligere bør begrænse diskussionen med fokus på, hvordan man vurderer CL, og hvordan den relaterer til andre eksisterende emner (f. eks. livslang læring, overførsel læring, meta-læring), og hvordan ideer fra disse emner kunne være nyttige for løbende læring.
forskellige aspekter af kontinuerlig læring står i modsætning til hinanden (f.eks. fast modelkapacitet og ikke at glemme), hvilket også rejser spørgsmålet om, hvordan man evaluerer løbende læringssystemer. En hånd, hvad er de rigtige afvejninger mellem disse forskellige modsatte kræfter? Hvordan sammenligner vi eksisterende algoritmer givet disse forskellige dimensioner, som vi skal evaluere dem (f. eks. glemme, positiv overførsel)? Hvad er de rigtige målinger, vi skal rapportere? På den anden side defineres optimale eller meningsfulde afvejninger tæt af de data eller i det mindste typen af opgaver, vi bruger til at teste algoritmerne. En udbredt opgave, der bruges af mange nylige papirer, er PermutedMNIST. Men da MNIST ikke er et pålideligt datasæt til klassificering, så PermutedMNIST kan være ekstremt vildledende for kontinuerlig læring. Hvad ville være de rigtige benchmarks, datasæt eller opgaver til frugtbart at udnytte dette emne?
endelig vil vi også tilskynde til præsentation af både nye tilgange til CL og implementerede systemer, som vil hjælpe med at konkretisere diskussionen om, hvad CL er, og hvordan man evaluerer CL-systemer.

Skriv et svar

Din e-mailadresse vil ikke blive publiceret.