Nips 2018 Schedule

continu leren (Cl) is het vermogen van een model om voortdurend te leren van een stroom van gegevens, voortbouwend op wat eerder werd geleerd, dus het vertonen van positieve overdracht, evenals de mogelijkheid om eerder gezien taken te onthouden. CL is een fundamentele stap in de richting van kunstmatige intelligentie, omdat het de agent in staat stelt zich aan te passen aan een voortdurend veranderende omgeving, een kenmerk van natuurlijke intelligentie. Het heeft ook implicaties voor begeleid of zonder toezicht leren. Bijvoorbeeld, wanneer de dataset niet goed geschud is of er een drift bestaat in de invoerdistributie, dan overstijgt het model de recent geziene gegevens en vergeet de rest — fenomenen die katastrofisch vergeten worden genoemd, wat deel uitmaakt van CL en iets is dat CL-systemen willen aanpakken.
continu leren wordt in de praktijk gedefinieerd door een reeks desiderata. Een niet-volledige lijst bevat:
* Online Leren — Leren vindt op elk moment plaats, zonder vaste taken of datasets en zonder duidelijke grenzen tussen taken;
* aanwezigheid van overdracht (vooruit/achteruit) — het model moet in staat zijn gegevens of taken over te dragen naar nieuwe, evenals mogelijk nieuwe taken moeten de prestaties van oudere gegevens helpen verbeteren;
* weerstand tegen catastrofaal vergeten — nieuw leren vernietigt de prestaties van eerder gezien gegevens niet;
* beperkte systeemgrootte — de capaciteit van het model moet worden vastgesteld, waardoor het systeem zijn capaciteit op intelligente wijze moet gebruiken en op sierlijke wijze informatie moet vergeten om ervoor te zorgen dat de toekomstige beloning wordt gemaximaliseerd;
* geen directe toegang tot eerdere ervaring — hoewel het model een beperkte hoeveelheid ervaring kan onthouden, mag een algoritme voor continu leren geen directe toegang hebben tot vroegere taken of de omgeving kunnen terugspoelen;
In de vorige editie van de workshop lag de nadruk op het definiëren van een volledige lijst van desiderata, van wat een systeem voor continu leren (CL) zou moeten kunnen doen. Wij zijn van mening dat we in deze editie de discussie verder moeten beperken met een focus op hoe CL te evalueren en hoe het zich verhoudt tot andere bestaande onderwerpen (bijv. levenslang leren, transfer learning, meta-learning) en hoe ideeën uit deze onderwerpen nuttig kunnen zijn voor continu leren.
verschillende aspecten van continu leren staan tegenover elkaar (b.v. vaste modelcapaciteit en niet te vergeten), wat ook de vraag oproept hoe systemen voor continu leren moeten worden geëvalueerd. Ten eerste, wat zijn de juiste afwegingen tussen deze verschillende tegengestelde krachten? Hoe vergelijken we bestaande algoritmen gezien deze verschillende dimensies waarlangs we ze moeten evalueren (bijvoorbeeld vergeten, positieve overdracht)? Wat zijn de juiste statistieken die we moeten rapporteren? Aan de andere kant zullen optimale of zinvolle trade-offs strak worden gedefinieerd door de data of op zijn minst het type taken dat we gebruiken om de algoritmen te testen. Een overheersende taak gebruikt door veel recente papers is PermutedMNIST. Maar als MNIST is niet een betrouwbare dataset voor classificatie, dus PermutedMNIST kan zeer misleidend zijn voor continu leren. Wat zouden de juiste benchmarks, datasets of taken zijn om dit onderwerp vruchtbaar te benutten?
ten slotte zullen we ook de presentatie van zowel nieuwe benaderingen van CL als geïmplementeerde systemen aanmoedigen, wat zal helpen bij het concretiseren van de discussie over wat CL is en hoe CL-systemen moeten worden geëvalueerd.

Geef een antwoord

Het e-mailadres wordt niet gepubliceerd.