NIPS 2018 Schedule

continuous learning (CL) je schopnost modelu neustále se učit z proudu dat, stavět na tom, co se dříve naučilo, a proto vykazovat pozitivní přenos, stejně jako schopnost pamatovat si dříve viděné úkoly. CL je zásadním krokem k umělé inteligenci, protože umožňuje agentovi přizpůsobit se neustále se měnícímu prostředí, charakteristickému znaku přirozené inteligence. Má také důsledky pro učení pod dohledem nebo bez dozoru. Například, když datová sada není správně zamíchána nebo existuje drift ve vstupní distribuci, model překonává nedávno viděná data a zapomíná na zbytek-jevy označované jako katastrofické zapomínání , které je součástí CL a je něco, co Cl systémy mají za cíl řešit.
kontinuální učení je definováno v praxi prostřednictvím řady desiderata. Neúplné seznamy zahrnují:
* online učení – učení se vyskytuje v každém okamžiku, bez pevných úkolů nebo datových sad a bez jasných hranic mezi úkoly;
* přítomnost přenosu (vpřed/vzad) – model by měl být schopen přenášet z dříve viděných dat nebo úkolů na nové, stejně jako možná nový úkol by měl pomoci zlepšit výkon starších;
* odolnost proti katastrofickému zapomínání – nové učení nezničí výkon na dříve viděných datech;
* ohraničená velikost systému-kapacita modelu by měla být stanovena, což nutí systém inteligentně využívat svou kapacitu a elegantně zapomínat informace, aby zajistil maximalizaci budoucí odměny;
* žádný přímý přístup k předchozím zkušenostem-zatímco model si pamatuje omezené množství zkušeností, algoritmus kontinuálního učení by neměl mít přímý přístup k minulým úkolům nebo být schopen přetočit životní prostředí;
v předchozím vydání workshopu se zaměřil na definování úplného seznamu desiderata, co by měl být systém s podporou kontinuálního učení (CL) schopen dělat. Věříme, že v tomto vydání bychom měli dále omezit diskusi se zaměřením na to, jak hodnotit CL a jak se vztahuje k jiným existujícím tématům (např. celoživotní učení, transfer learning, meta-learning) a jak by nápady z těchto témat mohly být užitečné pro neustálé učení.
různé aspekty kontinuálního učení jsou proti sobě (např. pevná kapacita modelu a nezapomínání), což také vyvolává otázku, Jak hodnotit systémy kontinuálního učení. Na jedné straně, jaké jsou správné kompromisy mezi těmito různými protichůdnými silami? Jak porovnáme existující algoritmy s ohledem na tyto různé dimenze, podle kterých bychom je měli hodnotit(např. zapomínání, pozitivní přenos)? Jaké jsou správné metriky, které bychom měli hlásit? Na druhou stranu, optimální nebo smysluplné kompromisy budou pevně definovány daty nebo alespoň typem úkolů, které používáme k testování algoritmů. Jeden převládající úkol používaný mnoha nedávnými články je PermutedMNIST. Ale protože MNIST není spolehlivým datovým souborem pro klasifikaci, tak PermutedMNIST může být pro neustálé učení velmi zavádějící. Jaká by byla správná měřítka, datové sady nebo úkoly pro plodné využití tohoto tématu?
v neposlední řadě budeme také podporovat prezentaci nových přístupů k CL a implementovaným systémům, které pomohou konkretizovat diskusi o tom, co je CL a jak hodnotit Cl systémy.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna.