NIPS 2018 Schedule

L’apprendimento continuo (CL) è la capacità di un modello di apprendere continuamente da un flusso di dati, basandosi su ciò che è stato appreso in precedenza, esibendo quindi un trasferimento positivo, oltre ad essere in grado di ricordare le attività precedentemente viste. CL è un passo fondamentale verso l’intelligenza artificiale, in quanto consente all’agente di adattarsi a un ambiente in continua evoluzione, un segno distintivo dell’intelligenza naturale. Ha anche implicazioni per l’apprendimento supervisionato o non supervisionato. Ad esempio, quando il set di dati non viene mescolato correttamente o esiste una deriva nella distribuzione di input, il modello sovralimenta i dati visti di recente, dimenticando il resto-fenomeni indicati come dimenticanza catastrofica, che fa parte di CL ed è qualcosa che i sistemi CL mirano ad affrontare.
L’apprendimento continuo è definito nella pratica attraverso una serie di desideri. Un elenco non completo include:
* Apprendimento online: l’apprendimento avviene in ogni momento, senza attività fisse o set di dati e senza confini chiari tra le attività;
* Presenza di trasferimento (avanti/indietro) — il modello dovrebbe essere in grado di trasferire da vista in precedenza dati o compiti nuovi, possibilmente nuova attività dovrebbe aiutare a migliorare le prestazioni su quelle più recenti;
* Resistenza al catastrofico dimenticare — nuovo di apprendimento non distruggere prestazioni precedentemente visto dati;
* Delimitata, la dimensione del sistema — il modello di capacità dovrebbe essere fisso, costringendo il sistema di utilizzare la sua capacità in modo intelligente e con la grazia dimenticare di informazioni tali da garantire la massimizzazione del futuro premio;
* Nessun accesso diretto alla precedente esperienza, mentre il modello è in grado di ricordare una quantità limitata di esperienza, un continuo algoritmo di apprendimento non devono avere accesso diretto da un passato di attività o essere in grado di riavvolgere l’ambiente;
Nella precedente edizione del workshop, l’attenzione si è concentrata sulla definizione di un elenco completo di desideri, di ciò che un continuo apprendimento (CL) abilitato il sistema dovrebbe essere in grado di fare. Crediamo che in questa edizione dovremmo limitare ulteriormente la discussione con un focus su come valutare CL e come si relaziona con altri argomenti esistenti (ad es. apprendimento lungo tutto l’arco della vita, apprendimento di trasferimento, meta-apprendimento) e come le idee da questi argomenti potrebbero essere utili per l’apprendimento continuo.
Diversi aspetti dell’apprendimento continuo sono in opposizione tra loro (ad esempio, capacità del modello fisso e non dimenticanza), il che solleva anche la questione di come valutare i sistemi di apprendimento continuo. Da un lato, quali sono i giusti compromessi tra queste diverse forze opposte? Come confrontiamo gli algoritmi esistenti date queste diverse dimensioni lungo le quali dovremmo valutarli (ad esempio dimenticando, trasferimento positivo)? Quali sono le metriche giuste che dovremmo segnalare? D’altra parte, i compromessi ottimali o significativi saranno strettamente definiti dai dati o almeno dal tipo di attività che utilizziamo per testare gli algoritmi. Un compito prevalente utilizzato da molti documenti recenti è PermutedMNIST. Ma poiché MNIST non è un set di dati affidabile per la classificazione, quindi PermutedMNIST potrebbe essere estremamente fuorviante per l’apprendimento continuo. Quali sarebbero i giusti benchmark, set di dati o attività per sfruttare fruttuosamente questo argomento?
Infine, incoraggeremo anche la presentazione di entrambi i nuovi approcci a CL e sistemi implementati, che aiuteranno a concretizzare la discussione su cosa sia CL e su come valutare i sistemi CL.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.