Memoria de ejemplares
Un mecanismo de memoria de aprendizaje automático que almacena ejemplos de entrenamiento específicos para ayudar en tareas como el aprendizaje continuo y la clasificación de pocos ejemplares.
≡Descripción
En el aprendizaje automático, la memoria de ejemplares se refiere a arquitecturas que almacenan un subconjunto de puntos de datos de entrada sin procesar o representaciones de características intermedias de fases de entrenamiento pasadas. En lugar de depender únicamente de pesos paramétricos actualizados, el modelo puede recuperar estos ejemplos almacenados durante la inferencia o en pasos de entrenamiento posteriores para guiar las decisiones.
Esta técnica se utiliza ampliamente en el aprendizaje continuo y el aprendizaje incremental de clases para mitigar el olvido catastrófico. Al retener y reproducir muestras representativas de clases anteriores junto con nuevos datos, el modelo conserva sus capacidades de rendimiento histórico al adaptarse a nuevas distribuciones.
⚙Usos
- Mitigar el olvido catastrófico en marcos de aprendizaje continuo y aprendizaje incremental.
- Soporte para modelos de clasificación basados en pocos ejemplares (few-shot) y basados en ejemplares.
- Facilitar la repetición de experiencias (experience replay) en aprendizaje reforzado y modelos generativos.