Compartir tecnología

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Resumen

Este artículo revisa exhaustivamente el desarrollo de funciones de activación en el aprendizaje profundo, desde las primeras funciones Sigmoide y Tanh, hasta la serie ReLU ampliamente utilizada y las nuevas funciones de activación propuestas recientemente como Swish, Mish y GeLU. Se realiza un análisis en profundidad de las expresiones matemáticas, características, ventajas, limitaciones y aplicaciones de diversas funciones de activación en modelos típicos. A través de un análisis comparativo sistemático, este artículo analiza los principios de diseño, los estándares de evaluación del desempeño y las posibles direcciones de desarrollo futuro de las funciones de activación, proporcionando orientación teórica para la optimización y el diseño de modelos de aprendizaje profundo.

1. Introducción

La función de activación es un componente clave en las redes neuronales, que introduce características no lineales en la salida de las neuronas, lo que permite que las redes neuronales aprendan y representen mapeos no lineales complejos. Sin una función de activación, no importa cuán profunda sea una red neuronal, esencialmente solo puede representar transformaciones lineales, lo que limita en gran medida la capacidad expresiva de la red.
Con el rápido desarrollo del aprendizaje profundo, el diseño y la selección de funciones de activación se han convertido en factores importantes que afectan el rendimiento del modelo. Las diferentes funciones de activación tienen diferentes características, como fluidez del gradiente, complejidad computacional, grado de no linealidad, etc. Estas características afectan directamente la eficiencia del entrenamiento, la velocidad de convergencia y el rendimiento final de la red neuronal.
Este artículo tiene como objetivo revisar exhaustivamente la evolución de las funciones de activación, analizar en profundidad las características de varias funciones de activación y explorar su aplicación en los modelos modernos de aprendizaje profundo. Discutiremos los siguientes aspectos:

1. Funciones de activación clásicas: incluidas las primeras funciones de activación de uso común, como Sigmoide y Tanh.
2. ReLU y sus variantes: incluidos ReLU, Leaky ReLU, PReLU, ELU, etc.
3. Nuevas funciones de activación: funciones propuestas recientemente como Swish, Mish y GeLU.
4. Funciones de activación de propósito especial: como Softmax, Maxout, etc.
5. Comparación y selección de funciones de activación: analice las estrategias de selección de funciones de activación en diferentes escenarios.
6. Perspectivas futuras: explore las posibles direcciones de desarrollo de la investigación de la función de activación.

A través de esta revisión y análisis sistemáticos, esperamos proporcionar una referencia integral para investigadores y profesionales para ayudarlos a seleccionar y utilizar mejor las funciones de activación en el diseño de modelos de aprendizaje profundo.

2. Función de activación clásica

2.1 Función sigmoidea

La función sigmoidea es una de las primeras funciones de activación más utilizadas y su expresión matemática es:
$\sigma (X)=\frac{1}{1+{mi}^{-X}}$

Características y Beneficios:

1. El rango de salida está limitado: El rango de salida de la función sigmoidea está entre (0, 1), lo que la hace particularmente adecuada para tratar problemas de probabilidad.
2. Suave y diferenciable: La función es fluida y diferenciable en todo el dominio, lo que resulta beneficioso para la aplicación del algoritmo de descenso de gradiente.
3. Explicativo: La salida se puede interpretar como probabilidades, especialmente adecuada para la capa de salida de problemas de clasificación binaria.

Desventajas y limitaciones:

1. problema de gradiente de fuga: Cuando el valor de entrada es grande o pequeño, el gradiente es cercano a cero, lo que puede provocar el problema del gradiente que desaparece en redes profundas.
2. Centro de salida distinto de cero: La salida de Sigmoide es toda positiva, lo que puede hacer que la entrada de la neurona en la siguiente capa sea siempre positiva, lo que afecta la velocidad de convergencia del modelo.
3. Complejidad computacional: Implica operaciones exponenciales y la complejidad computacional es relativamente alta.

Escena aplicable:

1. Primeras redes neuronales poco profundas.
2. Capa de salida para problemas de clasificación binaria.
3. Escenarios en los que la salida debe limitarse al rango (0, 1).

Comparación con otras funciones:

En comparación con funciones como ReLU que aparecieron más tarde, la aplicación de Sigmoid en redes profundas ha sido muy limitada, principalmente debido a su problema de gradiente que desaparece. Sin embargo, en algunas tareas específicas (como la clasificación binaria), sigmoide sigue siendo una opción eficaz.

2.2 Función Tanh

La función Tanh (tangente hiperbólica) puede considerarse como una versión mejorada de la función Sigmoidea, y su expresión matemática es:
$\mathrm{Tan}(X)=\frac{{mi}^X-{mi}^{-X}}{{mi}^X+{mi}^{-X}}$

Características y Beneficios:

1. salida de centro cero: El rango de salida de la función Tanh está entre (-1, 1), lo que resuelve el problema del centro distinto de cero de Sigmoide.
2. gradiente más fuerte: En áreas donde la entrada es cercana a cero, el gradiente de la función Tanh es mayor que la función Sigmoidea, lo que ayuda a acelerar el aprendizaje.
3. Suave y diferenciable: Al igual que Sigmoide, Tanh también es suave y diferenciable.

Desventajas y limitaciones:

1. problema de gradiente de fuga: Aunque ha mejorado con respecto a Sigmoide, Tanh todavía tiene el problema de que los gradientes desaparecen cuando el valor de entrada es grande o pequeño.
2. Complejidad computacional: Al igual que Sigmoide, Tanh también implica operaciones exponenciales y tiene una alta complejidad computacional.

Escena aplicable:

1. Mejor que Sigmoide en escenarios que requieren una salida centrada en cero.
2. A menudo se utiliza en redes neuronales recurrentes (RNN) y redes de memoria a corto plazo (LSTM).
3. Se utiliza en algunos escenarios donde la producción normalizada es importante.

Mejora y comparación:

La función Tanh puede considerarse como una versión mejorada de la función Sigmoide. La principal mejora radica en el centrado en cero de la salida. Esta característica hace que Tanh funcione mejor que Sigmoid en muchas situaciones, especialmente en redes profundas. Sin embargo, en comparación con funciones como ReLU que aparecieron más tarde, Tanh todavía tiene el problema de la desaparición del gradiente, lo que puede afectar el rendimiento del modelo en redes muy profundas.
Las dos funciones de activación clásicas, Sigmoide y Tanh, jugaron un papel importante en los primeros días del aprendizaje profundo, y sus características y limitaciones también promovieron el desarrollo de funciones de activación posteriores. Aunque han sido reemplazadas por funciones de activación actualizadas en muchos escenarios, todavía tienen su valor de aplicación único en tareas y estructuras de red específicas.

3. ReLU y sus variantes

3.1 ReLU (Unidad lineal rectificada)

La propuesta de la función ReLU es un hito importante en el desarrollo de funciones de activación. Su expresión matemática es simple:
$\text{ReLU}(X)=\mathrm{máximo}(0,X)$

Características y Beneficios:

1. El cálculo es sencillo: La complejidad computacional de ReLU es mucho menor que la de Sigmoid y Tanh, lo que es beneficioso para acelerar el entrenamiento de la red.
2. El gradiente de mitigación desaparece: Para entradas positivas, el gradiente de ReLU es siempre 1, lo que alivia efectivamente el problema del gradiente que desaparece en redes profundas.
3. activación escasa: ReLU puede hacer que la salida de una parte de las neuronas sea 0, lo que genera una expresión escasa de la red, lo cual es beneficioso en ciertas tareas.
4. explicación biológica: Las propiedades inhibidoras unilaterales de ReLU son similares al comportamiento de las neuronas biológicas.

Desventajas y limitaciones:

1. Problema "ReLU muerto": Cuando la entrada es negativa, el gradiente es cero, lo que puede provocar la desactivación permanente de la neurona.
2. salida central distinta de cero: Las salidas de ReLU son todas valores no negativos, lo que puede afectar el proceso de aprendizaje de la siguiente capa.

Escena aplicable:

1. Ampliamente utilizado en redes neuronales convolucionales profundas (como ResNet, VGG).
2. Adecuado para la mayoría de redes neuronales feedforward.

Comparación con otras funciones:

En comparación con Sigmoid y Tanh, ReLU muestra ventajas significativas en redes profundas, principalmente en términos de velocidad de entrenamiento y mitigación de la desaparición de gradientes. Sin embargo, el problema del "ReLU muerto" ha llevado a los investigadores a proponer varias versiones mejoradas.

3.2 ReLU con fugas

Para resolver el problema de la "muerte" de ReLU, se propuso Leaky ReLU:
$\text{ReLU con fugas}(X)=\{\begin{array}{ll}X,& \text{si}X>0\\ \alpha x,& \text{si}X\le 0\end{array}$
en,$\alpha$ es una pequeña constante positiva, normalmente 0,01.

Características y Beneficios:

1. Aliviar el problema del "ReLU muerto": Aún conserva un pequeño gradiente cuando la entrada es negativa para evitar la desactivación completa de las neuronas.
2. Mantenga las ventajas de ReLU: Mantenga la linealidad en el semieje positivo, el cálculo es simple y ayuda a aliviar la desaparición del gradiente.

Desventajas y limitaciones:

1. Introduciendo hiperparámetros：$\alpha$La selección de valores requiere ajustes, lo que aumenta la complejidad del modelo.
2. salida central distinta de cero: Similar a ReLU, la salida aún no está centrada en cero.

Escena aplicable:

1. Como alternativa en escenarios donde ReLU tiene un mal desempeño.
2. Se utiliza en tareas en las que es necesario conservar cierta información de valor negativo.

3.3 PReLU (ReLU paramétrico)

PReLU es una variante de Leaky ReLU, donde la pendiente del semieje negativo es un parámetro que se puede aprender:
$\text{Preludio}(X)=\{\begin{array}{ll}X,& \text{si}X>0\\ \alpha x,& \text{si}X\le 0\end{array}$
aquí$\alpha$ son parámetros aprendidos mediante retropropagación.

Características y Beneficios:

1. aprendizaje adaptativo: La pendiente del semieje negativo más adecuada se puede aprender automáticamente en función de los datos.
2. potencial de rendimiento: En algunas tareas, PReLU puede lograr un mejor rendimiento que ReLU y Leaky ReLU.

Desventajas y limitaciones:

1. Aumentar la complejidad del modelo: La introducción de parámetros aprendibles adicionales aumenta la complejidad del modelo.
2. Posible sobreajuste: En algunos casos, puede provocar un sobreajuste, especialmente en conjuntos de datos pequeños.

Escena aplicable:

1. Tareas de aprendizaje profundo en conjuntos de datos a gran escala.
2. Escenarios que requieren funciones de activación adaptativa.

3.4 ELU (Unidad lineal exponencial)

ELU intenta combinar las ventajas de ReLU y el procesamiento de entradas negativas. Su expresión matemática es:
$\text{ELU}(X)=$