Compartir tecnología

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Resumen

La optimización estocástica es un componente vital del aprendizaje automático y su núcleo es el algoritmo de descenso de gradiente estocástico (SGD), un método que se ha utilizado ampliamente desde que se propuso por primera vez hace más de 60 años. Durante los últimos ocho años, hemos sido testigos de un nuevo e interesante desarrollo: técnicas de reducción de varianza para métodos de optimización estocástica. Estos métodos de reducción de la varianza (métodos VR) funcionan bien en escenarios que permiten múltiples iteraciones de los datos de entrenamiento, mostrando una convergencia más rápida que SGD, tanto en teoría como en la práctica. Este aumento de la velocidad pone de relieve el creciente interés en los métodos de realidad virtual y la rápida acumulación de resultados de investigación en esta área. Este artículo revisa los principios clave y los principales avances en los métodos de realidad virtual para la optimización de conjuntos de datos limitados, con el objetivo de informar a los lectores no expertos. Nos centramos principalmente en entornos de optimización convexa y proporcionamos una referencia para los lectores interesados ​​en extensiones para la minimización de funciones no convexas.

Palabras clave | Aprendizaje automático; optimización;

1. Introducción

En el campo de la investigación del aprendizaje automático, una cuestión básica e importante es cómo adaptar modelos a enormes conjuntos de datos. Por ejemplo, podemos considerar el caso típico de un modelo lineal de mínimos cuadrados:

$$X^{\ast }\in \mathrm{Arkansasgramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}\underset{X\in {\mathbb{R}}^d}{mín.}\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}(a_i^{yo}X-b_i{)}^2$$

En este modelo tenemos $d$ parámetros, que están representados por vectores$X\in {\mathbb{R}}^d$ dado.Mientras tanto, tenemos a la mano$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ puntos de datos, incluidos vectores de características$a_i\in {\mathbb{R}}^d$ y valor objetivo$b_i\in \mathbb{R}$ .El proceso de adaptación del modelo consiste en ajustar estos parámetros para que la salida prevista del modelo$a_i^{yo}X$ en promedio lo más cerca posible del valor objetivo$b_i$。

En términos más generales, podríamos utilizar una función de pérdida. $F_i(X)$ Para medir las predicciones del modelo y la$i$ Qué tan cerca están los puntos de datos:

$$X^{\ast }\in \mathrm{Arkansasgramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}\underset{X\in {\mathbb{R}}^d}{mín.}F(X):=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{F}_i(X)$$

función de pérdida $F_i(X)$ Si es mayor, indica que las predicciones del modelo se desvían mucho de los datos;$F_i(X)$ Igual a cero, el modelo se ajusta perfectamente a los puntos de datos.función$F(X)$ Refleja la pérdida promedio del modelo en todo el conjunto de datos.

Problemas como el formulario (2) anterior se aplican no solo a problemas de mínimos cuadrados lineales, sino también a muchos otros modelos estudiados en aprendizaje automático. Por ejemplo, en un modelo de regresión logística resolvemos:

$$X^{\ast }\in \mathrm{Arkansasgramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}\underset{X\in {\mathbb{R}}^d}{mín.}\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\mathrm{Logramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}(1+{mi}^{-b_i{a}_i^{yo}X})+\frac{\lambda }{2}\Vert X{\Vert }_2^2$$

Aquí estamos tratando con bi ∈ { − 1 , + 1 } b_i en {-1, +1}bi​∈{−1,+1} Para un problema de clasificación binaria, la predicción se basa en$a_i^{yo}X$ símbolos.También se introduce un término de regularización en la fórmula.$\frac{\lambda }{2}\Vert X{\Vert }_2^2$ para evitar el sobreajuste de los datos, donde$\Vert X{\Vert }_2^2$ expresar$X$ El cuadrado de la norma euclidiana de .

En la mayoría de los modelos de aprendizaje supervisado, el proceso de entrenamiento se puede expresar como la forma (2), incluidos mínimos cuadrados regularizados L1, máquina de vectores de soporte (SVM), análisis de componentes principales, campos aleatorios condicionales y redes neuronales profundas, etc.

Un desafío clave en los casos de problemas modernos es la cantidad de puntos de datos $norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ Probablemente extremadamente grande. A menudo tratamos con conjuntos de datos que van mucho más allá del rango de los terabytes y pueden provenir de fuentes tan diversas como Internet, satélites, sensores remotos, mercados financieros y experimentos científicos. Para manejar conjuntos de datos tan grandes, un enfoque común es utilizar el algoritmo de descenso de gradiente estocástico (SGD), que utiliza solo una pequeña cantidad de puntos de datos seleccionados aleatoriamente en cada iteración. Además, recientemente ha habido un fuerte aumento en el interés por los métodos de gradiente estocástico de reducción de la varianza (VR), que tienen tasas de convergencia más rápidas que los métodos de gradiente estocástico tradicionales.

Figura 1. En el problema de regresión logística basado en el conjunto de datos de hongos [7], se utilizaron el método de descenso de gradiente (GD), descenso de gradiente acelerado (AGD, GD acelerado en [50]), descenso de gradiente estocástico (SGD) y ADAM [30]. en comparación con los métodos de reducción de la varianza (VR) SAG y SVRG, donde n = 8124, d = 112.

1.1. Métodos de descenso de gradiente y estocástico.

El descenso de gradiente (GD) es un algoritmo clásico utilizado para resolver el problema anterior (2), y su fórmula de actualización iterativa es la siguiente:
$$X_{a+1}=X_a-\gamma \frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_i(X_a)$$

aquí,$\gamma$ es un valor de paso fijo mayor que cero.Durante cada iteración del algoritmo GD, cada punto de datos debe ser$i$ Calcular gradiente$\nabla F_i(X_a)$, lo que significa que GD requiere todos $norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ realizar un recorrido completo de los puntos de datos.Cuando el tamaño del conjunto de datos$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ Cuando se vuelve muy grande, el costo de cada iteración del algoritmo GD se vuelve muy alto, limitando así su aplicación.

Como alternativa, podemos considerar el método de descenso de gradiente estocástico (SGD), propuesto por primera vez por Robbins y Monro, y su fórmula de actualización iterativa es la siguiente:
$$X_{a+1}=X_a-\gamma \nabla F_{i_a}(X_a)$$

El algoritmo SGD funciona utilizando únicamente el gradiente de un punto de datos seleccionado aleatoriamente en cada iteración. $\nabla F_{i_a}(X_a)$ para reducir el costo de cada iteración. En la Figura 1, podemos ver que SGD logra un progreso más significativo que GD (incluidos los métodos GD acelerados) en las primeras etapas del proceso de optimización.El gráfico muestra el progreso de la optimización en términos de épocas, que se definen como el cálculo de todos$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ El número de gradientes para muestras de entrenamiento. El algoritmo GD realiza una iteración en cada ronda, mientras que el algoritmo SGD realiza una iteración en cada ronda$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ iteraciones.Usamos rondas como base para comparar SGD y GD, porque bajo el supuesto$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ En casos muy grandes, el costo principal de ambos métodos se concentra en el gradiente.$\nabla F_i(X_a)$ cálculo.

1.2. Problema de varianza

Consideremos la indexación aleatoria $i_a$ de la colección { 1 , … , n } {1, lpuntos, n}{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte} En el caso de una selección aleatoria uniforme, esto significa que para todos$i$,elegir $i_a=i$ La probabilidad$PAGAGAG[i_a=i]$ igual$\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}$ . en este caso,$\nabla F_{i_a}(X_a)$ como$\nabla F(X_a)$ El estimador de es insesgado porque, según la definición de expectativa, tenemos:
$$mi[\nabla F_{i_a}(X_a)|X_a]=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_i(X_a)=\nabla F(X_a)(6)$$

Aunque el método SGD (Stochastic Gradient Descent) no garantiza la función en cada iteración $F$ El valor de disminuirá, pero en promedio se mueve hacia el gradiente completo negativo, que representa la dirección descendente.

Sin embargo, tener un estimador de gradiente insesgado no es suficiente para garantizar la convergencia de las iteraciones SGD. Para ilustrar este punto, la Figura 2 (izquierda) muestra la trayectoria iterativa de SGD cuando se aplica una función de regresión logística utilizando un tamaño de paso constante en el conjunto de datos de cuatro categorías proporcionado por LIBSVM [7].Las elipses concéntricas en la figura representan los contornos de la función, es decir, el valor de la función.$F(X)=C$ punto correspondiente$X$ recolectar,$C$ es una constante específica en el conjunto de los números reales.diferentes valores constantes$C$ Corresponde a diferentes elipses.

La trayectoria iterativa de SGD no converge a la solución óptima (indicada por un asterisco verde en la figura), sino que forma una nube de puntos alrededor de la solución óptima. Por el contrario, en la Figura 2 mostramos la trayectoria iterativa de un método de reducción de la varianza (VR), gradiente promedio estocástico (SAG), utilizando el mismo tamaño de paso constante, que presentaremos más adelante. La razón por la que SGD no converge en este ejemplo es que el gradiente estocástico en sí no converge a cero y, por lo tanto, el método SGD de paso constante (5) nunca se detiene.Esto contrasta fuertemente con los métodos de descenso de gradiente (GD), que naturalmente se detienen cuando$X_a$ Enfoques$X^{\ast }$,degradado $\nabla F(X_a)$ tenderá a cero.

Figura 2. Gráficos de conjuntos de niveles para regresión logística bidimensional utilizando métodos iterativos SGD (izquierda) y SAG (derecha) de paso fijo. El asterisco verde indica xdesatar.

1.3. Método clásico de reducción de varianza

procesamiento debido a $\nabla F_i(X_a)$ Existen varias técnicas clásicas para problemas de no convergencia causados ​​por la varianza de valores.Por ejemplo, Robbins y Monro [64] utilizan una serie de pasos decrecientes${\gamma }_a$ para resolver el problema de la varianza, asegurando que el producto${\gamma }_a\nabla F_{i_a}(X_a)$ puede converger a cero. Sin embargo, ajustar esta secuencia de pasos decrecientes para evitar detener el algoritmo demasiado pronto o demasiado tarde es un problema difícil.

Otra técnica clásica para reducir la varianza es utilizar múltiples $\nabla F_i(X_a)$ promedio para obtener el gradiente completo$\nabla F(X)$ una estimación más precisa. Este enfoque se llama minibatch y es particularmente útil cuando se pueden evaluar múltiples gradientes en paralelo. Esto da como resultado una iteración de la forma:
$$X_{a+1}=X_a-\gamma \frac{1}{|B_a|}\sum _{i\in B_a}\nabla F_i(X_a)(7)$$
en$B_a$ es un conjunto de índices aleatorios,$|B_a|$ expresar$B_a$ la talla de.si$B_a$ Muestreo uniforme con reemplazo, luego la varianza de esta estimación de gradiente está relacionada con el "tamaño del lote"$|B_a|$ es inversamente proporcional, por lo que la variación se puede reducir aumentando el tamaño del lote.

Sin embargo, el costo de tales iteraciones es proporcional al tamaño del lote, por lo que esta forma de reducción de la varianza tiene el costo de un mayor costo computacional.

Otra estrategia común para reducir la varianza y mejorar el desempeño empírico de SGD es agregar "impulso", un término adicional basado en la dirección utilizada en pasos anteriores. En particular, la forma de SGD con impulso es la siguiente:
$$X_{a+1}=X_a-\gamma {metroetroetroetroetroetroetroetroetroetro}_a(9)$$
donde el parámetro de impulso$\beta$ Ubicado en el rango (0, 1).Si el impulso inicial${metroetroetroetroetroetroetroetroetroetro}_0=0$, y expandir en (8) ${metroetroetroetroetroetroetroetroetroetro}_a$ Para actualizaciones, obtenemos${metroetroetroetroetroetroetroetroetroetro}_a$ es el promedio ponderado de gradientes anteriores:
$${metroetroetroetroetroetroetroetroetroetro}_a=\sum _{a=0}^a{\beta }^{a-a}\nabla F_{i_a}(X_a)(10)$$
por lo tanto,${metroetroetroetroetroetroetroetroetroetro}_a$ es la suma ponderada de gradientes estocásticos.porque${\sum }_{a=0}^a{\beta }^{a-a}=\frac{1-{\beta }^{a+1}}{1-\beta }$, podemos convertir $\frac{1-\beta }{1-{\beta }^a}{metroetroetroetroetroetroetroetroetroetro}_a$ Considerado como un promedio ponderado de gradientes estocásticos.Si comparamos esto con la expresión del gradiente completo$\nabla F(X_a)=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{\sum }_{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_i(X_a)$ Para comparar podemos$\frac{1-\beta }{1-{\beta }^a}{metroetroetroetroetroetroetroetroetroetro}_a$(así como ${metroetroetroetroetroetroetroetroetroetro}_a$ ) se interpreta como una estimación del gradiente completo. Si bien esta suma ponderada reduce la variación, también plantea cuestiones clave.Dado que la suma ponderada (10) da más peso a los gradientes muestreados recientemente, no convergerá al gradiente completo.$\nabla F(X_a)$ , este último es un promedio simple. El primer método de reducción de la varianza que veremos en la Sección II-A resuelve este problema utilizando un promedio simple en lugar de cualquier promedio ponderado.

1.4. Métodos modernos de reducción de la varianza.

A diferencia de los métodos clásicos, utilizan directamente uno o más $\nabla F_i(X_a)$ como$\nabla F(X_a)$ Como aproximación, los métodos modernos de reducción de la varianza (VR) emplean una estrategia diferente.Estos métodos utilizan$\nabla F_i(X_a)$ para actualizar la estimación del gradiente${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$, cuyo objetivo es hacer ${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ acercarse$\nabla F(X_a)$ .En concreto, esperamos${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ capaz de satisfacer${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a\approx \nabla F(X_a)$ . Con base en dichas estimaciones de gradiente, luego realizamos un paso de gradiente aproximado de la forma:
$$X_{a+1}=X_a-\gamma {gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a(11)$$
aquí$\gamma >0$ es el parámetro de tamaño de paso.

Para garantizar que se utilice un tamaño de paso constante $\gamma$ Cuando la iteración (11) puede converger, debemos asegurarnos de que la estimación del gradiente${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ La varianza tiende a cero. Matemáticamente, esto se puede expresar como:
$$mi\left[\Vert {gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a-\nabla F(X_a){\Vert }^2\right]\to 0\text{como}a\to \infty (12)$$
expectativas aquí$mi$ se basa en el algoritmo hasta el$a$ Todas las variables aleatorias se calculan para iteraciones. La propiedad (12) garantiza que el método VR pueda detenerse cuando se alcance la solución óptima. Consideramos esta propiedad como una característica distintiva del enfoque de realidad virtual y, por lo tanto, la llamamos propiedad de realidad virtual. Vale la pena señalar que la expresión varianza "reducida" puede inducir a error, porque en realidad la varianza tiende a cero. La propiedad (12) es un factor clave que permite que los métodos de realidad virtual logren una convergencia más rápida en la teoría (bajo supuestos apropiados) y en la práctica (como se muestra en la Figura 1).

1.5 Primer ejemplo de método de reducción de varianza: SGD².

Un método de mejora simple puede hacer que la fórmula recursiva SGD (5) alcance la convergencia sin reducir el tamaño del paso, es decir, traducir cada gradiente. El método específico es restar. $\nabla F_i(X^{\ast })$, este método se define de la siguiente manera:
$$X_{a+1}=X_a-\gamma (\nabla F_{i_a}(X_a)-\nabla F_{i_a}(X^{\ast }))(13)$$
Este método se llama SGD² [22].Aunque normalmente no podemos saber con seguridad cada$\nabla F_i(X^{\ast })$ , pero SGD², como ejemplo, puede ilustrar bien las características básicas del método de reducción de la varianza.Además, muchos métodos de reducción de la varianza pueden verse como una forma aproximada del método SGD²; estos métodos no se basan en los conocidos;$\nabla F_i(X^{\ast })$, sino que utilice un método que pueda aproximarse $\nabla F_i(X^{\ast })$ valor estimado.

Vale la pena señalar que SGD² utiliza una estimación insesgada del gradiente completo.porque$\nabla F(X^{\ast })=0$,F:
$$mi[\nabla F_{i_a}(X_a)-\nabla F_{i_a}(X^{\ast })]=\nabla F(X_a)-\nabla F(X^{\ast })=\nabla F(X_a)$$
Además, cuando SGD² alcance la solución óptima, naturalmente se detendrá porque para cualquier$i$,tener:
$$(\nabla F_i(X)-\nabla F_i(X^{\ast })){|}_{X=X^{\ast }}=0$$

Tras una observación adicional, con $X_a$ cerca$X^{\ast }$(para consecutiva $\nabla F_i$), SGD² satisface la propiedad de reducción de la varianza (12) porque:
$$\begin{gathered} mi\left[\Vert {gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a-\nabla F(X_a){\Vert }^2\right]= \\ mi\left[\Vert \nabla F_{i_a}(X_a)-\nabla F_{i_a}(X^{\ast })-\nabla F(X_a){\Vert }^2\right]\le mi\left[\Vert \nabla F_{i_a}(X_a)-\nabla F_{i_a}(X^{\ast }){\Vert }^2\right] \end{gathered}$$
Aquí usamos el Lema 2, dejemos$X=\nabla F_{i_a}(X_a)-\nabla F_{i_a}(X^{\ast })$y aprovechó $mi[\nabla F_{i_a}(X_a)-\nabla F_{i_a}(X^{\ast })]=\nabla F(X_a)$ naturaleza. Esta propiedad indica que SGD² tiene una velocidad de convergencia más rápida que los métodos SGD tradicionales, que detallamos en el Apéndice B.

1.6. Método de convergencia rápida de reducción de la varianza.

En esta sección introduciremos dos supuestos estándar utilizados para analizar el método de reducción de la varianza (VR) y discutiremos el efecto de aceleración que se puede lograr bajo estos supuestos en comparación con el método SGD tradicional. Primero, asumimos que el gradiente tiene continuidad de Lipschitz, lo que significa que la tasa de cambio del gradiente es finita.

Supuesto 1 (continuidad de Lipschitz)

Suponemos que la función $F$es diferenciable y es $yo$- suave, para todos $X$ y$y$ y alguien$0<yo<\infty$,Las siguientes condiciones:
$$\Vert \nabla F(X)-\nabla F(y)\Vert \le yo\Vert X-y\Vert (14)$$
Esto significa que cada$Fi:{\mathbb{R}}^d\to \mathbb{R}$ es diferenciable,${yo}_i$- suave, definimos ${yo}_{\text{máximo}}$ para máx ⁡ { L 1 , . . . , L n } máx{L_1, . . . , L_n}máximo{yo1​,...,yonorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte​}。

Aunque esto generalmente se considera una suposición débil, en capítulos posteriores discutiremos métodos de realidad virtual que son adecuados para problemas no fluidos. Para una función univariada dos veces diferenciable,$yo$-La suavidad se puede entender intuitivamente como: equivale a suponer que la segunda derivada es $yo$ límite superior, es decir$|F^{\prime \prime }(X)|\le yo$ para todos$X\in {\mathbb{R}}^d$ .Para funciones dos veces diferenciables de múltiples variables, es equivalente a asumir una matriz de Hesse${\nabla }^{2}F(X)$ El valor singular de$yo$ limite superior.

Supuesto 2 (fuerte convexidad)

La segunda hipótesis que consideramos es que la función (f) es $\mu$-Fuertemente convexo, lo que significa que para un cierto $\mu >0$,función $X\mapsto F(X)-\frac{\mu }{2}\Vert X{\Vert }^2$ Es convexo.Además, para cada$i=1,...,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$，$Fi:{\mathbb{R}}^d\to \mathbb{R}$ Es convexo.

Esta es una suposición fuerte.En el problema de mínimos cuadrados, cada (fi$ es convexa, pero la función general (f) está solo en la matriz de diseño$A:=[a_1,...,a_{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}]$ Es fuertemente convexo sólo si tiene un rango de fila perfecto. El problema de regresión logística regularizada L2 satisface este supuesto debido a la existencia del término de regularización, donde$\mu \ge \lambda$。

Una clase importante de problemas que satisfacen estos supuestos son los problemas de optimización de la forma:
$$X^{\ast }\in \mathrm{Arkansasgramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}\underset{X\in {\mathbb{R}}^d}{mín.}F(X)=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{\ell }_i(a_i^{yo}X)+\frac{\lambda }{2}\Vert X{\Vert }^2(15)$$
donde cada función de "pérdida"${\ell }_i:\mathbb{R}\to \mathbb{R}$ es dos veces diferenciable y su segunda derivada${\ell }_i^{\prime \prime }$ está restringido a 0 y algún límite superior$METROETRO$ entre. Esto incluye una variedad de funciones de pérdida con regularización L2 en aprendizaje automático, como mínimos cuadrados, regresión logística, regresión probit, regresión robusta de Huber, etc.En este caso, para todos$i$,Tenemos ${yo}_i\le METROETRO\Vert a_i{\Vert }^2+\lambda$ y$\mu \ge \lambda$。

Bajo estos supuestos, la tasa de convergencia del método de descenso de gradiente (GD) está determinada por el número de condición $\kappa :=yo/\mu$ Decidir. El número de condición siempre es mayor o igual a 1, y cuando es significativamente mayor que 1, los contornos de la función se vuelven muy elípticos, haciendo que las iteraciones del método GD oscilen.Por el contrario, cuando$\kappa$ Cuando está cerca de 1, el método GD converge más rápido.

Según los Supuestos 1 y 2, el método VR converge a una tasa lineal.Decimos que el valor de la función de un método aleatorio ({f(x_k)}) viene dado por$0<\rho \le 1$ La tasa de convergencia lineal (bajo lo esperado), si existe una constante$C>0$ Marcas:
$$mi[F(X_a)]-F(X^{\ast })\le (1-\rho {)}^{a}C=Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(\mathrm{Exp}(-a\rho ))\forall a(16)$$
Esto contrasta con los métodos SGD clásicos que se basan únicamente en estimaciones insesgadas del gradiente en cada iteración, que solo obtienen tasas sublineales bajo estos supuestos:
$$mi[F(X_a)]-F(X^{\ast })\le Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(1/a)$$
El mínimo que satisface esta desigualdad$a$ Se llama complejidad iterativa del algoritmo. Los siguientes son la complejidad iterativa y el costo de una iteración para variantes básicas de los métodos GD, SGD y VR:

El tiempo total de ejecución de un algoritmo está determinado por el producto de la complejidad de la iteración y el tiempo de ejecución de la iteración.usado aquí${\kappa }_{\text{máximo}}:={\mathrm{máximo}}_i{yo}_i/\mu$ .Aviso${\kappa }_{\text{máximo}}\ge \kappa$Por lo tanto, la complejidad de iteración de GD es menor que la del método VR.

Sin embargo, dado que el costo por iteración de GD es el del método VR $norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ veces, el método VR es superior en términos de tiempo total de ejecución.

La ventaja de los métodos SGD clásicos es que su tiempo de ejecución y tasa de convergencia no dependen de $norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$, pero tiene una tolerancia $ϵ$ La dependencia de es mucho peor, lo que explica el pobre desempeño del SGD cuando la tolerancia es pequeña.

En el Apéndice B, proporcionamos una prueba simple que muestra que el método SGD² tiene la misma complejidad iterativa que el método VR.

2. Método básico de reducción de la varianza

El desarrollo de métodos de reducción de la varianza (VR) ha pasado por varias etapas, y el lote inicial de métodos dio como resultado tasas de convergencia significativamente mejoradas. El comienzo de esta serie de métodos es el algoritmo SAG. Posteriormente, el algoritmo de ascenso estocástico de doble coordenada (SDCA), el algoritmo MISO, el algoritmo de gradiente estocástico de reducción de varianza (SVRG/S2GD) y el algoritmo SAGA (que significa SAG "mejorado") surgieron uno tras otro.

En este capítulo, detallaremos estos métodos pioneros de realidad virtual. En el Capítulo 4, exploraremos algunos métodos más nuevos que muestran características superiores en comparación con estos métodos básicos en escenarios de aplicación específicos.

2.1. Método de gradiente medio estocástico (SAG)

Nuestra exploración del primer método de reducción de la varianza (VR) comienza con la imitación de la estructura de gradiente completa.Desde el gradiente completo$\nabla F(X)$ es todo$\nabla F_i(X)$ Un promedio simple de los gradientes, luego nuestra estimación del gradiente completo${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ También debería ser el promedio de estas estimaciones de gradiente. Esta idea dio origen a nuestro primer método de realidad virtual: el método del gradiente promedio estocástico (SAG).

El método SAG [37], [65] es una versión aleatoria del método temprano de gradiente agregado incremental (IAG) [4]. La idea central de SAG es que para cada punto de datos$i$ mantener una estimación${en}_{yo\; soy}\approx \nabla F_i(X_a)$ .Entonces, usa estos${en}_{yo\; soy}$ El promedio de los valores se utiliza como estimación del gradiente completo, es decir:
$${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{es\; broma}\approx \frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_{yo}(X_a)=\nabla F(X_a)(18)$$

En cada iteración de SAG, del conjunto { 1 , … , n } {1, lpuntos, n}{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte} Extraer un índice de$i_a$y luego actualizado de acuerdo con las siguientes reglas ${en}_{es\; broma}$：
$${en}_{es\; broma}^{a+1}=\{\begin{array}{ll}\nabla F_{i_a}(X_a),& \text{si}yo=i_a\\ {en}_{es\; broma}^a,& \text{si}yo\ne i_a\end{array}(19)$$
Entre ellos, cada${en}_{0i}$ Se puede inicializar a cero o$\nabla F_i(X_0)$ valor aproximado.con la solución$X^{\ast }$ aproximación, cada${en}_{yo\; soy}$ convergerá gradualmente a$\nabla F_i(X^{\ast })$, satisfaciendo así la propiedad VR (12).

Para implementar SAG de manera eficiente, debemos prestar atención al cálculo ${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a$ para evitar comenzar la suma desde cero cada vez$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ vector, porque esto es$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ El costo es alto cuando es grande.Afortunadamente, dado que cada iteración sólo tiene una${en}_{yo\; soy}$ Los términos cambiarán y no tendremos que volver a calcular la suma completa cada vez.Específicamente, supongamos que mientras se itera$a$ Índice extraído de$i_a$, entonces hay:
$${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{\begin{array}{c}yo=1\\ yo\ne i_a\end{array}}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{es\; broma}+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{i_a}^a={\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_{a-1}-\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{i_a}^{a-1}+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{i_a}^a(20)$$

Ya que además de ${en}_{i_a}$ todo excepto${en}_{es\; broma}$ Todos los valores siguen siendo los mismos, solo almacenamos cada uno$yo$ Un vector correspondiente a${en}_{yo}$ . El algoritmo 1 muestra la implementación específica del método SAG.

SAG es el primer método estocástico que logra una convergencia lineal y su complejidad de iteración es $Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(({\kappa }_{\text{máximo}}+norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)\mathrm{Logramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}(1/ϵ))$, usando el tamaño del paso $\gamma =Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(1/{yo}_{\text{máximo}})$ . Esta convergencia lineal se puede observar en la Figura 1.Vale la pena señalar que debido a${yo}_{\text{máximo}}$-Función suave para cualquier ${yo}^{\prime }\ge {yo}_{\text{máximo}}$ También${yo}^{\prime }$- Los métodos SAG suaves logran tasas de convergencia lineal para tamaños de paso suficientemente pequeños, en contraste con los métodos SGD clásicos, que solo logran tasas sublineales con secuencias de tamaños de paso decrecientes que son difíciles de ajustar en la práctica.

En ese momento, la convergencia lineal de SAG fue un avance significativo porque calculaba solo un gradiente estocástico (procesando un único punto de datos) en cada iteración. Sin embargo, la prueba de convergencia proporcionada por Schmidt et al. [65] es muy compleja y se basa en pasos verificados por computadora. Una razón clave por la que el SAG es difícil de analizar es que${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ es una estimación sesgada del gradiente.

A continuación, presentamos el método SAGA, una variante de SAG que explota el concepto de covariables para crear una variante imparcial del método SAG que tiene un rendimiento similar pero es más fácil de analizar.

---

Algoritmo 1: método SAG

1. Parámetros: tamaño del paso $\gamma >0$
2. inicialización:$X_0$，${en}_i=0\in {\mathbb{R}}^d$ para$i=1,\dots ,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$
3. bien $a=1,\dots ,yo-1$ implementar:
   una selección aleatoria ik ∈ { 1 , … , n } i_k en {1, lpuntos, n}ia​∈{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}
   b.calcular${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a={\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_{a-1}-\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{i_a}^{a-1}$
   c.actualizar${en}_{i_a}^a=\nabla F_{i_a}(X_a)$
   d. Actualizar estimación de gradiente${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a={\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{i_a}^a$
   e.actualizar$X_{a+1}=X_a-\gamma {\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a$
4. Producción:$X_{yo}$

2.2.Método SAGA

Una estimación de gradiente básica e insesgada reducida $\nabla F_{i_a}(X_a)$ El enfoque de la varianza se realiza mediante el uso de las llamadas covariables o variables de control.para$i=1,\dots ,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$,configuración ${en}_i\in {\mathbb{R}}^d$ es un vector.Usando estos vectores, podemos convertir el gradiente completo.$\nabla F(X)$ Reescrito como:
$$\nabla F(X)=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}(\nabla F_i(X)-{en}_i+{en}_i)=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_i(X)-{en}_i+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{yo}$$
$$:=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_i(X,en)(21)$$
que define$\nabla F_i(X,en):=\nabla F_i(X)-{en}_i+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{\sum }_{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{yo}$ .Ahora podemos muestrear aleatoriamente una$\nabla F_i(X,en)$ para construir el gradiente completo$\nabla F(X)$ Una estimación insesgada de i ∈ { 1 , … , n } i en {1, lpuntos, n}i∈{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}, puede aplicar el método SGD y utilizar la estimación de gradiente:
$${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a=\nabla F_{i_a}(X_a,en)=\nabla F_{i_a}(X_a)-{en}_{i_a}+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{yo}(22)$$

para observación ${en}_i$ La diferencia del par de selección.${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ influencia, podemos${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a=\nabla F_{i_a}(X_a,en)$ Sustituir y usar${mi}_i\sim \frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}[{en}_i]=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{\sum }_{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_{yo}$ Para calcular la expectativa, obtenemos:
$$mi\left[\Vert \nabla F_i(X_a)-{en}_i+{mi}_i\sim \frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}[{en}_i-\nabla F_i(X_a)]{\Vert }^2\right]\le mi\left[\Vert \nabla F_i(X_a)-{en}_i{\Vert }^2\right](23)$$
Aquí se utiliza el lema 2, donde$X=\nabla F_i(X_a)-{en}_i$ .Esta cota (23) muestra que si${en}_i$ junto con$a$ El aumento es cercano a$\nabla F_i(X_a)$ , podemos obtener atributos de realidad virtual (12).Por eso llamamos${en}_i$ son covariables y podemos seleccionarlas para reducir la varianza.

Por ejemplo, este enfoque también se implementa mediante el método SGD² (13), donde ${en}_i=\nabla F_i(X^{\ast })$ .Sin embargo, esto no se usa comúnmente en la práctica porque normalmente no sabemos$\nabla F_i(X^{\ast })$ .Una opción más práctica es${en}_i$ como la conocemos${\bar{X}}_i\in {\mathbb{R}}^d$ gradiente cercano$\nabla F_i({\bar{X}}_i)$ . SAGA para cada función$F_i$ utilizar un punto de referencia${\bar{X}}_i\in {\mathbb{R}}^d$y utilizar covariables ${en}_i=\nabla F_i({\bar{X}}_i)$, cada uno de los cuales ${\bar{X}}_i$ será nuestra última evaluación$F_i$ punto. Usando estas covariables, podemos construir una estimación de gradiente, siguiendo (22), dando:
$${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a=\nabla F_{i_a}(X_a)-\nabla F_{i_a}({\bar{X}}_{i_a})+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{yo=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\nabla F_{yo}({\bar{X}}_{yo})(24)$$

Para implementar SAGA podemos almacenar gradientes. $\nabla F_i({\bar{X}}_i)$ en lugar de$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ punto de referencia${\bar{X}}_i$ .Es decir, supongamos${en}_{yo}=\nabla F_{yo}({\bar{X}}_{yo})$ para j ∈ { 1 , … , n } j en {1, lpuntos, n}yo∈{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}, en cada iteración, actualizamos un gradiente estocástico como SAG ${en}_{yo}$。

Algoritmo 2 SAGA

1. Parámetros: tamaño del paso $\gamma >0$
2. inicialización:$X_0$，${en}_i=0\in {\mathbb{R}}^d$ para$i=1,\dots ,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$
3. conducta $a=1,\dots ,yo-1$ iteraciones:
   una selección aleatoria ik ∈ { 1 , … , n } i_k en {1, lpuntos, n}ia​∈{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}
   b. Guardar valor anterior${en}_{\text{viejo}}={en}_{i_a}$
   c.actualizar${en}_{i_a}=\nabla F_{i_a}(X_a)$
   actualizar$X_{a+1}=X_a-\gamma ({en}_{i_a}-{en}_{\text{viejo}}+{\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a)$
   e. Actualizar estimación de gradiente${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a={\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_{a-1}+\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}({en}_{i_a}-{en}_{\text{viejo}})$
4. Producción:$X_{yo}$

El método SAGA tiene la misma complejidad de iteración que SAG. $Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(({\kappa }_{\text{máximo}}+norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)\mathrm{Logramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}(1/ϵ))$, usando el tamaño del paso $\gamma =Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(1/{yo}_{\text{máximo}})$ , pero la prueba es mucho más sencilla.Sin embargo, al igual que SAG, el método SAGA requiere almacenamiento$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ vectores auxiliares${en}_i\in {\mathbb{R}}^d$ para$i=1,\dots ,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$, lo que significa la necesidad $Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorted)$ de espacio de almacenamiento.cuando$d$ y$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ Cuando ambos son grandes, esto puede no ser factible. En la siguiente sección, detallamos cómo reducir este requisito de memoria para modelos comunes, como los modelos lineales regularizados.

cuando sea capaz de $norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ Cuando se almacenan dos vectores auxiliares en la memoria, SAG y SAGA tienden a comportarse de manera similar. Si este requisito de memoria es demasiado alto, el método SVGG, que revisaremos en la siguiente sección, es una buena alternativa. El método SVGG logra la misma tasa de convergencia y a menudo es casi tan rápido en la práctica, pero sólo requiere$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(d)$ de la memoria, para cuestiones generales.

2.3.Método SVGG

Antes de la aparición del método SAGA, algunos de los primeros trabajos introdujeron covariables por primera vez para resolver el problema de alta memoria requerido por el método SAG.Estos estudios se basan en un punto de referencia fijo.$\bar{X}\in {\mathbb{R}}^d$ covariables, hemos calculado el gradiente completo en ese punto$\nabla F(\bar{X})$ .almacenando puntos de referencia$\bar{X}$ y el gradiente completo correspondiente$\nabla F(\bar{X})$, podemos hacer esto sin almacenar cada uno $\nabla F_{yo}(\bar{X})$ En caso de utilizar${\bar{X}}_{yo}=\bar{X}$ a todos$yo$ para implementar la actualización (24).Específicamente, en lugar de almacenar estos vectores, utilizamos los puntos de referencia almacenados en cada iteración.$\bar{X}$ calcular$\nabla F_{i_a}(\bar{X})$ . Este método fue propuesto originalmente por diferentes autores con diferentes nombres, pero luego fue unificado como método SVGG, siguiendo la nomenclatura de [28] y [84].

Formalizamos el método SVGG en el Algoritmo 3.

Usando (23), podemos derivar la estimación del gradiente. ${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$ La varianza de está acotada:
$$mi\left[\Vert {gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a-\nabla F(X_a){\Vert }^2\right]\le mi\left[\Vert \nabla F_i(X_a)-\nabla F_i(\bar{X}){\Vert }^2\right]\le {yo}_{\text{máximo}}^2\Vert X_a-\bar{X}{\Vert }^2$$
donde la segunda desigualdad usa cada$F_i$ de${yo}_i$-Suavidad.

Vale la pena señalar que el punto de referencia $\bar{X}$ Cuanto más cerca del punto actual$X_a$, menor será la varianza de la estimación del gradiente.

Para que el método SVGG sea efectivo, necesitamos actualizar los puntos de referencia con frecuencia. $\bar{X}$ (lo que requiere el cálculo del gradiente completo) se sopesa frente al beneficio de una varianza reducida.Por esta razón, cada uno de nosotros$a$ Actualice el punto de referencia una vez en cada iteración para acercarlo a$X_a$ (Ver línea 11 del Algoritmo II-C).Es decir, el método SVGG contiene dos bucles: un bucle exterior$s$, donde se calcula el gradiente de referencia $\nabla F({\bar{X}}_{s-1})$(Línea 4), y un bucle interno donde el punto de referencia se fija y la iteración interna se actualiza en función del paso de gradiente estocástico (22) $X_a$(Línea 10).

A diferencia de SAG y SAGA, SVGG sólo requiere $Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(d)$ de la memoria. Las desventajas de SVGG incluyen: 1) Tenemos un parámetro adicional$a$, es decir, la longitud del bucle interno debe ajustarse; 2) Se deben calcular dos gradientes para cada iteración y se debe calcular el gradiente completo cada vez que se cambia el punto de referencia.

Johnson y Zhang [28] demostraron que SVGG tiene complejidad iterativa $Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(({\kappa }_{\text{máximo}}+norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)\mathrm{Logramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}(1/ϵ))$ , similar a SAG y SAGA.Este es el número de bucles dentro de la hipótesis.$a$ de la colección { 1 , … , m } {1, lpuntos, m}{1,…,metroetroetroetroetroetroetroetroetroetro} Obtenido bajo la condición de muestreo uniforme, donde${yo}_{\text{máximo}}$，$\mu$, Numero de pie $\gamma$ y$a$ Se deben satisfacer ciertas dependencias entre ellos.En la práctica, utilizando$\gamma =Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(1/{yo}_{\text{máximo}})$ y longitud del bucle interior$a=norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$, SVGG tiende a funcionar bien, que es exactamente la configuración que utilizamos en la Figura 1.

Ahora, existen muchas variaciones del método SVGG original.Por ejemplo, algunas variaciones utilizan$a$ distribución alternativa [32], algunas variantes permiten la forma$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(1/{yo}_{\text{máximo}})$ El tamaño del paso [27], [33], [35].También hay algunas variaciones usando$\nabla F(\bar{X})$ aproximación de mini lotes para reducir el costo de estas evaluaciones de gradiente completo y aumentar el tamaño del mini lote para preservar las propiedades de la realidad virtual.También hay algunas variantes donde las actualizaciones se repiten en el bucle interno según [54]${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$：
[ g_k = f_{i_k}(x_k) - f_{i_k}(x_{k-1}) + g_{k-1} quad (25) ]
Esto proporciona una aproximación más local. El uso de esta variante de actualización continua (25) muestra ventajas únicas al minimizar funciones no convexas, como analizamos brevemente en la Sección IV.Finalmente, tenga en cuenta que SVGG puede aprovechar$\nabla F({\bar{X}}_s)$ valor para ayudar a decidir cuándo terminar el algoritmo.

Algoritmo 3 método SVGG

1. Parámetros: tamaño del paso $\gamma >0$
2. Inicializar punto de referencia ${\bar{X}}_0=X_0\in {\mathbb{R}}^d$
3. Realizar circulación externa. $s=1,2,\dots$：
   a. Calcular y almacenar$\nabla F({\bar{X}}_{s-1})$
   b.$X_0={\bar{X}}_{s-1}$
   c. Seleccione el número de iteraciones del bucle interno.$a$
   d. Realizar circulación interna.$a=0,1,\dots ,a-1$：
   yo. selección aleatoria ik ∈ { 1 , … , n } i_k en {1, lpuntos, n}ia​∈{1,…,norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}
   Cálculo${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a=\nabla F_{i_a}(X_a)-\nabla F_{i_a}({\bar{X}}_{s-1})+\nabla F({\bar{X}}_{s-1})$
   iii.actualizar$X_{a+1}=X_a-\gamma {gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$
   e. Actualizar punto de referencia${\bar{X}}_s=X_a$

2.4. SDCA y sus variantes

Una desventaja de los métodos SAG y SVGG es que el tamaño de su paso depende de valores desconocidos que pueden ser desconocidos en algunos problemas. ${yo}_{\text{máximo}}$ . Antes de SVRG, el método SDCA [70], como uno de los primeros métodos de realidad virtual, extendió la investigación sobre métodos de descenso de coordenadas a problemas de suma finita. La idea detrás de SDCA y sus variantes es que las coordenadas del gradiente proporcionan una estimación del gradiente natural que reduce la varianza.Específicamente, supongamos j ∈ { 1 , … , d } j en {1, lpuntos, d}yo∈{1,…,d}y definir ${\nabla }_{yo}F(X):=\left(\frac{\partial F(X)}{\partial X_{yo}}\right){mi}_{yo}$ es el ésimo de (f(x))$yo$ derivadas en direcciones de coordenadas, donde${mi}_{yo}\in {\mathbb{R}}^d$ es el primero$yo$ vector unitario.Una propiedad clave de las derivadas de coordenadas es que${\nabla }_{yo}F(X^{\ast })=0$, porque sabemos $\nabla F(X^{\ast })=0$ .La derivada de esto con cada punto de datos.$\nabla F_{yo}$ diferente, este último es$X^{\ast }$ puede que no sea cero. Por lo tanto tenemos:
$$\Vert \nabla F(X)-{\nabla }_{yo}F(X){\Vert }^2\to 0\text{cuando}X\to X^{\ast }(26)$$
Esto significa que la derivada de coordenadas satisface la propiedad de reducción de la varianza (12).Además, podemos utilizar${\nabla }_{yo}F(X)$ para construir$\nabla F(X)$ una estimación insesgada de.Por ejemplo, supongamos$yo$ es de la coleccion { 1 , … , d } {1, lpuntos, d}{1,…,d} Un índice seleccionado uniformemente al azar en .Por lo tanto, para cualquier i ∈ { 1 , … , d } i en {1, lpuntos, d}i∈{1,…,d},Tenemos $PAGAGAG[yo=i]=\frac{1}{d}$ . por lo tanto,$d\times {\nabla }_{yo}F(X)$ Sí$\nabla F(X)$ Una estimación insesgada de porque:
$$mi\left[d{\nabla }_{yo}F(X)\right]=d\sum _{i=1}^{d}PAGAGAG[yo=i]\frac{\partial F(X)}{\partial X_i}{mi}_i=\sum _{i=1}^d\frac{\partial F(X)}{\partial X_i}{mi}_i=\nabla F(X)$$

por lo tanto,${\nabla }_{yo}F(X)$ Tiene todas las propiedades ideales que esperaríamos de la realidad virtual para estimar gradientes completos, sin necesidad de utilizar covariables. Una desventaja de utilizar este gradiente de coordenadas es que es computacionalmente costoso para nuestro problema de suma (2).Esto se debe a que el cálculo${\nabla }_{yo}F(X)$ Es necesario recorrer todo el conjunto de datos porque${\nabla }_{yo}F(X)=\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{\sum }_{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{\nabla }_{yo}{F}_i(X)$ . Por lo tanto, el uso de derivadas de coordenadas parece incompatible con la estructura de nuestro problema de suma. Sin embargo, a menudo podemos reescribir el problema original (2) en la denominada formulación dual, donde las derivadas de coordenadas pueden explotar la estructura inherente.

Por ejemplo, la fórmula dual del modelo lineal regularizado L2 (15) es:
$${en}^{\ast }\in \mathrm{Arkansasgramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}\underset{en\in {\mathbb{R}}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}}{\mathrm{máximo}}\frac{1}{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}-{\ell }_i^{\ast }(-{en}_i)-\frac{\lambda }{2}{\Vert \frac{1}{\lambda }\sum _{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_i{a}_i\Vert }^2(27)$$
en${\ell }_i^{\ast }(en)$ Sí${\ell }_i$ conjugado convexo.Podemos usar el mapeo$X=\frac{1}{\lambda }{\sum }_{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_i{a}_i$ para restaurar el problema original (15)$X$ variable.resolverá${en}^{\ast }$ Sustituyendo en el lado derecho del mapeo anterior, podemos obtener la solución de (15)$X^{\ast }$。

Tenga en cuenta que este doble problema tiene $norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ variables reales${en}_i\in \mathbb{R}$ , correspondiente a uno para cada muestra de entrenamiento.Además, cada función de pérdida dual${\ell }_i^{\ast }$ solo${en}_i$ La función. Es decir, el primer término de la función de pérdida es coordinadamente separable. Esta separabilidad en coordenadas, junto con la forma simple del segundo término, nos permite implementar eficientemente el método de ascenso de coordenadas.De hecho, Shalev-Shwartz y Zhang demostraron que el ascenso coordinado en este problema tiene una complejidad iterativa similar a SAG, SAGA y SVGG.$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(({\kappa }_{\text{máximo}}+norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)\mathrm{Logramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}(1/ϵ))$。

El costo de iteración y la estructura del algoritmo también son muy similares: suma por seguimiento ${\sum }_{i=1}^{norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte}{en}_i{a}_i$ Para manejar el segundo término en (27), cada iteración de ascenso de coordenadas duales solo necesita considerar una muestra de entrenamiento, y el costo de cada iteración es el mismo que$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ Nada que hacer.Además, podemos utilizar una búsqueda de líneas 1D para calcular eficientemente el tamaño del paso para maximizar como${en}_i$ Doble objetivo de la función.Esto significa que incluso sin${yo}_{\text{máximo}}$ O con el conocimiento de las cantidades relevantes, también es posible lograr tiempos de ejecución rápidos en el peor de los casos para los métodos de realidad virtual.

3. Cuestiones prácticas de reducción de la varianza

Para implementar el método básico de reducción de la varianza (VR) y lograr un rendimiento razonable, se deben abordar varios problemas de implementación. En esta sección, analizamos varios temas que no se trataron anteriormente.

3.1.SAG/SAGA/SVRG configuración del tamaño del paso

En el campo de los algoritmos de optimización, especialmente en los métodos de reducción de variación como el gradiente promedio estocástico (SAG), el algoritmo de gradiente promedio estocástico (SAGA) y el gradiente estocástico (SVRG), la configuración del tamaño del paso es una cuestión clave.Aunque para el método de ascenso estocástico de coordenadas duales (SDCA), podemos usar el objetivo dual para determinar el tamaño del paso, la base teórica para los métodos variables originales de SAG, SAGA y SVGG es que el tamaño del paso debe ser$\gamma =Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh\left(\frac{1}{{yo}_{\text{máximo}}}\right)$ forma.Sin embargo, en aplicaciones prácticas, a menudo no sabemos${yo}_{\text{máximo}}$ valor exacto y el uso de otros tamaños de paso puede proporcionar un mejor rendimiento.

Una estrategia clásica para establecer el tamaño del paso en el método de descenso de gradiente completo (GD completo) es la búsqueda de líneas de Armijo.dado el punto actual$X_a$ y dirección de búsqueda${gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a$, Línea Armijo busca en ${\gamma }_a$ se lleva a cabo en la línea, que se define como γ k ∈ { γ : xk + γ gk } gamma_k en {gamma : x_k + gamma g_k}γa​∈{γ:Xa​+γgramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoa​}, y se requiere que la función se reduzca suficientemente, es decir:
$$F(X_a+{\gamma }_a{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a)<F(X_a)-C{\gamma }_a\Vert \nabla F(X_a){\Vert }^2$$
Sin embargo, este enfoque requiere múltiples pasos candidatos.${\gamma }_a$ Cálculo$F(X_a+{\gamma }_a{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a)$, que evalúa $F(X)$ Costo prohibitivo cuando se trata de recorrer todo el conjunto de datos.

Para resolver este problema se puede utilizar un método de variación aleatoria para encontrar aquellos que cumplan las siguientes condiciones ${\gamma }_a$：
$$F_{yo\; soy}(X_a+{\gamma }_a{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_a)<F_{yo\; soy}(X_a)-C{\gamma }_a\Vert \nabla F_{yo\; soy}(X_a){\Vert }^2$$
Este enfoque suele funcionar bien en la práctica, especialmente cuando$\Vert \nabla F_{yo\; soy}(X_a)\Vert$ no está cerca de cero, aunque actualmente no existe ninguna teoría que respalde este enfoque.

Además, Mairal propuso una "técnica de Bottou" para establecer el tamaño del paso en la práctica. Este método realiza una búsqueda binaria tomando una pequeña porción del conjunto de datos (por ejemplo, 5%) para intentar encontrar el tamaño de paso óptimo en una sola pasada a través de esta muestra. Al igual que la búsqueda de líneas de Armijo, este método suele funcionar bien en la práctica, pero nuevamente carece de una base teórica.

Tenga en cuenta que el contenido anterior es una reformulación del texto original y utiliza el formato Markdown para representar fórmulas y variables matemáticas.

Sin embargo, el método SDCA también tiene algunas desventajas.Primero, requiere calcular el conjugado convexo.${\ell }_i^{\ast }$ en lugar de un simple gradiente. No tenemos un equivalente diferencial automático para conjugados convexos, por lo que esto puede aumentar el esfuerzo de implementación. Trabajos recientes han propuesto métodos SDCA "doble libre" que no requieren conjugación y, en cambio, utilizan gradientes directamente. Sin embargo, en estos métodos ya no es posible realizar un seguimiento del objetivo dual para establecer el tamaño del paso.En segundo lugar, aunque SDCA sólo exige$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte+d)$ memoria para resolver el problema (15), pero para esta categoría de problema, SAG/SAGA sólo necesita$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte+d)$ de la memoria (ver Sección 3).Una variante de SDCA adecuada para problemas más generales con SAG/SAGA$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorted)$ memoria porque${en}_i$ convertirse en tener$d$ vector de elementos. Un último inconveniente sutil de SDCA es que implícitamente asume una constante de convexidad fuerte.$\mu$ igual$\lambda$ .para$\mu$ más que el$\lambda$ problema, el método de realidad virtual original generalmente supera significativamente a SDCA.

3.2. Determinación de las condiciones de terminación

En el campo de la optimización de algoritmos, a menudo nos basamos en resultados teóricos de complejidad iterativa para predecir el peor número de iteraciones necesarias para que un algoritmo alcance una precisión específica. Sin embargo, estos límites teóricos a menudo dependen de algunas constantes que no podemos predecir y, en aplicaciones prácticas, el algoritmo a menudo puede lograr la precisión esperada en menos iteraciones. Por lo tanto, necesitamos configurar algunos criterios de prueba para determinar cuándo se debe terminar el algoritmo.

En el método tradicional de descenso de gradiente completo (GD completo), generalmente usamos la norma del gradiente $\Vert \nabla F(X_a)\Vert$ O alguna otra cantidad relacionada con esto para decidir cuándo detener la iteración.Para el método SVGG podemos adoptar el mismo criterio pero usando$\Vert \nabla F({\bar{X}}_s)\Vert$ como base para el juicio.Para el método SAG/SAGA, aunque no calculamos explícitamente el gradiente completo, la cantidad $ g_{bar{k}} $ se aproximará gradualmente$\nabla F(X_a)$, por lo tanto, utilice $\Vert {gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}_{\bar{a}}\Vert$ como condición de parada es una heurística razonable.

En el método SDCA, con algo de trabajo de registro adicional, podemos rastrear el gradiente del objetivo dual sin agregar costos asintóticos adicionales.Además, un enfoque más sistemático sería rastrear la brecha dual, aunque esto aumentaría la$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)$ costo, pero es capaz de proporcionar condiciones de terminación con pruebas de doble brecha. Además, basándose en la condición de optimización de objetivos fuertemente convexos, el método MISO adopta un método de principios basado en un límite inferior cuadrático [41].

Las siguientes son fórmulas matemáticas y variables expresadas en formato Markdown:

• Norma de gradiente:$\Vert \nabla F(X_a)\Vert$
• Norma de gradiente en el método SVGG:$\Vert \nabla F({\bar{X}}_s)\Vert$
• La cantidad de gradiente de aproximación en el método SAG/SAGA: $ g_{bar{k}} $
• Mayor costo por iteración:$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)$
• método MISO
• límite inferior cuadrático

Tenga en cuenta que el contenido anterior es una reformulación del texto original y utiliza el formato Markdown para representar fórmulas y variables matemáticas.

3.3. Reducir los requisitos de memoria.

Aunque el algoritmo de reducción variacional estocástica de gradiente (SVRG) elimina los requisitos de memoria de los métodos anteriores de reducción de variación, en aplicaciones prácticas, los algoritmos SAG (descenso de gradiente promedio estocástico) y SAGA (descenso de gradiente promedio estocástico con acumulación de gradiente) se utilizan en muchos problemas. tienden a requerir menos iteraciones que el algoritmo SVGG.Esto desencadenó un pensamiento: ¿Existen algunos problemas que permitan a SAG/SAGA$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorted)$ Los requisitos de memoria se implementan a continuación. Esta sección explora una clase de modelos lineales para los cuales los requisitos de memoria se pueden reducir significativamente.

Considere un modelo lineal donde cada función $F_i(X)$ Se puede expresar como${\xi }_i({\mathbf{a}}_i^{\top }X)$ .bien$X$ La derivada da la forma de gradiente:
$$\nabla F_i(X)={\xi }^{\prime }({\mathbf{a}}_i^{\top }X){\mathbf{a}}_i$$
aquí,${\xi }^{\prime }$ expresar$\xi$ la derivada de.Suponiendo que tenemos acceso directo a los vectores propios${\mathbf{a}}_i$, entonces para implementar el método SAG/SAGA, solo necesitamos almacenar el escalar $\xi ({\mathbf{a}}_i^{\top }X)$ .De esta manera, los requisitos de memoria varían de$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorted)$ reducido a$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)$ . El algoritmo SVGG también puede aprovechar esta estructura de gradientes: almacenando este$norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte$ escalar, podemos reducir el número de evaluaciones de gradiente requeridas por iteración "interna" de SVGG a 1 para esta clase de problemas.

Existen otro tipo de problemas, como los modelos gráficos probabilísticos, que también ofrecen la posibilidad de reducir los requisitos de memoria [66]. A través de una estructura de datos específica y la optimización del algoritmo, los recursos de memoria requeridos por el algoritmo en tiempo de ejecución se pueden reducir aún más.

Las siguientes son fórmulas matemáticas y variables expresadas en formato Markdown:

• Función del modelo lineal:$F_i(X)={\xi }_i({\mathbf{a}}_i^{\top }X)$
• Expresión de gradiente:$\nabla F_i(X)={\xi }^{\prime }({\mathbf{a}}_i^{\top }X){\mathbf{a}}_i$
• Vector de características:${\mathbf{a}}_i$
• Los requisitos de memoria varían desde $Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorted)$ Reducido a$Ohhhhhhhhhhhhhhhhhhhhhhhhhhhhhh(norteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorteorte)$。

3.4. Procesamiento de gradientes dispersos

En algunos problemas, el gradiente $\nabla F_i(X)$ Puede contener una gran cantidad de valores cero, como un modelo lineal con características escasas.En este caso, el algoritmo tradicional de descenso de gradiente estocástico (SGD) se puede implementar de manera eficiente, con una complejidad computacional lineal en el número de elementos distintos de cero en el gradiente, que generalmente es mucho menor que la dimensión del problema.$d$ . Sin embargo, en los métodos estándar de reducción variacional (VR), esta ventaja no se aprovecha. Afortunadamente, existen dos formas conocidas de mejorar esto.

La primera mejora fue propuesta por Schmidt et al., que aprovecha la simplicidad del proceso de actualización e implementa una variante de cálculo "sobre la marcha" de modo que el coste de cada iteración es proporcional al número de iteraciones distintas de cero. elementos.Tomando SAG como ejemplo (pero este enfoque funciona para todas las variantes), esto se hace no almacenando el vector completo después de cada iteración.${en}_{yo\; soy}$, pero solo calcula aquellos correspondientes a elementos distintos de cero ${en}_{i{a}_{yo}}$, actualizando cada variable desde la última vez que ese elemento era distinto de cero ${en}_{i{a}_{yo}}$。

El segundo método de mejora fue propuesto por Leblond et al. para SAGA, que actualiza la fórmula. $X_{a+1}=X_a-\gamma (\nabla F_{yo\; soy}(X_a)-\nabla F_{yo\; soy}({\bar{X}}_{yo\; soy})+{\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a)$ Se introduce aleatoriedad adicional. aquí,$\nabla F_{yo\; soy}(X_a)$ y$\nabla F_{yo\; soy}({\bar{X}}_{yo\; soy})$ es escaso y${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a$ es denso.En este método, el término denso$({\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a{)}_{yo}$ Cada componente de es reemplazado por${el}_{yo}({\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a{)}_{yo}$,en $el\in {\mathbb{R}}^d$ es un vector disperso aleatorio cuyo conjunto de soporte está contenido en$\nabla F_{yo\; soy}(X_a)$ , y se espera que sea un vector constante con todos los elementos iguales a 1. De esta manera, el proceso de actualización sigue siendo imparcial (aunque ahora es escaso) y la mayor varianza no afecta la tasa de convergencia del algoritmo. Leblond et al. proporcionan más detalles.

Las siguientes son fórmulas matemáticas y variables expresadas en formato Markdown:

• degradado:$\nabla F_i(X)$
• Actualización de SGD:$X_{a+1}=X_a-\gamma (\nabla F_{yo\; soy}(X_a)-\nabla F_{yo\; soy}({\bar{X}}_{yo\; soy})+{\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a)$
• gradiente escaso:$\nabla F_{yo\; soy}(X_a)$ y$\nabla F_{yo\; soy}({\bar{X}}_{yo\; soy})$
• gradiente denso:${\overline{gramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramoramo}}_a$
• Vectores dispersos aleatorios:$el$
• Espera un vector constante: un vector con todos los elementos iguales a 1.