Descripción general de las funciones de pérdida en el aprendizaje automático
Al igual que los maestros nos guían, ya sea que tengamos un buen desempeño o no en nuestro mundo académico, las funciones de pérdida hacen el mismo trabajo. Es un método para evaluar qué tan bien nuestro algoritmo modela los datos. Las funciones de pérdida son la principal fuente de evaluación en el aprendizaje automático moderno. Cuando cambie su algoritmo para mejorar su modelo, el valor de la función de pérdida le dirá si está progresando o no. Nuestro objetivo principal debe ser reducir la función de pérdida mediante la optimización. En este artículo, vamos a discutir cómo funcionan las funciones de pérdida y los diferentes tipos de funciones de pérdida.
¿Cómo funcionan las funciones de pérdida?
La palabra 'Pérdida' establece la penalización por no lograr el resultado esperado. Si la desviación en el valor predicho del valor esperado por nuestro modelo es grande, entonces la función de pérdida da el número más alto como resultado y si la desviación es pequeña y mucho más cercana al valor esperado, genera un número menor.
Aquí hay un ejemplo cuando estamos tratando de predecir el precio de venta de la vivienda en las ciudades metropolitanas.
| Predicho
Precio de venta (en lakh) | Real
Precio de venta (en lakh) | Desviación (Pérdida) |
| Bangalore: 45 | 0 (Todas las predicciones son correctas) | |
| Pune: 35 | ||
| Chennai: 40 | ||
| Bangalore: 40 | Bangalore: 45 | 5 lakh para Bangalore, 2 lakh para Chennai |
| Pune: 35 | Pune: 35 | |
| Chennai: 38 | Chennai: 40 | |
| Bangalore: 43 | 2 lakh para Bangalore, 5 lakh para, Pune2 lakh para Chennai, | |
| Pune: 30 | ||
| Chennai: 45 |
Es importante tener en cuenta que la cantidad de desviación no importa, lo que importa aquí es si el valor predicho por nuestro modelo es correcto o incorrecto. Las funciones de pérdida son diferentes según el enunciado del problema al que se aplica el aprendizaje automático. La función de costo es otro término, que se usa indistintamente para la función de pérdida, pero tiene un significado ligeramente diferente. Una función de pérdida es para un solo ejemplo de entrenamiento, mientras que la función de costo es la pérdida promedio sobre el conjunto completo de datos del tren.
Tipos de funciones de pérdida en el aprendizaje automático
A continuación se muestran los diferentes tipos de función de pérdida en el aprendizaje automático que son los siguientes:
1) Funciones de pérdida de regresión:
La regresión lineal es un concepto fundamental de esta función. Las funciones de pérdida de regresión establecen una relación lineal entre una variable dependiente (Y) y una variable independiente (X), por lo tanto, intentamos ajustar la mejor línea en el espacio en estas variables.
Y = X0 + X1 + X2 + X3 + X4…. + Xn
X = variables independientes
Y = variable dependiente
- Pérdida de error cuadrática media:
MSE (error L2) mide la diferencia cuadrática promedio entre los valores reales y predichos por el modelo. La salida es un número único asociado con un conjunto de valores. Nuestro objetivo es reducir MSE para mejorar la precisión del modelo.
Considere la ecuación lineal, y = mx + c, podemos derivar MSE como:
MSE = 1 / N ∑i = 1 a n (y (i) - (mx (i) + b)) 2
Aquí, N es el número total de puntos de datos, 1 / N ∑i = 1 a n es el valor medio e y (i) es el valor real y mx (i) + b es el valor pronosticado.
- Pérdida de error logarítmico cuadrático medio (MSLE):
MSLE mide la relación entre el valor real y el predicho. Introduce una asimetría en la curva de error. MSLE solo se preocupa por la diferencia porcentual de valores reales y pronosticados. Puede ser una buena opción como función de pérdida, cuando queremos predecir los precios de venta de la vivienda, los precios de venta de la panadería y los datos son continuos.
Aquí, la pérdida se puede calcular como la media de los datos observados de las diferencias al cuadrado entre los valores reales y pronosticados transformados logarítmicamente, que se pueden dar como:
L = 1nn∑i = 1 (log (y (i) +1) −log (y (i) +1)) 2
- Error absoluto medio (MAE):
MAE calcula la suma de las diferencias absolutas entre las variables reales y predichas. Eso significa que mide la magnitud promedio de los errores en un conjunto de valores predichos. Usar el error cuadrático medio es más fácil de resolver, pero usar el error absoluto es más robusto para los valores atípicos. Los valores atípicos son esos valores, que se desvía extremadamente de otros puntos de datos observados.
MAE se puede calcular como:
L = 1nn∑i = 1∣∣y (i) - y (i) ∣∣
2) Funciones de pérdida de clasificación binaria:
Estas funciones de pérdida están hechas para medir el desempeño del modelo de clasificación. En esto, a los puntos de datos se les asigna una de las etiquetas, es decir, 0 o 1. Además, se pueden clasificar como:
- Entropía cruzada binaria
Es una función de pérdida predeterminada para problemas de clasificación binaria. La pérdida de entropía cruzada calcula el rendimiento de un modelo de clasificación que proporciona un resultado de un valor de probabilidad entre 0 y 1. La pérdida de entropía cruzada aumenta a medida que el valor de probabilidad pronosticado se desvía de la etiqueta real.
- Pérdida de la bisagra
La pérdida de bisagra se puede usar como una alternativa a la entropía cruzada, que inicialmente se desarrolló para usar con un algoritmo de máquina de vectores de soporte. La pérdida de bisagra funciona mejor con el problema de clasificación porque los valores objetivo están en el conjunto de (-1, 1). Permite asignar más errores cuando hay una diferencia en el signo entre los valores reales y los pronosticados. Por lo tanto, resulta en un mejor rendimiento que la entropía cruzada.
- Pérdida de bisagra cuadrada
Una extensión de la pérdida de la bisagra, que simplemente calcula el cuadrado del puntaje de pérdida de la bisagra. Reduce la función de error y hace que sea numéricamente más fácil trabajar con él. Encuentra el límite de clasificación que especifica el margen máximo entre los puntos de datos de varias clases. La pérdida de bisagra cuadrada es perfecta para problemas de decisión de tipo SÍ O NO, donde la desviación de probabilidad no es la preocupación.
3) Funciones de pérdida de clasificación de clase múltiple:
La clasificación de clases múltiples es los modelos predictivos en los que los puntos de datos se asignan a más de dos clases. A cada clase se le asigna un valor único de 0 a (Number_of_classes - 1). Se recomienda encarecidamente para problemas de clasificación de imágenes o textos, donde un solo documento puede tener múltiples temas.
- Entropía cruzada multiclase
En este caso, los valores objetivo están en el conjunto de 0 a n, es decir, (0, 1, 2, 3 … n). Calcula un puntaje que toma una diferencia promedio entre los valores de probabilidad reales y pronosticados y el puntaje se minimiza para alcanzar la mejor precisión posible. La entropía cruzada multiclase es la función de pérdida predeterminada para problemas de clasificación de texto.
- Escasa entropía cruzada multiclase
Un proceso de codificación en caliente hace que la entropía cruzada multiclase sea difícil de manejar una gran cantidad de puntos de datos. La escasa entropía cruzada resuelve este problema al realizar el cálculo del error sin utilizar la codificación de un solo calor.
- Kullback Leibler Pérdida de divergencia
La pérdida de divergencia KL calcula la divergencia entre la distribución de probabilidad y la distribución de referencia y descubre cuánta información se pierde en términos de bits. La salida es un valor no negativo que especifica qué tan cerca están dos distribuciones de probabilidad. Para describir la divergencia de KL en términos de visión probabilística, se utiliza la razón de probabilidad.
En este artículo, inicialmente, entendimos cómo funcionan las funciones de pérdida y luego exploramos una lista completa de funciones de pérdida con ejemplos de casos usados. Sin embargo, entenderlo prácticamente es más beneficioso, así que trate de leer más e implementarlo. Aclarará sus dudas a fondo.
Artículos recomendados
Esta es una guía de las funciones de pérdida en el aprendizaje automático. Aquí discutimos cómo funcionan las funciones de pérdida y los tipos de funciones de pérdida en el aprendizaje automático. También puede echar un vistazo a los siguientes artículos para obtener más información:
- Métodos de aprendizaje automático
- Introducción al aprendizaje automático
- Tecnologías de Big Data
- Software de análisis de Big Data
- Aprende las categorías del hiperparámetro
- Ciclo de vida del aprendizaje automático | Top 8 etapas