Introducción al algoritmo de aumento de gradiente
La técnica de transitar a los aprendices semanales en un aprendiz fuerte se llama Impulso. El proceso del algoritmo de aumento de gradiente funciona en esta teoría de la ejecución. El algoritmo de refuerzo de Ada se puede representar para explicar y comprender fácilmente el proceso a través del cual se inyecta el refuerzo en los conjuntos de datos.
Árbol de decisión
Un árbol de decisión es una herramienta de soporte de veredicto que determina las decisiones al implicar un árbol y sus consecuencias probables, junto con los posibles resultados de eventos, costos de recursos, etc. Esta técnica les permite mostrar declaraciones de control que operan en resultados condicionales.
Las operaciones de investigación utilizan ampliamente estos árboles de decisión específicamente en el análisis de decisiones, también les permite alcanzar un objetivo y también es una herramienta admirada en el aprendizaje automático.
Algoritmo AdaBoost
El algoritmo AdaBoost comienza mediante la preparación de un árbol de decisión en el que cada observación tiene asignado un peso equivalente. Después de evaluar el árbol primario, aumentamos los pesos de esa interpretación que son complicados de clasificar y subordinan los pesos para aquellos que son fáciles de clasificar. El segundo árbol se desarrolla como resultado de estos datos perjudicados. Aquí, el diseño es mejorar la profecía del árbol primario.
Luego calcule el error de categorización de este innovador modelo de colección de 2 árboles y cultive el tercer árbol para prever los residuos modificados. El procedimiento anterior se repite en un par de instancias. Las observaciones que no están bien definidas en los árboles anteriores se determinan utilizando árboles posteriores. Las predicciones del modelo de ensamblaje final son, en consecuencia, la figura prejuiciosa de las predicciones terminadas por los modelos de árbol anteriores.
Modelo de entrenamiento GBM
Para instruir a un modelo gbm en lenguaje R, la biblioteca GBM debe estar instalada y se crea una llamada a esta biblioteca GBM instalada desde el programa de llamada. Además, los argumentos necesarios tienen que especificarse, los argumentos clave se enumeran a continuación,
1. La fórmula
2. Distribución de las variables de respuesta.
3. Variable predictora
4. Variable de respuesta
Las distribuciones habituales utilizadas en los modelos GBM son Bernoulli, Poisson, etc.
Por último, se espera que se especifiquen los datos y los argumentos n.trees. Por defecto, el modelo gbm dará por sentado 100 árboles, lo que puede ofrecer es una aproximación de buena calidad del concierto de gbm.
Código de muestra n. ° 1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Aquí hay un siguiente paso: el conjunto de datos real se divide en división de conjunto de datos de tren y prueba y esto se logra mediante la función createDataPartition (). Este tipo de división será de gran ayuda en la parte posterior para entrenar el conjunto de prueba usando el conjunto de entrenamiento entrenado y además se determinan las predicciones reales para los datos originales.
Código de muestra n. ° 2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
El paso posterior es entrenar un modelo de gbm por medio de nuestro profesional de entrenamiento. Si bien todos los argumentos adicionales son exactamente lo que se notificó en las secciones anteriores. Se mencionan otros dos argumentos adicionales: interacción, profundidad y contracción.
1. La profundidad de interacción explica la profundidad máxima de cada árbol
2. La medición de la tasa de intelecto se logra utilizando la Contracción. aquí todos los valores suplementarios en los árboles base de aprendizaje se reducen usando esta contracción.
Además, esta técnica permite mostrar declaraciones de control que operan en resultados condicionales. Las operaciones de investigación utilizan ampliamente estos árboles de decisión específicamente en el análisis de decisiones. También nos permite alcanzar un objetivo y también son una herramienta admirada en el aprendizaje automático.
Salida modelo GBM
La salida del modelo GBM contiene detalles sobre el número total de árboles implicados para la ejecución. Esto ayudará a predecir la influencia de la variable predictora en el modelo, también la tabla de importancia variable y la gráfica del modelo se pueden derivar de la función de resumen de la salida GBM.
Método de predicción () utilizando el modelo GBM
Entonces, para hacer las predicciones en la parte superior de los datos clave del modelo GBM como en otros modelos, el método de predicción está implícito. Además, el recuento del número total de árboles de decisión que se utilizan debe mencionarse manualmente en la sección de argumentos del método.
Código de muestra
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Mejoras del modelo GBM
Restricciones de árboles
- Es significativo que los alumnos débiles abarquen habilidades pero se mantengan débiles.
Actualizaciones ponderadas
- Secuencialmente se aplica la suma de las predicciones de cada árbol.
- La donación de cada árbol a esta cantidad debe ser masiva para ralentizar el aprendizaje del algoritmo. Este proceso es llamado contracción.
Algoritmo estocástico de refuerzo de gradiente
Este beneficio equivalente se puede utilizar para disminuir la asociación flanqueada por los árboles.
Algoritmo de refuerzo de gradiente penalizado
Los árboles parametrizados se pueden llenar con restricciones adicionales, el árbol de decisión clásico no se puede utilizar como alumnos débiles. En su lugar, se utiliza uno personalizado llamado árbol de regresión que tiene valores numéricos en los nodos hoja.
Artículos recomendados
Esta ha sido una guía para el algoritmo de aumento de gradiente. Aquí discutimos una introducción, Árbol de decisión, Algoritmo AdaBoost, Entrenamiento del modelo GBM, Mejoras del modelo GBM junto con algunos códigos de muestra. También puede consultar nuestros otros artículos sugeridos para obtener más información:- Algoritmo del árbol de decisión
- Algoritmos de aprendizaje automático
- Algoritmo XGBoost
- Algoritmos de ciencia de datos
- Algoritmo de C ++ | Ejemplos de algoritmo C ++
- Implementando la regresión de Poisson en R