Gradiente Boosting y Generalized Boosted Regression Generalized Boosted Regression Gradiente:Gradient Boosting

1. Los grandes principios

Los principios del boosting y de los métodos de gradiente ya se han presentado en los capítulos anteriores (desde el primer capítulo). Ahora nos centraremos en una implementación práctica, particularmente fácil de manejar para conjuntos de datasets de tamaño razonable, como los que encontrará en las competencias de data scientist: la Generalized Boosted Regression.

El objetivo de una regresión se formaliza de la siguiente manera (consulte el capítulo Dominar los conceptos básicos) images/eq1072.PNG.
En el caso «paramétrico», esto equivale a encontrar un vector de parámetros images/eq1073a.png estimados de la función, como images/eq1073.PNG.

En el caso no paramétrico, permanecemos en la primera formulación en función del riesgo, y el método del gradiente se aplica directamente al riesgo.

En cada iteración tenemos en ambos casos images/eq1074.PNG.

Pero en el caso paramétrico, es posible aplicar el método de gradiente directamente a los parámetros, y esto es precisamente lo que hay que hacer.

Todo esto plantea algunos problemas prácticos. De hecho, el modelo tiende a superponerse en todas las observaciones (en lugar de crear una función resultante que pueda generalizarse). Los casos para los que diferentes observaciones con los mismos valores explicativos conducen a una respuesta diferente, pueden desestabilizar el descenso del gradiente...

Si desea saber más, le proponemos el siguiente libro:
couv_EPT3DASR.png
60-signet.svg
Versión impresa
20-ecran_lettre.svg
Versión online
41-logo_abonnement.svg
En ilimitado con la suscripción ENI
130-boutique.svg
En la tienda oficial de ENI
Anterior
Conocimientos prácticos útiles
Siguiente
¿Por qué este capítulo?