Índice

Reducción de la dimensionalidad y Entropíaentropía

Puede parecer molesto basar toda nuestra estrategia de reducción de la dimensionalidad en el álgebra lineal, como hacemos con el PCA, pues estas técnicas podrían involucrar ciertas hipótesis simplificadoras acerca de la naturaleza de los datos sobre los que el data scientist tiene algo de prisa.

El concepto de «entropía e información compartida» descrito en la introducción de este libro parece más general y en apariencia resulta legítimo construir parte de su estrategia sobre estos conceptos.

En el capítulo Introducción, hemos expresado la información mutua de dos variables como representable mediante la siguiente expresión (en función de la entropía):

I(X,Y) = H(X) + H(Y) - H(X,Y)

Esta expresión se anula en el caso de dos variables dependientes. Aquí, la noción de dependencia no supone una dependencia lineal o incluso una dependencia lineal tras cualquier transformación.

1. Descripción teórica del problema

Vamos a llamar S (como set), al conjunto de nuestras variables explicativas xi e y a nuestra variable respuesta.

Nuestro objetivo es seleccionar un subconjunto de S que contenga p features, es decir, ciertas variables explicativas (features); llamaremos s a este subconjunto y m a su número de features.

Ahora nos hace falta un criterio de selección.

En una primera aproximación, podemos imaginar rápidamente ...