Vocabulario y «tricks of the trade»

1. Complementos sobre las bases del machine learning

OLS: Ordinary Least Squares (regression) es otra forma de denominar la regresión lineal ordinaria por el método de los mínimos cuadrados, a la que nos acercamos (LM) desde el inicio del libro. OLS (Ordinary Least Squares)

RM VS SRM: Empirical risk minimization hace referencia a la minimización de la función de riesgo sin regularización; Structural risk minimization, con regularización. L1 y L2 designan los tipos de regularizaciones que hemos visto en el libro. RM SRM Empirical risk minimization

La función indicadora, que presentamos en el capítulo Técnicas y algoritmos esenciales, permite una gran compacidad en la expresión de ciertos problemas; por ejemplo, k-NN tiene por objetivo: .

LOOCV: Leave-one-out cross validation es un k-fold CV con k=n (cuidado, verifique la variación del modelo cuidadosamente). LOOCV (Leave-One-Out Cross Validation)

PMF VS PDF: Probability Mass Function VS Probability Density Function (densidad de probabilidad): caso discreto VS caso continuo para la densidad de una distribución de probabilidad. PMF PDF Probabilidad:Mass Function Probabilidad:Density Function

CDF: Cumulative Distribution Function simplemente es la función de reparto. El Joint CDF (... unión) se puede definir como:

LSE: LogSumExp, utilizado en el LSE «trick»...