Introducción

a. La Web

De manera original, la Web es una gigantesca reserva anárquica de datos. Con la conciencia de su importancia, hemos visto el desarrollo del open data. Pero ¿qué es el open data en términos concretos? Podríamos definirlo como el deseo de organizar los datos acumulados para facilitar su acceso y su uso. Este movimiento ha crecido mucho y ahora podemos tener acceso rápido y fácil a todo tipo de información. Todas las organizaciones -en primer lugar, los Estados- han puesto sus datos a disposición del público en general de forma gratuita en formatos accesibles y reutilizables. Cualquier persona puede utilizar estos datos para proyectos de todo tipo, ya sean comerciales o no. Aquí hay una lista no exhaustiva de enlaces con los que familiarizarse:

Aparte de los datos abiertos, miles de millones de datos aún están esperando a que se descubran sus secretos. Pero tendremos que hacerlo nosotros mismos, asegurándonos de respetar las condiciones de recuperación y uso de la información de los sitios web. A esto se le llama «web scraping», del que aprenderemos conceptos básicos un poco más adelante.

b. Datos privados

Las empresas también poseen una gran cantidad de datos que formarán la segunda fuente principal. Cualquier información, ya sea financiera, comercial o técnica, puede ser analizada. Sin embargo, esto se debe lograr en el marco del Reglamento General de Protección de Datos (RGPD), destinado a proteger la privacidad de las personas y garantizar la seguridad de los datos personales en Europa.

He aquí un diagrama que presenta las seis reglas principales del RGPD que se deben respetar:

En cuanto al almacenamiento de los datos, también es importante asegurarse de que se alojan en una zona sujeta a la aplicación del RGPD.

c. Creemos nuestros propios datos

Por último, si toda la información disponible, pública o privada, no satisface nuestras necesidades...

a. Recogida de datos

Un fabricante de helados nos encargó que le ayudáramos a entender y mejorar sus ventas. Él nos da los detalles. Empezaremos por comprobar si los datos están en un formato procesable. De hecho, dependiendo de los análisis deseados, a menudo será necesario modificar la presentación de los datos para satisfacer nuestras necesidades. Además, estos datos suelen estar compuestos por varias tablas cuyas claves primarias será necesario identificar con el fin de vincularlas.

Supongamos que tenemos los detalles de las ventas y el sabor del helado; seguramente tendremos que vincular este sabor a su precio unitario, presente en otra tabla. En este caso, el sabor será la clave primaria.

En casos más complejos, puede ser necesario el uso de un diccionario de variables. Este documento servirá como guía detallando el significado, tipo de variables o cualquier otra información que ayude a comprender los datos. No debe avanzar al siguiente paso de limpieza hasta que se haya familiarizado completamente con todos los datos que se utilizarán.

b. Limpieza

Los datos a menudo necesitan un paso de limpieza antes de estar listos para su uso. Siempre requieren reformateos adicionales o correcciones. Un caso clásico para nuestro ejemplo sería mostrar el precio con el símbolo €, que indica al consumidor la moneda utilizada, pero nos impedirá hacer cálculos porque la variable no se puede considerar numérica. Estos cambios son ligeros y rápidos de corregir; pero otros, como los valores que faltan, serán más difíciles de resolver. En este caso, la primera cuestión es si la ausencia de una respuesta es posible o aceptable. Si no es así, podemos completar haciendo lo que se llama una imputación.

Esta operación consiste en sustituir los valores que faltan por la media de la variable, su mediana o su valor modal para las variables numéricas, y simplemente el valor modal para las variables categóricas. También hay técnicas más sofisticadas que desarrollaremos en la parte práctica. En los casos en que la imputación resulte demasiado arriesgada, podemos considerar no tener en cuenta los datos que estén demasiado incompletos. Esta disyuntiva es un verdadero desafío y nos obliga a cuestionar las implicaciones de cada opción.

Una vez realizada la limpieza, podemos empezar a manipular los datos para evaluarlos.

c. Exploración

No sabemos a priori cuáles son las características de nuestro conjunto de datos. Empecemos por descubrir sus dimensiones, la calidad del relleno y, posteriormente, manipulando y visualizando, sabremos cuántos helados se venden al día en promedio, si hay sabores que no se venden, cuál fue el mejor y el peor día, si las ventas tienden a aumentar o no, etc. Entonces nos daremos cuenta de la realidad sobre el terreno.

La visualización se convertirá en un valioso aliado al resaltar inmediatamente los aspectos específicos de los datos estudiados. He aquí un ejemplo para ilustrar este fenómeno:

Las barras azules hablan por sí solas y percibimos enseguida la facturación generada por cada sabor. Esta familiarización con el campo de estudio generará observaciones y preguntas que luego verificaremos en la siguiente parte.

d. Análisis

El análisis sigue directamente a nuestra exploración. Primero utilizaremos pruebas estadísticas para determinar la generalización de las observaciones comprobadas en el paso anterior. Esta fase se denomina inferencia estadística y consiste en validar mediante métodos de generalización si lo que observamos durante la exploración de nuestra muestra se podría generalizar a toda la población.

Concretamente, si estudiamos las ventas de helados entre semana y el fin de semana, la diferencia tendrá que llegar a un cierto nivel en función de la muestra para que podamos decir que hay una diferencia significativa y así considerar relevante este tipo de división. Por debajo de este umbral, la diferencia podría provenir del efecto de ordenación y no se debería tener en cuenta. El número de personas juega un papel crucial aquí: cuantas más observaciones tengamos, menores serán los márgenes de incertidumbre en torno a los valores constatados y más significativa podría llegar a ser una diferencia, por pequeña que resulte.

A continuación, estudiaremos las variables de una en una, de dos en dos y luego de forma global para perfeccionar completamente nuestro conocimiento de los datos y de su funcionamiento. Estos estudios se denominan...