Librería estándar y algunas otras

Introducción

Los capítulos anteriores le han permitido descubrir las bases procedimentales y los objetos del lenguaje Python.

A partir de estas bases, la comunidad alrededor de Python ha codificado, en el momento de escribir este libro, 218.066 proyectos o módulos.

Entonces, si alguna vez tiene la idea de escribir un gran módulo, primero haga una búsqueda en https://pypi.org (Python Package index).

A menudo, en los medios en los que hablamos del lenguaje Python, escuchamos las palabras ’librería estándar’ o ’stdlib’.

¿Qué es exactamente?

La librería estándar está formada por módulos incorporados con el código fuente de Python.

Ventaja evidente: si Python está instalado, también lo está el módulo de librería estándar.

Problema: en aras de la compatibilidad, los desarrolladores se ven obligados a mantener el código antiguo, incluso muy antiguo.

Además, incluso Guido Van Rossum lo dice: "A package in the stdlib has one foot in the grave" (un paquete en la stdlib tiene un pie en la tumba).

Por ejemplo, para la gestión de las opciones de la línea de comandos, existen:

y mientras buscamos, nos encontramos con el módulo docopt, que parece bastante práctico....

El comando pip

pip es el comando para instalar paquetes de Python integrados en las fuentes desde la versión 3.4.

Este comando automatiza la conexión al sitio https://pypi.org/, la descarga, la instalación e incluso la compilación del módulo solicitado.

Además, se ocupa de las dependencias de cada paquete.

La sintaxis, como siempre, es bastante simple:

pip <comando> <nombre_del_paquete> 

A continuación se muestran los comandos básicos:

Detrás de este comando de tres letras, se encuentra el acceso a más de 200.000 módulos de Python.

Posteriormente, si es necesario descargar un módulo, se indicará cual.

Pip es una herramienta evolucionada y flexible, y aquí está el método para volver a instalar y/o sincronizar librerías de un entorno virtual a otro.

Para obtener una copia de un entorno de Python, es suficiente con aplicar el siguiente comando desde el entorno de origen:

pip freeze > requirements.txt 

Y en el entorno de destino:

pip install -r requirements.txt 

para obtener una instalación de las librerías.

Los módulos sys y os

Dos módulos se distinguen del resto: sys y os.

Estos son los módulos más cercanos al sistema y en aras de la compatibilidad, todavía hay algunas funcionalidades de bajo nivel. Pero en general, en estos casos es mejor buscar en el resto de la librería estándar o en módulos específicos.

Las opciones de la línea de comandos

Como hablamos al comienzo de este capítulo, Python viene con módulos para manejar la línea de comandos.

Existe:

Y hay otros, pero argparse, que en sí mismo es recomendable, no necesita dependencias ni llamadas a pip.

Se usa de esta manera:

Aquí hay un ejemplo de script:

# archivo: argparse_1.py  
  
import argparse  
  
def mi_programa(opciones):  
   print("Mi programa ")  
   print("Opciones: %s " % opciones )  
  
if __name__ == '__main__':  
   ## gestión de los argumentos  
   parser = argparse.ArgumentParser()  
   parser.add_argument('-f', '--archivo', help='Nombre de archivo' ) ...

La interceptación de señales

La gestión de señales no es mucho más complicada que el resto, porque todo está en el módulo signal.

La primera señal que generalmente queremos administrar es la interrupción SIGINT.

Es suficiente con:

Ejemplo de script

#archivo: signal_1.py  
  
import signal  
import sys  
  
def interrupcion(signal, contexto):  
   print("Cierre como consecuencia de CTRL-C")  
   sys.exit(0)  
  
signal.signal(signal.SIGINT, interrupcion)  
  
print("Inicio del bucle infinito...")  
while True:  
   pass 

La función debe aceptar dos argumentos: la señal en cuestión en forma de número entero y el contexto de ejecución durante la interceptación de la señal.

Ejemplo de ejecución

$ python signal_1.py  
Inicio del bucle infinito...  
^CCierre como consecuencia de CTRL-C 

Otro ejemplo práctico del uso de señales: las alarmas.

Aquí hay un script que muestra...

Los archivos temporales

Generar archivos temporales no tiene por qué ser una tarea tediosa.

Con demasiada frecuencia, el directorio /tmp se convierte en una papelera difícil de limpiar.

Python ofrece un módulo dedicado a los archivos temporales. Estamos hablando de él ahora porque este módulo se usará a menudo en nuestros ejemplos.

Gracias a la instrucción with, el módulo para la gestión de archivos temporales se ha convertido en un verdadero placer.

De hecho, con esta instrucción, el archivo temporal se elimina automáticamente y funciona incluso con los directorios.

Observe la simplicidad del código:

#archivo: temp1.py  
  
import tempfile  
  
data = [ 'línea 1\n', 'línea 2\n', 'línea 3\n' ]  
  
with tempfile.TemporaryFile(mode='w+') as fic:  
   fic.writelines( data )                     # escritura  
   fic.flush()                                # forzada  
   fic.seek(0)                                #...

Los módulos para las operaciones en los archivos y directorios

Se proporciona un cierto número de módulos para la gestión de directorios y archivos.

Muchos módulos y funciones provienen de su equivalente "línea de comando" y el objetivo no es reemplazar el shell por el lenguaje Python, sino usar las fortalezas de uno para completar las del otro.

os.path() 

p = os.path('/proc') 

os.path.abspath('.')  # devuelve /home/chris 

os.chdir(p) 

os.mkdir( '/tmp/test') 

os.listdir(p)     #devuelve una lista 

os.path.exists(p)    # devuelve True or False 

>>> os.path.basename('/tmp/test')  
'test'  
# Atención si la ruta termina con '/'  
>>> os.path.basename('/tmp/test/')   
'' 

La gestión de los procesos y subprocesos

El módulo subprocess le permite iniciar procesos, ejecutar comandos del sistema e incluso comunicarse con ellos.

En primer lugar, la ejecución de un comando simple:

>>> import subprocess  
>>> subprocess.run(["espeak", "hola"])  
CompletedProcess(args=['espeak', 'hola'], returncode=0) 

Normalmente, debería escuchar a su ordenador hablar con acento inglés.

#archivo: subprocess/sub1.py  
  
import subprocess  
  
comando = [ "ls", "-l" ]  
  
cmd = subprocess.run(comando, universal_newlines=True,  
stdout=subprocess.PIPE, stderr=subprocess.PIPE)  
  
print("=" * 30 )  
print("Comando: %s " % comando )  
print("=" * 30 )  
print(" return code: %s " % cmd.returncode)  
print("=" * 30 )  
print(" STDOUT: ")  
print(" %s " % cmd.stdout )  
print("=" * 30 )  
print(" STDERR: ")  
print(" %s " % cmd.stderr )  
print("=" * 30 ) 

 $ python sub1.py  
==============================  
Comando: ['ls', '-l']  
==============================  
return code: 0  
==============================  
STDOUT:  
total 16  
-rw-rw-r-- 1 chris chris  162 nov.   2 12:40 bdd1.txt  
-rw-rw-r-- 1 chris chris    0 nov.   2 09:57 arc1  
-rw-rw-r-- 1 chris chris    0 nov.   2 09:57 arc2  
-rw-rw-r-- 1 chris chris    0 nov.   2 09:57 arc3  
-rw-rw-r-- 1 chris chris  413 nov.   2 10:01 sub1.py  
-rw-rw-r-- 1 chris chris 1246 nov.   2 17:08 sub2.py  
-rw-rw-r-- 1 chris chris  997 nov.   2 17:13 sub3.py  ...

Mathplotlib

Mathplotlib es una librería científica para generar gráficos.

Este tiene tanto éxito que unas pocas líneas de código permiten generar un gráfico simple.

Y todos saben que una imagen vale más que mil palabras.

Incluso podemos decir que un poco de código vale más que un párrafo largo.

A continuación, se muestra:

# archivo: mathplotlib1.py  
  
import matplotlib.pyplot as plt  
import random  
  
data = [ random.randint(5, 25) for x in range(0,20) ]  
  
plt.title(" Datos Aleatorios")       # el título 
plt.plot(data)                       # transmisión de los datos 
plt.ylabel('Etiqueta eje de las Y')  # título del eje Y  
plt.xlabel('Etiqueta eje de las X')  # título del eje X  
plt.show()                           # Visualización 

Y nuevamente, agregamos un título al gráfico y le damos etiquetas a los dos ejes.

Esto es lo que da:

Ocho líneas de código en total. Difícil de conseguir algo más...

Las expresiones regulares (parece magia)

Las expresiones regulares o racionales han formado parte del sistema Unix desde sus inicios.

Originalmente, se trata de una teoría matemática para describir conjuntos. El propio Ken Thompson (uno de la diseñadores de Unix), la implementó en el editor ’ed’, y después en ’grep’.

Larry Wall integró en su lenguaje Perl, operadores específicos para expresiones regulares. Esto le da a este lenguaje un poder incomparable, pero en detrimento de la legibilidad del código.

Desde entonces, todos los lenguajes informáticos permiten, de una forma u otra, el uso de esta gran herramienta.

Guido Van Rossum habría codificado expresiones regulares en Python tras un intercambio de ideas con Larry Wall.

Por otro lado, es casi seguro que para los no Unixianos o el común de los mortales, es más un encantamiento que programación.

Pero si es pragmático, este módulo le ahorra tiempo, porque le permite codificar ciertos scripts repetitivos más rápidamente.

Con las expresiones regulares, es posible expresar en unas pocas líneas un código que, de otra manera, requeriría varias decenas de líneas.

No hay nada complicado en la sintaxis de las expresiones regulares, y muchas veces solo tiene que probar y buscar para encontrar la solución. Algunas veces eso tiene un poco de mágico.

Como puede ver, las expresiones regulares son muy apreciadas por el autor y se puede encontrar una explicación a este entusiasmo en el anexo a este libro.

Python usa las expresiones regulares POSIX con algunas diferencias, pero no es importante.

Ahora que conoce la historia de las expresiones regulares, parece acertado ver qué puede hacer con ellas.

En primer lugar, una expresión regular es solo una cadena de caracteres que describe un patrón, que se aplica a otras cadenas de caracteres.

Esto hace posible determinar las cadenas de caracteres que coinciden con el patrón; este es el principio básico, pero va un poco más allá.

Gracias a este patrón que aplicamos a una cadena, con los métodos siguientes podemos:

Las fechas y el tiempo (regreso al futuro)

Quizás este es el módulo que marcará la diferencia si tiene que elegir entre un buen script antiguo bash y Python.

Realizar cálculos de fechas con el shell, aunque aún sea posible, no es tarea fácil, dado que no fue diseñado para eso y que a decir verdad, tampoco es su función.

Python necesitaba tener herramientas capaces de manejar fechas, tiempo e intervalos.

Estos módulos se denominan:

Pero hay otras.

El módulo logging

Este módulo no será necesariamente útil, sobre todo al principio, aunque su uso sea sencillo.

Además, el tutorial sobre el registro de la documentación oficial en python.org es del mismo tipo de opinión. No es necesario un módulo de registro logging para un script simple; print() puede ser suficiente.

La mayoría de las veces, usamos el siguiente script de shell básico:

#archivo: base_script.sh  
## -------------------  
## Script básico  
## -------------------  
  
BASE_DIR=$(pwd) # o lo que quiera  
  
## +%j da el número del día del año  
## Permite tener un archivo por día y un historial de un año  
TS=$(date "+%j")  
LOG=$BASE_DIR/log/${TS}.log  
  
## Redirigimos los flujos estándar  
  
exec 2>&1  
exec 1>$LOG  
  
## -----------------------  
## Pequeña rutina de log  
## -----------------------  
log()  
{  
   msg="${1}"  
   ts=$(date "+%j %X")  
   printf ">>> ${ts}: ${msg}\n"  
}  
  
## Función principal  
compute()  
{  
   echo "Trabajo..."     # aquí insertar la llamada al script  
   sleep 5               # python shell u otro 
}  
  
  
## -----------  
## MAIN  
## -----------  
log "Inicio de la operación"  
calcula  
log "Fin de la operación" 

En el archivo se debe encontrar $BASE_DIR/log/nm_del_dia.log:

>>> 313 12:51:20: Inicio de la operación 
Trabajo...  
>>> 313 12:51:25: Fin de la operación 

Los ángulos ’>>>’ permiten segmentar logs grandes en etapas y encontrarlos...

El acceso a los archivos en modo binario y el módulo struct

Incluso si el acceso a los archivos en modo binario ya no está realmente de moda, es posible que nos encontremos frente a este tipo de problema a resolver y ahora que conocemos Python, pensamos que debe haber una solución.

El módulo struct está diseñado para transformar bytes a partir de una estructura que se expresará como un formato.

Ejemplo: el archivo ’/var/log/wtmp’ de su máquina Linux.

Su estructura se puede encontrar en la página de manual de wtmp y comienza así (traducido al español):

Entonces: hay 4 + 4 + 32 + 4 + 32 = 76 bytes y por lo tanto 308 para llegar hasta 384.

El uso del módulo struct es, como siempre, bastante simple.

Una vez definido el formato, se pueden aplicar los siguientes métodos:

El script no es demasiado complejo: abrimos el archivo en modo binario y lo leemos en 384 bytes, que descomprimimos para recuperar datos utilizables.

Lo que da el siguiente...

La generación de datos aleatorios

Este módulo puede proporcionar muchos servicios siempre que nos tomemos el tiempo para interesarnos en él.

Su objetivo: proporcionar "buenos" datos falsos.

Faker (ese es su nombre) puede generar tantos datos falsos como sea necesario.

Hoy en día, la protección de datos debe ser un reflejo inmediato. Muchos clientes le han pedido al autor que firme una carta de confidencialidad en todo su sistema informático. Sin embargo, no se trata de sectores estratégicos como el militar o el nuclear.

Por tanto, ya no es posible copiar o tomar prestado un archivo de productos, ni siquiera una pequeña parte, para realizar pruebas.

Aquí es donde este módulo puede resultar útil: ¿Necesita estresar a su administrador de contactos? Faker puede generar 10.000… ¡todos falsos!

A continuación se muestra un pequeño ejemplo:

#archivo: fake1.py  
  
from faker import Factory  
fake = Factory.create()  
  
for i in range(1,10):  
   print(fake.name()) 

Y durante la ejecución:

Alexander Perez  
David Campbell  
Jeffrey Garcia  
Lynn James  
Ashley Marshall  
Walter Santana  
Shawn Rich  
Robert Evans MD  
Julie Johnson 

Son nombres que suenan estadounidenses, la localización por defecto; para...

El acceso a las bases de datos

Un lenguaje informático es una herramienta formidable para expresar algoritmos y manipular datos. Pero el lenguaje más bello del mundo solo puede dar lo que tiene.

Un script, programa o proceso no es nada sin datos y los datos, no son grancosa sin scripts, programas y procesos.

Todos los lenguajes pueden leer y escribir en archivos y en múltiples formatos. Pero como cada lenguaje tiene su propio método (y cada desarrollador también), muy pronto en la historia de la informática, apareció la necesidad de gestionar los datos por separado: de ahí la noción de base de datos.

Al inicio, los datos se almacenaban de manera secuencial en banda magnética.

Luego aparecieron los discos duros y esto permitió el almacenamiento de grandes cantidades de datos. Pero también permitió el acceso aleatorio a los datos y ya no secuencial.

A partir de ahí, las bases de datos se han convertido en la piedra angular de los sistemas de información.

Además, una de las tareas del ingeniero de sistemas es realizar una copia de seguridad de los datos. También debe hacer una copia de seguridad del sistema operativo, las configuraciones, etc., pero todo eso se puede reconstruir. Este no es el caso de los datos. Además, con los sistemas de gestión de bases de datos relacionales (RDBMS), es necesario garantizar la consistencia de estos datos.

En resumen, las bases de datos son importantes, pero eso ya lo sabía. Sin embargo, recuerde siempre que al final del día, una base de datos es solo para leer y escribir datos.

En la gran familia de las bases de datos, dos categorías destacan un poco más entre las demás.

Por un lado, las bases de datos relacionales, donde la información se debe almacenar en tablas bidimensionales, columnas y registros, comúnmente llamadas "tablas", que respetan el estándar ACID y utilizan el lenguaje SQL.

Este es el modelo básico más extendido.

Por otro lado, las bases NoSQL, un conjunto de BDD (base de datos distribuida) con una forma diferente de ver las cosas: el almacenamiento de información está un poco menos estructurado, pero permite estar mucho más cómodo en determinados contextos, especialmente...

Los ORM u Object-Relationnal Mapping

Una base de datos relacional se parece mucho a un armario con cajones y cajas.

Los datos deben encajar. Si los datos no tienen el tamaño correcto, la base de datos los rechaza.

Pensar o codificar en modo "Objeto", es como guardar las compras en bolsas: a veces hay que mezclar ciertos objetos, hay bolsas para productos congelados, otras donde guardar ensaladas y huevos, que son más delicados. Algunas bolsas son pesadas porque solo contienen las botellas, etc. Y manejamos montones de objetos heterogéneos y similares.

¿Cómo pueden estos dos mundos interactuar de manera efectiva?

Después de todo, es muy posible que la comida acabe ordenada en los armarios, la nevera y el congelador.

El RDBMS (Sistema de gestión de Bases de datos relacionales) se debe acercar al objeto y el lenguaje-objeto debe hacer lo mismo.

Esta noción se llama ORM (Object Relationnal Mapping). En español: Asignación objeto- relacional.

El interés de un ORM radica en varios puntos.

El primero: le facilita la vida al desarrollador. Se encuentra administrando clases y no tablas, usa métodos de clase en lugar de lanzar consultas SQL.

El segundo (y debe haber otros): es la independencia de la base de datos. Un ORM funciona de la misma manera con SQLite, MySQL, PostgreSQL, Oracle, etc., con pocos o muy pocos cambios en el código.

En los ejemplos sobre bases de datos, recuerde el tratamiento de fechas específicas. Con un ORM, este problema desaparece.

Hay dos paradigmas principales de ORM: el Data Mapper pattern y el Active Record pattern.

Ambos presentan las tablas como una clase.

La diferencia es que con Active Record, la noción de escribir en la base de datos se encuentra a nivel de la clase, mientras que con Data Mapper Pattern hay que pasar por otra clase, un Manager, que representa la sesión con la base de datos.

Ejemplo Active Record

c = Contact()                  # creación de un nuevo contacto  
c.nombre = "Guido Van Rossum"  # asignación de campos  
c.tel = "06 01 02 03 04"  
c.save()                       # Escritura en la base de datos 

Ejemplo Data Mapper...

Red

Hasta ahora hemos aprendido cómo conectarnos a bases de datos, generar datos aleatorios, crear buenos archivos de registro, etc., sabemos que todo esto ocupará disco, RAM y CPU.

Es hora de ver qué podemos hacer con Python y la red.

Desde el principio, Python permite trabajar en los sockets e incluso directamente en el manejo de paquetes con la librería Scapy.

Escribir un servidor TCP y un cliente TCP con los sockets en Python se ha tratado miles de veces, y nos llevaría demasiado lejos. Estaríamos más cerca del desarrollo que del ’scripting’.

Por otro lado, el uso de ciertos protocolos de nivel superior con Python, en ocasiones permite responder de forma sencilla a problemas no siempre evidentes en shell.

Además, vamos a empezar con algo que ni siquiera es un script.

python -m http.server 

Python y la red de redes: Internet

Empieza a entenderlo: gracias a sus módulos, Python puede hacer muchas cosas. Hoy en día todo pasa por la red de redes, y allí también, Python tiene muchos recursos.

La World Wide Web ofrece una enorme cantidad de información y datos. Python, con algunos de los módulos presentados en esta sección, se está convirtiendo en una gran herramienta de "web scraping", que parece ser la palabra de moda en estos días.

Según Wikipedia: "La web scraping (a veces llamado harvesting), es una técnica para extraer contenido de sitios web, mediante un script o un programa, con el fin de transformarlo para permitir su uso en otro contexto".

Herramientas

En esta sección, nos gustaría describir algunas herramientas y módulos que nos han sido útiles en unos cuantos casos concretos, aunque algunos están en gran parte desactualizados, pero nunca se sabe.

$ ftp speedtest.tele2.net  
Connected to speedtest.tele2.net.  
220 (vsFTPd 3.0.3)  
Name (speedtest.tele2.net:chris): anonymous  
331 Please specify the password.  
Password:  
230 Login successful.  
Remote system type is UNIX.  
Using binary mode to transfer files.  
ftp> ls  
200 PORT command successful. Consider using PASV.  
150 Here comes the directory listing.  
...  
-rw-r--r--    1 0        0         3145728 Feb 19  2016 3MB.zip 
-rw-r--r--    1 0        0       524288000 Feb 19  2016 500MB.zip 
-rw-r--r--    1 0        0        52428800 Feb 19  2016 50MB.zip 
-rw-r--r--    1 0        0          524288 Feb 19  2016 512KB.zip 
-rw-r--r--    1 0        0         5242880 Feb 19  2016 5MB.zip  
drwxr-xr-x    2 105      108         77824 Dec 15 17:25 upload  
226 Directory send OK.  
ftp> quit  
221 Goodbye.