Spring Batch

Introducción

En el mundo de la informática, a menudo separamos el procesamiento en tres familias principales: procesamiento en tiempo real, procesamiento por batchs o lotes y una familia de procesamiento híbrido, que es una composición de los dos primeros, como el streaming, que procesa grandes volúmenes en tiempo real.

En la actualidad, los batchs son el resultado de programas de migración y modernización de antiguos programas de procesamiento masivo convencional. También se utilizan para el Big Data en aplicaciones modernas.

En general, intentamos prescindir de batchs y procesamos los datos sobre la marcha o en la aplicación, a través de minibatchs o un programador Spring @Scheduled. En algunos casos, los batchs son inevitables.

En general, el procesamiento por batchs requiere acceso completo y exclusivo a las bases de datos, lo que implica detener el procesamiento con interfaces hombre-máquina. En la era de la globalización, se hace imposible cerrar el acceso a las aplicaciones durante el período de los batchs.

En los primeros días de la informática, el procesamiento a menudo se realizaba con Mainframes. Hay que saber que un Mainframe es un servidor muy grande (los grandes pueden alcanzar los 80 000 MIPS) hiperoptimizado para dos cosas: permite a un gran número de usuarios introducir datos durante el día a través de un terminal para procesarlos en masa durante la noche....

Ejemplo de Spring Batch versión 4

Ahora codificamos un ejemplo de un pequeño batch para ilustrar cómo funciona Spring Batch.

Dependencia Maven:

<dependencies> 
   <dependency> 
       <groupId>org.springframework.batch</groupId> 
       <artifactId>spring-batch-core</artifactId> 
       <version>4.3.5.RELEASE</version> 
   </dependency> 
  <dependency> 
    <groupId>org.springframework.boot</groupId> 
    <artifactId>spring-boot-starter-batch</artifactId> 
  </dependency> 
</dependencies> 

Vamos a crear una clase main para ejecutar el batch:

@EnableBatchProcessing 
@SpringBootApplication 
public class Main { 
  public static void main(String [] args) { 
    System.exit(SpringApplication.exit(SpringApplication.run( 
        BatchConfiguration.class, args))); 
  } 
} 

Vamos a crear una clase de configuración para configurar el batch con un job que contiene un Step. Un Job es un conjunto de Steps y cada uno realiza una operación elemental.

@Configuration 
public class BatchConfiguration...

Cargador H2 desde un CSV

Codificamos un segundo ejemplo que muestra cómo cargar un archivo CSV en una base de datos H2. El ejemplo utiliza un Reader (unidad de lectura) para acceder al contenido del archivo CSV. Utiliza el FlatFileItemReader, para el que indicamos el formato de una línea a través de la declaración: FlatFileItemReader<Comunidad> reader = newFlatFile ItemReader<Comunidad>();. La unidad de lectura utiliza un LineMapper para descodificar una línea en el archivo CSV. Tenemos un Writter para escribir en la base de datos H2. Se trata de un JdbcBatchItemWriter. Almacena una fila de datos en H2. Tenemos un ItemProcessor que procesa una fila de datos. Aquí, nuestro procesador pone en mayúsculas la información que lee del archivo CSV. Tenemos un Job que encadena etapas llamadas Step. Nuestro Step step1 lee la línea en el CSV, la procesa con el processor y la guarda en H2.

El lanzador:

@SpringBootApplication 
public class Application { 
 
  public static void main(String[] args) throws Exception { 
    SpringApplication.run(Application.class, args); 
  } 
} 

La clase Comunidad:

@Data 
@ToString 
@AllArgsConstructor 
@NoArgsConstructor 
public class Comunidad { 
  private String codigo; 
  private String nombre; 
} 

Configuración por batchs:

@Configuration 
@EnableBatchProcessing 
public class BatchConfiguration { 
 
  @Autowired 
  public JobBuilderFactory jobBuilderFactory; 
 
  @Autowired 
  public StepBuilderFactory stepBuilderFactory; 
 
  @Autowired 
  public DataSource dataSource; 
 
  // tag::readerwriterprocessor[] 
  @Bean 
  public FlatFileItemReader<Comunidad> reader() { ...

Otras novedades de la versión 4

Hay builders para ItemReader, ItemProcessor y ItemWriter, así como una variedad de builders para simplificar la escritura de batchs cuyo nombre informa sobre el contenido: