En la presente entrada, AWS Redshift y Luigi, módulo Redshift: operación de consulta , realizaré la descripción de cómo se define una tarea para realizar una consulta o ejecución de una sentencia SQL sobre Amazon Redshift.
Para realizar las operaciones de consulta en Redshift es necesario la implementación de una clase que herede de la clase RedshiftQuery del módulo de Redshift de Luigi. La importación de la clase, se realiza de la siguiente forma:
from luigi.contrib.redshift import RedshiftQuery
La solución que propongo es una jerarquía de clases para poder definir varias consultas. La solución está compuesta por una clase que hereda de RedshiftQuery y la clase que ejecuta una consulta. La clase genérica de consultas con la carga de la configuración es la siguiente:
class AbstractRedshiftQuery(RedshiftQuery):
"""Clase genérica para la realización de consultas en Redshift"""
config = RedshiftConnection()
host = config.host
database = config.database
user = config.user
password = config.password
def output(self):
return RedshiftTarget(
host=self.host,
database=self.database,
user=self.user,
password=self.password,
table=self.table,
update_id=self.update_id,
port=5439)
En el snippet anterior, se define la clase AbstractRedshiftQuery que hereda de RedshiftQuery; y, además, se define la clase RedshiftConnection con los datos de configuración de la conexión a Redshift. Los datos de configuración son: host, database, user y password.
Una vez definida la clase AbstractRedshiftQuery, definimos la clase con la consulta. La clase con la sentencia SQL es la siguiente:
class CreateHistorico(AbstractRedshiftQuery):
"""
La tarea CreateHistorico realiza la creación de una tabla.
"""
table = "tabla_historia"
query = """
CREATE TABLE tabla_historia
(
sociedad varchar(60),
fecha timestamp
)
"""
En el snippet anterior, se define la clase CreateHistorico que realiza la creación de una tabla en Redshift la cual hereda de la clase AbstractRedshiftQuery. Para realizar la consulta, es necesario definir el atributo query con la sentencia a ejecutar y el atributo table. El resultado es la creación de la tabla tabla_historica en Redshift.
Para su ejecución, se realiza por los procedimientos normales de arranca de Luigi.
En este caso, se ha realizado la creación de una tabla pero, se puede definir cualquier otra sentencia: inserción, borrado,…
Para el lector interesado, las entradas publicadas hasta la fecha son las siguientes:
Álvaro Monsalve Serrano 