Ingeniero de datos
Conocimientos y experiencia en la creacion de pipelines, especialmente entre bases de datos locales y en la nube.
Especial conocimiento de las heramientas de Google Cloud:
Participé en la puesta en marcha de una infraestructura en la nube en Cofares. Incluyendo un Cloud Composer sobre varias máquinas virtuales, administradas como Kubernetes. Para finalmente su uso en la gestión de procesos automatizados, principalmente pipelines diarios entre diversas fuentes de datos hacia BigQuery, orquestados con la herramienta de Apache Airflow.
Experiencia con esta última herramienta en el desarrollo de todo tipo de DAGs y conexiones.
Se puede ver un ejemplo en el siguiente tutorial, desarrollado por mi, que muestra como crear una pipeline utilizando Cloud Composer que permita mover datos entre BigQuery y Cloud SQL. Herramientas todas ellas integradas en Google Cloud:
Posteriormente, volvimos a realizar un despliegue de toda la infraestructura en Mediabrands España. Donde creamos la herramienta propia Prometeo. Una herramienta premiada totalmente serverless que hace uso de las distintas herramientas de Google Cloud (Cloud Build, Cloud SQL, Firebase, Cloud Storage, o Cloud Scheduler entre otros). Con el objetivo de ejecutar múltiples pipelines de extracción transformación e ingesta de data.