Big Data Engineer

ALDIA es una multinacional con sede central en Londres y con presencia en algunos de los principales países de la Unión Europea (Inglaterra, Suecia, España, Francia y Alemania). Nos especializamos en la consultoría tecnológica y de ingeniería. Nuestro core de actividad se centra en las áreas claves de las industrias de Seguros, Finanzas, Comunicación, Infraestructura, Multimedia, Entretenimiento, Automoción, Ferroviario, Turbinas Eólicas y Oil & Gas.

ALDIA trabaja con su propio grupo de consultores para mejorar la calidad, crear estabilidad, minimizar riesgos y aportar soluciones tecnológicas e innovadoras formando parte de todas las fases del ciclo completo de vida de los procesos incorporando la metodología ágil en cada uno de ellos.

En la actualidad, estamos buscando un/a Big Data and Cloud Engineer para que se incorpore a nuestro equipo de consultores de forma indefinida.

¿Qué buscamos?

Un/a Big Data Engineer para realizar la siguientes funciones:

• Desarrollar pipelines de procesamiento de datos usando Spark / Scala.
• Desarrollar pruebas usando Spark / Scala.
• Desarrollar y monitorizar de la plataforma en la nube Azure y varios componentes asociados para la ingesta, transformación y procesamiento de datos.
• Diagnosticar, aislar y resolver de forma eficaz problemas complejos relacionados con la infraestructura de datos, incluido el ajuste y la optimización del rendimiento.
• Diseñar y implementar de programas según requisitos funcionales y no funcionales.
• Desarrollar y mantener documentación técnica.
• Seguir los procesos de configuración / control de cambios establecidos.

Requisitos

• Educación de nivel universitario o equivalente.
• Más de 2 años de experiencia trabajando como ingeniero de software.
• Experiencia en programación funcional (preferiblemente Scala – gran ventaja).
• Más de 1 año de experiencia en Apache Spark 2.0 (gran ventaja).
• Conocimiento de patrones de diseño.
• Capacidad para escribir consultas SQL complejas.
• Una buena comprensión de la computación distribuida.
• Bash scripting.
• GIT.

Se valora

• Scala.
• Python.
• Experiencia en programación R.
• Experiencia con tecnologías Hadoop (Sqoop, Hive, Flume, etc.).
• Integración continua / Implementación continua (Azure DevOps).
• Experiencia en exploración de datos utilizando cuadernos (cuadernos de Databricks).
• Experiencia en la automatización de tareas regulares (actualizaciones de datos, etc.) usando scripting bash y python.
• Experiencia con la nube de Azure.
• Experiencia con Databricks.

Ventajas

• Contrato Indefinido.
• Plan de Carrera.