ALDIA
Big Data Engineer
Job Description
ALDIA es una multinacional con sede central en Londres y con presencia en algunos de los principales países de la Unión Europea (Inglaterra, Suecia, España, Francia y Alemania). Nos especializamos en la consultoría tecnológica y de ingeniería. Nuestro core de actividad se centra en las áreas claves de las industrias de Seguros, Finanzas, Comunicación, Infraestructura, Multimedia, Entretenimiento, Automoción, Ferroviario, Turbinas Eólicas y Oil & Gas.
ALDIA trabaja con su propio grupo de consultores para mejorar la calidad, crear estabilidad, minimizar riesgos y aportar soluciones tecnológicas e innovadoras formando parte de todas las fases del ciclo completo de vida de los procesos incorporando la metodología ágil en cada uno de ellos.
En la actualidad, estamos buscando un/a Big Data and Cloud Engineer para que se incorpore a nuestro equipo de consultores de forma indefinida.
¿Qué buscamos?
Un/a Big Data Engineer para realizar la siguientes funciones:
- Desarrollar pipelines de procesamiento de datos usando Spark / Scala.
- Desarrollar pruebas usando Spark / Scala.
- Desarrollar y monitorizar de la plataforma en la nube Azure y varios componentes asociados para la ingesta, transformación y procesamiento de datos.
- Diagnosticar, aislar y resolver de forma eficaz problemas complejos relacionados con la infraestructura de datos, incluido el ajuste y la optimización del rendimiento.
- Diseñar y implementar de programas según requisitos funcionales y no funcionales.
- Desarrollar y mantener documentación técnica.
- Seguir los procesos de configuración / control de cambios establecidos.
Requisitos
- Educación de nivel universitario o equivalente.
- Más de 2 años de experiencia trabajando como ingeniero de software.
- Experiencia en programación funcional (preferiblemente Scala – gran ventaja).
- Más de 1 año de experiencia en Apache Spark 2.0 (gran ventaja).
- Conocimiento de patrones de diseño.
- Capacidad para escribir consultas SQL complejas.
- Una buena comprensión de la computación distribuida.
- Bash scripting.
- GIT.
Se valora
- Scala.
- Python.
- Experiencia en programación R.
- Experiencia con tecnologías Hadoop (Sqoop, Hive, Flume, etc.).
- Integración continua / Implementación continua (Azure DevOps).
- Experiencia en exploración de datos utilizando cuadernos (cuadernos de Databricks).
- Experiencia en la automatización de tareas regulares (actualizaciones de datos, etc.) usando scripting bash y python.
- Experiencia con la nube de Azure.
- Experiencia con Databricks.
Ventajas
- Contrato Indefinido.
- Plan de Carrera.