Data Engineer (m/f) (réf. E00042301)

Qui recrute ?

Missions

• Le Data Engineer (ingénieur des données) joue un rôle clé dans la transformation numérique de l’organisation en intégrant des technologies avancées de gestion des données aux offres et services du Centre des technologies de l’information de l’État (CTIE).
• Il a pour mission de proposer, concevoir, déployer, maintenir et exploiter des plateformes de données innovantes répondant aux enjeux stratégiques de l’État luxembourgeois. En tant que membre clé de l’unité « Exploration et visualisation des données », il apporte son expertise aux projets data et accompagne les équipes pour en optimiser l’exploitation.
• En appliquant les bonnes pratiques DataOps, il conseille les parties prenantes sur la conception des flux, pipelines et modèles de données, et en assure lui-même la réalisation si nécessaire. Il contribue également à mettre à disposition les jeux de données pour les consommateurs autorisés.

• Ses missions sont les suivantes:
  • Architecture : définir, mettre en place et faire évoluer l’architecture des plateformes de données (Data Platform), incluant les divers composants logiciels de collecte, stockage, traitement et présentation des données (et métadonnées), l’infrastructure sous-jacente, la sécurisation et la documentation;
  • Mise en œuvre : concevoir, réaliser et déployer des solutions de données robustes et évolutives pour divers projets (architecture, modèle de données, flux/pipelines de données, etc.);
  • Mise en place de traitements additionnels des données : assurer la qualité, l’harmonisation, la consolidation, le chiffrement (« encryption ») des données ainsi que la définition des autorisations;
  • Collaboration interdisciplinaire : travailler en étroite collaboration avec les collègues de l’unité, les autres unités du service, les autres services et divisions, les équipes de projet pour intégrer les solutions de données de manière harmonieuse;
  • Fédération et gouvernance : construire et faire respecter un référentiel unique de données, définir les conventions et bonnes pratiques et assurer leur respect, contribuer à la définition des politiques de l’unité et du service et de la gouvernance des données et des plateformes de données;
  • Optimisation et évolutivité : veiller à l’évolutivité et à l’optimisation des plateformes, des infrastructures sous-jacentes, et des modèles afin de permettre la gestion de volumes de données et des traitements importants;
  • Gestion : gérer, maintenir et opérer les plateformes de données dont le monitoring (sur base d’alertes à définir), la résolution de problèmes, les mises-à-jour/mises-à-niveau, la gestion ou l’aide à la gestion des accès et autorisations, ainsi que la mise à jour de la documentation;
  • Veille Technologique : effectuer une veille technologique pour rester à jour avec les dernières avancées du monde de la Data et de l’Intelligence Artificielle, et discuter l’intégration des innovations dans la plateforme avec l’équipe Architecture du CTIE;
  • Formation et mentorat : documenter les procédures, développer des supports de formations et des présentations pour diffusion interne au CTIE ou à des fins de diffusion au sein de l’Etat, encadrer et former les collaborateurs du CTIE et le métier sur les meilleures pratiques en Data et sur les nouvelles technologies et plateformes, promouvoir les méthodes en place au CTIE, dont la méthode de gestion de projet, briefer les équipes de projets.
• Ces missions permettent de garantir que les plateformes de données restent constamment opérationnelles, sécurisées, performantes, et alignées avec les besoins et objectifs stratégiques de l’État.

Profil

Compétences techniques

• Connaissances approfondies en DataOps;
• Connaissance de SQL et Python;
• Connaissances d’autres langages de programmation, dont R, et des algorithmes de prédiction;
• Connaissance de JSON et XML;
• Connaissances en matière de contrôle (data quality, cleansing) et de transformation (métier ou autre) des données;
• Connaissances en matière d’outils du data scientist (Dataiku, Jupyter,etc);
• Connaissances en Cloud Computing: Expérience avec les plateformes cloud comme AWS, Azure, et Google Cloud;
• Bonnes notions des solutions de conteneurisation (Docker, Podma,etc) et d’orchestration de conteneurs (OpenShift et/ou Kubernetes);
• Connaissances en stockage de données à des fins d’usage secondaire : Data Warehouse, Data Lake (dont Object Storage), Data Lakehouse et « open table format (OTF) » (Apache Iceberg, Delta Lake,etc);
• Connaissances en matière de la création et de la mise à jour des architectures décisionnelles;
• Connaissances en technologies Big Data;
• Maîtrise de l’anglais et/ou du français.

Compétences comportementales

• Être passionné de nouvelles technologies et avoir le goût de l’innovation;
• Savoir exposer un problème ainsi que sa solution de manière concise à des non-initiés;
• Savoir travailler de façon fiable et autonome en tant que membre d’une équipe pluridisciplinaire;
• Avoir la connaissance des processus de collecte, de la consolidation, de la modélisation, de l’analyse, de la sécurité et de la restitution des informations décisionnelles ainsi que des outils et méthodes qui les supportent.

Atouts

• Connaissances en matière d’exploitation d’applications informatiques;
• Connaissances en collecte et traitement de données : Apache Airflow, Apache Spark, Apache NiFi, Talend, SAP Data Services;
• Connaissances de la mise en œuvre des processus de pseudonymisation, d’anonymisation des données (y compris la création de données synthétiques);
• Connaissances en matière de la virtualisation des données;
• Connaissances en gestion et stockage des données : bases de données relationnelles, NoSQL, graph (ex. Neo4J,etc);
• Connaissance de la solution Onyxia;
• Connaissances dans le fonctionnement du secteur public au Luxembourg;
• Maîtrise de l’allemand et/ou du luxembourgeois.

Conditions d’admission

Le poste peut être brigué sous le statut de l'employé de l'État.

Obtenez plus de détails sur les conditions d'admission pour devenir employé de l'État.

Diplômes

Vous êtes titulaire d’un grade ou diplôme délivré par un établissement d’enseignement supérieur reconnu par l’État du siège de l’établissement et sanctionnant l’accomplissement avec succès d’un master en d'ingénieur en informatique ou de son équivalent.

Le grade ou diplôme requis doit correspondre au moins au niveau 7 tel que défini par le Cadre luxembourgeois des qualifications.

Expérience

Vous avez une expérience d'au moins 3 ans dans le domaine.

Langues

Vous répondez aux exigences des connaissances de 3 langues administratives pour le groupe d'indemnité A1. Une dispense de deux des trois langues administratives peut être accordée sous certaines conditions.

Nationalité

Vous êtes ressortissant d’un État membre de l’Union européenne.