Mission :
La mission consiste à transformer les jobs Talend :
- Remplacement des composants Hbase vers des composants Talend BigQuery
- Remplacement des composants hive vers des composants Talend BigQuery
- Remplacement des composants tFile qui pointent sur des fichiers présents sur le stockage MaprFS par des composants Talend cloud Storage (génération en local des fichiers et push vers GCS)
- Adaptation des traitements Spark exécutés sur Hadoop pour migration sur dataproc
- Adaptations des contextes, optimisations dans certains cas
- Revoir la conception de certains jobs complexes pour les adapter à la cible et à ses contraintes
- Transformation de scripts Shell (appels hive, Hbase, Spark) en jobs Talend
ENVIRONNEMENT TECHNIQUE
o Hadoop Mapr 5.0
o Hbase
o Hive 0.13 tables externes, internes, parquet
o MaprFS avec montage NFS (vu par Talend comme un répertoire)
o Google
o BigQuery tables externes et internes
o Cloud Storage
o Dataproc
o Talend Real-time Big Data Platform v7.3 (uniquement des jobs ETL pas de job Big Data en MapReduce)
o Jira
o Shell linux, SQL, Spark
ENVIRONNEMENT FONCTIONNEL
Pour la réussite de cette mission, le candidat doit avoir une expérience de 5 ans dans une mission similaire sur un poste de développeur. Dans un environnement complexe (nombreuses tables, jobs complexes, forte volumétrie)
Il travaillera en étroite collaboration avec l'équipe BI architecture, l'équipe de production et l'équipe projet déjà en place.
Il doit être autonome, proactif, capable de communiquer avec l'ensemble des interlocuteurs. Idéalement, il doit être sensibilisé aux problématiques de charge liées aux fortes volumétries de données.
Hard skills :
Talend: Expert
Hive : Intermédiaire
GCP : Confirmé
SQL: Intermédiaire
Être familier avec les problématiques de performances, d'exploitabilité.
Des connaissances en Shell linux, gsutil, Spark sont un plus.
Soft skills
- savoir travailler en équipe
- être organisé et structuré
- être autonome pour travailler en télétravail 3 jours par semaine et 2J au siège d'Ivry
Le client: est une SSII spécialisée dans le placement des ressources humaines.
Durée indicative: 12 mois
Tarif journalier indicatif: 150-380 €
Type de mission: Freelance en régie/ 50% en télétravail
Démarrage: ASAP
Lieu: Ile de France
Projet numéro 31700 : "DEVELOPPEUR TALEND HADOOP GCP"