Job Information
TEKsystems Data Engineer in Montréal, Quebec
Description :
Le client souhaite recruter un ingénieur de données et un spécialiste du lac de données azure.
Ce consultant fera partie de l'équipe de la plateforme de données et participera à de nombreux projets visant à transformer les données et à répondre à de multiples besoins.
La majeure partie du travail consistera en l'exploration des données, l'ingestion des données, la transformation des données, la préparation des données, la conception, la construction et le développement de pipelines consolidant les sources de données en continu et par lots dans le lac de données de l'entreprise. L'ingénieur participera également à l'élaboration d'un outil de validation de la qualité des données dans le lac de données.
Responsabilités :
Utilisation de Databricks pour la transformation et le chargement des données dans les différentes couches.
Utilisation de Spark/Python pour le développement des bibliothèques
Utilisation des pipelines Azure DevOps pour automatiser le CI/CD
Participer au développement de l'ensemble des données et incorporer de nouvelles sources du lac de données
Développer des bonnes pratiques sur la validation de la qualité des données
Exigences :
3 ans dans le développement en spark/python
3 ans sur databricks
2 ans sur Azure DevOps
Expérience avec Powershell
Expérience sur azure data lake
Expérience en data factory
Compétences non techniques :
Solides compétences en matière de relations interpersonnelles, de travail en équipe, de coordination et de recherche de consensus
Solides compétences en matière de communication, de documentation, de narration, de créativité et de présentation
Solides compétences organisationnelles, capacité à travailler sous pression et à gérer des priorités multiples avec des demandes concurrentes des priorités multiples avec des demandes concurrentes
Langue :
- Bilingue (français et anglais) avec d'excellentes compétences en communication orale et écrite.
Description:
The client wants to hire one data engineer and one azure data lake specialist.
This consultant is going to be part of the Data platform team to help in multiple projects to transform data and serve multiple needs.
The bulk of the work will be in data exploration, data ingestion, data transformation, data preparation, designing, building, and developing pipelines consolidating streaming and batch data sources into the Enterprise Data Lake. The engineer will also participate in the elaboration of a validation tool for the quality of data in the data lake.
Responsabilities:
• Use of Databricks for transformation and loading of the data in the different layers
• Use of Spark/Python for the development of the libraries
• Use of Azure DevOps pipelines to automate the CI/CD
• Participate in the development of the dataset and incorporate new sources from the data lake
• Develop best practices on the data quality validation
Requirements:
• 3 years in the development in spark/python
• 3 years on databricks
• 2 years on Azure DevOps
• Experience with Powershell
• Experience on azure data lake
• Experience on data factory
Soft Skills:
• Strong interpersonal, teamwork, coordination and consensus building skills
• Strong communication, documentation, storytelling, creativity, and presentation skills
• Strong organizational skills, the ability to perform under pressure and to manage multiple priorities with competing demands
Language:
• Bilingual (French & English) with excellent verbal and written communication skills
À propos de TEKsystems:
Nous sommes partenaires dans la transformation. Nous aidons les clients à activer des idées et des solutions afin de profiter d’un nouveau monde d’opportunités. Nous sommes une équipe solide de 80 000 personnes, nous travaillons avec plus de 6 000 clients, dont 80 % faisant partie du Fortune 500, partout en Amérique du Nord, en Europe et en Asie. En tant que chefs de file de l’industrie des services technologiques complets, des services aux talents et des applications du monde réel, nous travaillons avec des leaders progressistes pour favoriser le changement. C’est le pouvoir d’un vrai partenariat. TEKsystems est une société du groupe Allegis.
Québec Numéro du permis d'agence de placement de personnel AP-2000547
About TEKsystems:
We're partners in transformation. We help clients activate ideas and solutions to take advantage of a new world of opportunity. We are a team of 80,000 strong, working with over 6,000 clients, including 80% of the Fortune 500, across North America, Europe and Asia. As an industry leader in Full-Stack Technology Services, Talent Services, and real-world application, we work with progressive leaders to drive change. That's the power of true partnership. TEKsystems is an Allegis Group company.
The company is an equal opportunity employer and will consider all applications without regards to race, sex, age, color, religion, national origin, veteran status, disability, sexual orientation, gender identity, genetic information or any characteristic protected by law.
Quebec Personnel Placement Agency Permit Number AP-2000547