- Execute ETL (extract/transform/load) processes from complex and/or large data sets
- Collaborate with machine learning engineers for the implementation, deployment, scheduling and monitoring of different solutions
- Ensure robust CI/CD processes are in place
- Promote DevOps best practices in the team
- Simplify & optimise existing pipelines if needed
- Ensure data are easily accessible and that their exploitation is performing as requested, even in highly scalable circumstances
- Conceive and build data architectures to support data scientists
- Participate to the architecture and planning of the big data platform to optimise the ecosystem's performances
- Participate in the short/mid/long term vision of the overall system
- Create large data warehouses fit for further reporting or advanced analytics
your profile Degree & Experience: - University degree in Computer Science, Mathematics, Engineering, Economics... or equivalent work experience with specialised training/certification
- 3+ years of experience supporting or working in Data engineering environments
- Experience with an agile way of working is a plus Technical skills:
- Data pipeline management (sqoop, hive, nifi)
- Cluster management (Cloudera)
- Workflow management (Oozie, Airflow)
- Database management of SQL and NoSQL databases
- Large file storage (HDFS, Data Lake, S3, Blob storage,..)
- Data science environment setup (conda, jupyter)
- Strong knowledge of Scala and Python
- Strong knowledge & experience in Spark (Scala and Pyspark)
- Strong knowledge of CI/CD concepts
- Strong knowledge of SQL (Teradata /Oracle)
- High level understanding of data science concepts
- Knowledge of Linux / Windows server (connection, folder creation, software installation, creation of ODBC connections, work in client-server environment, IT infrastructure (support groups, admin rights, )
- Stream processing such as Kafka, Kinesis, Elasticsearch is a plus
- Experience with AWS is a plus Attitudes/Behavior:
- You're quality oriented
- You are an excellent problem analyser and solver
- You're open minded, collaborative, team player, ready to adapt to the changing needs
- You are curious about new techniques and tools, eagerness to always keep learning
- You are convinced having a good infrastructure is essential & you can motivate and drive changes if needed
- You're committed to deliver, pragmatic and solution oriented. Languages: Very good knowledge of English and French or Dutch
our offerOur Offer: - A personalized salary package: we know that everyone has different needs, so you have the chance to supplement your salary with benefits that you need most today. A car, additional insurance, a leased bike,... the choice is yours thanks to our Flex Income Plan
- Personal guidance: we believe in the power of human connections, so we'll assign you a dedicated talent manager who will always have your back. Whether you need support during challenging projects or just a friendly ear to listen, your talent manager is here for you.
- Career planning and professional development: our learning and development team is here to help you create your dream career. Think of them as your fairy godparents - but with less bibbidi-bobbidi-boo.
- Team events: a team that plays together, stays together. From an after work drink to a quiz night, we'll make sure you feel like part of the family.
- We care, we grow, we recognize: we invest in these 3 pillars in order to build a sustainable career for you. We have lots of initiatives in place to help you stay healthy and happy so that you can take on every challenge that comes your way and feel appreciated.
- Challenging projects and an entrepreneurial culture: get ready to flex your muscles on some seriously impressive projects. It's like the Olympics, but without the lycra.
- Learning from peers: as a technical expert, you will be part of our chapters: vibrant communities filled with colleagues who are passionate about a particular area of expertise. our chapters are all about promoting learning within your area of expertise - in a fun and informal way
-
data engineer
3 dagen geleden
Harry Hope Brussels, BelgiëHarry Hope, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités à l'international. Afin de mieux répondre à vos enjeux, tous nos consultants sont spécialisés par secteur d'activité et zone géographique. En tant que Data Eng ...
-
Data Engineer
1 dag geleden
Harry Hope Brussels, BelgiëHarry Hope, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités à l'international. Afin de mieux répondre à vos enjeux, tous nos consultants sont spécialisés par secteur d'activité et zone géographique. En tant que Data Eng ...
-
Data Engineer
3 dagen geleden
Cossel Brussel, België Voltijd· Nous somme à la recherche d'un Data Engineer pour rejoindre une entreprise technologique spécialisée dans la mode qui travaille avec les plus grandes marques mondiales pour les aider à créer les collections les plus performantes grâce à l'intelligence artificielle. Basée à Bru ...
-
Data Engineer
6 dagen geleden
Harry Hope Brussels, BelgiëHarry Hope, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités à l'international. Afin de mieux répondre à vos enjeux, tous nos consultants sont spécialisés par secteur d'activité et zone géographique. · En tant que Data E ...
-
Data Engineering Lead
4 dagen geleden
Mobile Vikings Brussels, België**The Role**: · At Mobile Vikings we believe that **data is key** to understand the needs of our Vikings, and to run an efficient business. We therefore value **operational reporting (BI)** as much as **customer analytics/insights (CI)**, and believe that a top-notch environment ...
-
Data Engineer
18 uur geleden
HARRY HOPE Brussels, BelgiëA propos de la société · Harry Hope, cabinet de recrutement accompagne candidats et entreprises dans leurs recherches des meilleures opportunités à l'international. Afin de mieux répondre à vos enjeux, tous nos consultants sont spécialisés par secteur d'activité et zone géographi ...
-
Data Engineer
4 dagen geleden
Harry Hope Belgique, België VoltijdEn tant que Data Engineer, vous serrez être en charge de la mise en oeuvre de projets BI Business en plus d'être responsable du développement de solutions d'ingestion et d'analyse de données (entrepôts de données, data marts, etc.) · Vos tâches : · Architecture de systèmes de don ...
-
Intern in Data Engineering
4 dagen geleden
Devoteam G Cloud Belgium Sint-Lambrechts-Woluwe, BelgiëCompany Description · Our mission is to build cultures of innovation at companies by transforming the way they work, by modernising their IT infrastructure & apps, and by elevating their customer experiences. As a Premier Google Cloud partner, we do this by implementing innovativ ...
-
Health Data Engineer
6 dagen geleden
Smals Brussels, BelgiëLa Health Data Agency (HDA) belge unit les forces des autorités, des dispensateurs de soins, des chercheurs et des entreprises pour créer un impact positif avec des données (secondaires) de (soins de) santé précieuses. En tant que Health Data Engineer expérimenté, vous êtes respo ...
-
Azure Data Engineer
1 dag geleden
Nationale Loterij Brussels, BelgiëActuellement, nous recherchons un(e) Azure Data Engineer. Vous vous chargez en premier lieu du développement et de la gestion d'une plateforme de données moderne holistique créée dans le cloud de Microsoft Azure. Depuis plus de 90 ans, la Loterie Nationale propose du plaisir de j ...
-
Health Data Engineer
1 dag geleden
Smals Brussels, BelgiëLa Health Data Agency (HDA) belge unit les forces des autorités, des dispensateurs de soins, des chercheurs et des entreprises pour créer un impact positif avec des données (secondaires) de (soins de) santé précieuses. En tant que Health Data Engineer expérimenté, vous êtes respo ...
-
Belfius Brussels, België PermanentJob | Data Engineer Data Development and Operations | Bruxelles · 900 Belfius Banque Data Scientist, Actuary & Quant Bruxelles Permanent ...
-
Data Engineer
2 dagen geleden
IT-Planet Brussel, België· Functieomschrijving · Je draagt bij aan het ontwerp en de implementatie van het Azure data platform. · Je ontwikkelt en implementeert end-to-end datatoepassingen met behulp van het Azure data platform. · Je hebt ervaring met Azure data analytics services (Data Factory, ADLS, S ...
-
Data Management Engineer
18 uur geleden
Eyetech Solutions Brussels, BelgiëDétail Du Client · À la tête d'une base de données d'assurance à grande échelle en Belgique, cette organisation fintech recherche un Ingénieur en Gestion des Données pour des opérations complexes sur Microsoft Azure, incluant l'automatisation et l'optimisation des performances. · ...
-
Data Management Engineer
10 uur geleden
Eyetech Solutions Brussels, BelgiëDescription · Ingénieur en Gestion des Données: · Gérer et optimiser une base de données d'assurance à grande échelle sur Microsoft Azure, traitant des tâches complexes telles que les fusions de courtiers, l'automatisation et l'amélioration des performances. · Superviser les env ...
-
Big Data Engineer
2 dagen geleden
Profile Group Woluwe-Saint-Pierre, België CDICompany details · L'Association Pharmaceutique Belge (APB) représente les pharmaciens d'officine. L'APB soutient ses membres dans leur pratique quotidienne, développe et promeut le libre exercice de la profession de pharmacien indépendant. · Dans le cadre de la croissance du dépa ...
-
Data Engineer
2 dagen geleden
Belfius Brussels, België PermanentOmschrijving · Jouw rol bestaat erin ondersteuning te geven aan de targeting-activiteiten door target groups tot stand te brengen op basis van de gegevens waarover we beschikken. Dankzij je technische competenties en je proactiviteit draag je ertoe bij dat de klanten van Belfius ...
-
Data Engineer
6 uur geleden
Egov Select Evere, BelgiëAls Data Engineer maak je deel uit van een team dat verantwoordelijk is voor het beheer en de technische exploitatie van gegevens die door middel van verschillende interceptiesystemen worden verzameld. Dit team is verantwoordelijk voor de technische ondersteuning van de analisten ...
-
data warehouse engineer
6 dagen geleden
Smals Brussels, BelgiëAls Datawarehouse Engineer modelleer en ontwikkel je oplossingen. Je definieert de gegevensextractie- en integratieprocessen op basis van het Data Vault-systeem. Je ontwikkelt nieuwe ETL flows en automatiseringsprocessen. Je transformeert en herschikt gegevens (data mart creation ...
-
Azure Data Engineer
1 dag geleden
Nationale Loterij Brussels, BelgiëMomenteel zijn we op zoek naar een Azure Data Engineer. In eerste instantie neem jij de ontwikkeling en het management van een holistisch Modern Data Platform gebouwd in de Microsoft Azure Cloud voor je rekening. Al bijna 90 jaar zorgt de Nationale Loterij voor veilig speelplezie ...
Data Engineer - Brussel, België - Randstad Digital BE
Beschrijving
As a Data Engineer, you will play a key role preparing the infrastructure and data that will be used to deliver high quality data products. You will help us design, develop and maintain data pipelines that will deliver insights. By using a DevOps approach, you will make sure the overall system is running on all times by automating tasks so you can spend time on creating and not deploying.
You will also make sure the system is appropriately tested and monitored by using adapted methods and tools. You will collaborate with the other data engineers and data scientists of the Advanced Analytics team to create the simplest possible effective data landscape to improve delivery speed of future AI use cases.
your job
Required Responsibilities: