הורייזון טכנולוגיות
Data & Bi
46440
Data Engineer
לארגון ממשלתי גדול ומוביל טכנולוגית בתל אביב דרוש/ה Data Engineer!!
אנו מחפשים Data Engineer מוכשר/ת ובעל/ת ניסיון, להובלת תהליכי הטרנספורמציה הדיגיטלית והעברת מאגרי הנתונים הארגוניים לסביבת Google Cloud Platform (GCP).
התפקיד כולל פיתוח פתרונות ETL/ELT, הטמעה והתמחות בכלי הענן של גוגל, במטרה לבנות ארכיטקטורת נתונים מודרנית, מונעת ביצועים ויעילה.
בואו להיות שותפים במימוש פרויקטים משמעותיים בארגון יציב, בתנאי העסקה מעולים וסביבת עבודה נעימה!
במסגרת התפקיד: העברת נתונים (Migration): הובלת תהליך העברת (Ingestion) מאגרי נתונים קיימים מסביבת On-Premise (מערכות ליבה) אל סביבת הענן ב-GCP .
פיתוח שכבות נתונים (Silver & Gold): תכנון ופיתוח שכבות הנתונים המעובדות (Data Marts) בתוך BigQuery, תוך יישום לוגיקה עסקית מורכבת באמצעות תהליכי ETL/ELT.
אורקסטרציה ותזמון (Orchestration): פיתוח ותחזוקה של תשתיות תזמון ותיאום התהליכים (Pipelines) באמצעות כלי GCP ייעודיים (כגון Cloud Composer / Apache Airflow).
טרנספורמציות וטיוב (Transformation & Quality): פיתוח קוד וסקריפטים ב-Dataform לביצוע טרנספורמציות מורכבות, ניקוי, איחוד ושיפור איכות הנתונים (Data Quality).
אופטימיזציה: כתיבת שאילתות וקוד יעיל ב-BigQuery (SQL) תוך התחשבות בעלויות ובביצועים.
תיעוד: יצירת תיעוד טכני מלא ועדכני של ארכיטקטורת הנתונים והתהליכים.
דרישות:
השכלה רלוונטית
ניסיון מוכח: 3+ שנות ניסיון בפיתוח Data Engineering.
ניסיון מעשי משמעותי בפיתוח והטמעה בסביבת Google Cloud Platform (GCP) – חובה.
ניסיון עמוק בפיתוח מודלי נתונים, כתיבת שאילתות מורכבות (SQL) ואופטימיזציה ב -BigQuery – חובה.
שליטה גבוהה ב-Python (לצורך פיתוח טרנספורמציות ותהליכי ETL/ELT).
היכרות עם כלי ניהול קוד (Git) וסביבות CI/CD.
ניסיון בכלי אורקסטרציה ו-Workflow Management (כגון Cloud Composer, Apache Airflow או כלים דומים).
ניסיון קודם בהעברת (Migration) נתונים ממערכות Legacy (כגון Mainframe, Oracle) לענן - יתרון
סגור חלון פופ-אפ
