نظرة عامة على الوظيفة
نبحث عن مهندس بيانات وهندسة مستودعات بيانات عالي المهارة بخبرة تتراوح بين 3 إلى 11 عامًا لتصميم وتطوير وصيانة منصات بيانات قابلة للتوسع وحلول مستودعات بيانات للمؤسسات. سيكون المرشح المثالي لديه خبرة عملية في بناء خطوط أنابيب ETL/ELT، وتكامل البيانات، ومنصات البيانات السحابية، وتقنيات معالجة البيانات الضخمة. ستلعب دورًا رئيسيًا في تمكين حلول تحليلات وذكاء أعمال موثوقة وعالية الأداء.
المسؤوليات الرئيسية
- تصميم وتطوير وتحسين خطوط أنابيب ETL/ELT القابلة للتوسع للبيانات المهيكلة وغير المهيكلة.
- بناء وصيانة مستودعات بيانات المؤسسات وبحيرات البيانات ومنصات البيانات الحديثة.
- تطوير حلول معالجة البيانات في الوقت الفعلي والمعالجة الدفعية.
- دمج البيانات من مصادر داخلية وخارجية متعددة مع ضمان جودة البيانات وحوكمتها.
- التعاون مع علماء البيانات ومطوري ذكاء الأعمال وأصحاب المصلحة في الأعمال لدعم المتطلبات التحليلية.
- تحسين تخزين البيانات وأداء الاستعلامات وموثوقية خطوط الأنابيب.
- تنفيذ أفضل الممارسات لأمن البيانات والمراقبة والحوكمة.
- استكشاف الأخطاء وإصلاحها وحل مشكلات خطوط البيانات والمنصات.
- المشاركة في مناقشات البنية والمساهمة في مبادرات تحديث منصة البيانات.
المهارات التقنية المطلوبة
منصات البيانات السحابية
- خبرة عملية مع Google BigQuery وDataflow وDataproc وPub/Sub.
- خبرة مع Azure Synapse وAzure Data Factory.
- خبرة مع Amazon Redshift وAWS Glue.
معالجة البيانات والتدفق
- خبرة قوية مع Apache Spark وApache Kafka.
- خبرة في بناء خطوط معالجة بيانات دفعية وفي الوقت الفعلي.
تحويل البيانات
- خبرة عملية مع dbt أو Oracle Data Integrator (ODI) لتحويل البيانات وتنسيقها.
- خبرة في تنفيذ أفضل ممارسات ETL/ELT ونماذج بيانات قابلة لإعادة الاستخدام.
قواعد البيانات ومستودعات البيانات
- خبرة قوية مع Oracle أو PostgreSQL.
- إتقان SQL وتصميم قواعد البيانات العلائقية وضبط الأداء وتحسين الاستعلامات.
هندسة البيانات
- خبرة في نمذجة البيانات وحوكمة البيانات وإدارة البيانات الوصفية وأطر جودة البيانات.
- معرفة بالنمذجة الأبعادية وبنى مستودعات البيانات الحديثة.
المهارات المفضلة
- خبرة مع بنى بحيرات البيانات السحابية الأصلية وبنى Lakehouse.
- معرفة بخطوط أنابيب CI/CD والبنية التحتية كرمز (IaC).
- الإلمام بتقنيات الحاويات مثل Docker وKubernetes.
- خبرة في دعم أعباء عمل التعلم الآلي والتحليلات.
- الشهادات السحابية على AWS أو Microsoft Azure أو Google Cloud Platform تعتبر ميزة إضافية.
حزمة التقنيات الرئيسية
- خدمات بيانات Google Cloud: BigQuery وDataflow وDataproc وPub/Sub
- خدمات بيانات Azure: Azure Synapse وAzure Data Factory
- خدمات بيانات AWS: Amazon Redshift وAWS Glue
- معالجة البيانات: Apache Spark وApache Kafka
- تحويل البيانات: dbt أو Oracle Data Integrator (ODI)
- قواعد البيانات: Oracle أو PostgreSQL
- البرمجة: SQL وPython
- المنصات السحابية: Google Cloud Platform أو Microsoft Azure أو Amazon Web Services (مفضل)
المؤهلات
- درجة البكالوريوس في علوم الحاسوب أو تكنولوجيا المعلومات أو هندسة البيانات أو هندسة البرمجيات أو مجال ذي صلة.
- من 3 إلى 11 عامًا من الخبرة المهنية في هندسة البيانات أو مستودعات البيانات أو تقنيات البيانات الضخمة.
- مهارات برمجة ونصوص قوية باستخدام SQL أو Python أو لغات مماثلة.
- قدرات تحليلية وحل مشكلات ممتازة.
- خبرة في العمل ضمن بيئات تطوير Agile/Scrum.
