المسؤوليات
- هندسة خطوط البيانات: تصميم وبناء وصيانة خطوط أنابيب ETL/ELT قابلة للتوسع من مصادر متنوعة تشمل بحيرات البيانات، ونسخ إنتاج ClickHouse، والملفات المسطحة، وواجهات برمجة التطبيقات المختلفة.
- البنية التحتية والتنسيق: إعداد وتحسين البنية التحتية لمستودع البيانات (ClickHouse) وطبقات التنسيق (Mage.ai).
- التميز الهندسي: تنفيذ وإدارة سير عمل CI/CD بمستوى "هندسي"، وإجراء مراجعات صارمة لطلبات السحب (PR)، وضمان إدارة قوية للتبعيات عبر كامل المنظومة التقنية.
- نمذجة البيانات والهندسة المعمارية: تنفيذ بنية Medallion (البرونز/الفضي/الذهبي) والحفاظ على نماذج بيانات عالية الأداء باستخدام dbt.
- الجودة والمراقبة: بناء أنظمة مراقبة آلية لجودة البيانات والتنبيهات؛ والتصعيد الاستباقي لمشكلات البيانات من المصادر العليا إلى فرق الهندسة، وإبقاء أصحاب المصلحة على اطلاع دائم بحالة خطوط البيانات.
- تدفقات البيانات المتقدمة: تطوير خطوط أنابيب ETL العكسي (rETL) وتوفير واجهات برمجة تطبيقات آمنة للبيانات لتمكين استهلاك البيانات بسلاسة عبر المؤسسة.
- التكامل الاستراتيجي: إدارة تدفق الأحداث واستيعاب البيانات في الوقت الفعلي (Kafka، CDC) لدعم تحليلات المنتج وتتبعه عالي الحجم.
من 4 إلى 7 سنوات من الخبرة في هندسة البيانات، ويفضل أن يكون ذلك في مجال التجارة الإلكترونية أو صناعة التكنولوجيا سريعة النمو.
- خبرة مستوى خبير في Python وSQL (القدرة على كتابة كود عالي التحسين لمجموعات بيانات واسعة النطاق).
- خبرة عميقة مع dbt للتحويل والنمذجة.
- خبرة قوية مع ClickHouse (مفضل) أو مستودعات حديثة مماثلة (Snowflake، BigQuery) وأدوات التنسيق: mage.ai (مفضل) أو أدوات مماثلة (Airflow).
- خبرة مثبتة في تنفيذ وإدارة سير عمل ETL العكسي لمزامنة البيانات مرة أخرى إلى الأدوات التشغيلية.
- سجل حافل مثبت في بناء ونشر خطوط أنابيب CI/CD بمستوى إنتاجي ونصوص الأتمتة.
- فهم قوي لعقود البيانات، وبنية Medallion، وأطر جودة البيانات.
