مهندس بيانات أول

منتجاتنا للذكاء الاصطناعي التوليدي لا تكون أفضل من البيانات التي تقف خلفها. هذه الوظيفة تمتلك طبقة البيانات تلك من البداية إلى النهاية: خطوط الأنابيب التي تجلب البيانات، والتحويلات التي تشكّلها، والطريقة التي تصل بها إلى أنظمة الاسترجاع والوكلاء والتحليلات. يجري العمل على AWS، والهدف هو مصدر واحد محكوم يمكن لكل مستهلك الاعتماد عليه. نريد شخصًا بنى بالفعل خطوط أنابيب بيانات لأنظمة الذكاء الاصطناعي، وليس فقط لإعداد التقارير. تحضير البيانات لنموذج لغوي كبير أو لوكيل يجلب معه عملًا خاصًا حول التقسيم إلى أجزاء والتضمينات والفهرسة والحفاظ على حداثة المحتوى، وأنت قد فعلت ذلك من قبل. الفريق صغير ويمتد عبر عدة لغات، لذا ستمتلك خطوط الأنابيب الخاصة بك وتساعد في وضع المعايير التي يتبعها بقيتنا.

ما الذي ستقوم به

• بناء وتشغيل خطوط الأنابيب الدفعية والتدفقية التي تنقل البيانات من الأنظمة المصدرية إلى البحيرة ثم عبرها إلى المستودع، مع امتلاك الطبقات الوسيطة من الخام إلى المنقّح، إلى جانب مخططها وجودتها وتتبع نسبها.
• بناء طبقة البيانات خلف الاسترجاع: موصلات المصادر، وتحليل المستندات، والتقسيم إلى أجزاء، وتوليد التضمينات، والفهرسة المتجهية، بما في ذلك إعادة التضمين عند تغيّر المحتوى.
• نمذجة مجموعات بيانات ومقاييس منقّحة وجاهزة للاستعلام بحيث يعمل مستهلكو الذكاء الاصطناعي والتحليلات من تعريف واحد بدلًا من إعادة بناء المنطق كلٌّ على حدة.
• إضافة فحوصات الجودة والتحقق والمراقبة بحيث تظهر المشكلات قبل أن تصل إلى نموذج أو مستخدم.
• تطبيق التحكم في الوصول حيث ينبغي: قواعد على مستوى الصفوف والأعمدة، والتعامل مع المعلومات الشخصية المعرِّفة، ومجموعات البيانات المدركة للاستحقاقات، مفروضةً بأقرب ما تسمح به المنظومة من وقت الاستعلام.
• العمل مع مهندسي المنصة وDevOps لإتاحة البيانات والاسترجاع كخدمات موثّقة وموثوقة.
• إبقاء تكاليف التخزين والحوسبة والاستعلام تحت السيطرة، مع اهتمام خاص بتكلفة التضمين وأعباء العمل المتجهية.
• مراجعة الشيفرة، وكتابة التوثيق، والمساعدة في تشكيل كيفية بناء الفريق لطبقة بياناته.

ثماني سنوات أو أكثر في هندسة البيانات إجمالًا. يشمل ذلك عملًا تطبيقيًا لبناء بيانات لأنظمة الذكاء الاصطناعي أو تعلم الآلة مثل الاسترجاع أو التضمينات أو بيانات الميزات، والذي يمكن أن يكون جزءًا أحدث في خلفيتك. إتقان قوي لـ SQL وإتقان قوي لـ Python، بما في ذلك PySpark أو معالجة موزعة مماثلة. خبرة إنتاجية عبر مجموعة بيانات AWS: S3 للبحيرة، وGlue لـ ETL وكتالوج البيانات، وAthena للاستعلام بلا خادم، وRedshift كمستودع. خبرة تطبيقية بمعمارية بيانات طبقية، سواء سميتها medallion (برونزي، فضي، ذهبي)، أو بحيرة بيانات تغذي مستودعًا، أو lakehouse، بما في ذلك بناء مراحل التحويل التي تنقل البيانات من الخام إلى المنقّح. خبرة بأداة ELT أو تكامل مثل Airbyte أو Fivetran أو Meltano، بما في ذلك بناء أو صيانة الموصلات. خبرة بخطوط أنابيب مدفوعة بالأحداث باستخدام SQS وSNS، ومع تقنية واحدة على الأقل للتدفق أو التقاط تغييرات البيانات مثل Kinesis أو Amazon MSK أو Debezium. خبرة تطبيقية بطبقة دلالية أو طبقة مقاييس فوق المستودع، مثل Cube أو dbt Semantic Layer. خبرة تطبيقية بمخزن متجهي واحد على الأقل وسير عمل للتضمين: pgvector أو Amazon OpenSearch أو Pinecone أو Weaviate أو Milvus. ارتياح مع التنسيقات العمودية وتنسيقات الجداول المفتوحة: Parquet مع Apache Iceberg أو Delta Lake أو Hudi. معرفة عملية بمنسّق مثل Amazon MWAA أو Step Functions أو Dagster أو Prefect، وقدر كافٍ من البنية التحتية كشيفرة للعمل عن كثب مع DevOps.