Azure Databricks Data Engineering: Build a Lakehouse

أهلا بك عزيزي المتابع لموقع (journey for learn) نقدم دورات بكوبونات متاحة لاول 1000 تسجيل مجاني فقط وكوبونات اخري لفترة محدودة فاذا كنت تريد ان تحصل علي كل الكورسات علي موقعنا وان تكون اول المسجلين في الكورسات المجانية قم بتسجيل الدخول أوقم بالدخول علي وسائل التواصل الاجتماعي وخصوصا التليجرام نوضح الوصف المختصر والطويل للدورات لكي تعرف الدروس التي سوف تتعلمها بسهولة ويسر :

التوقف عن مشاهدة الدروس. ابدأ البناء. هل سئمت من أمثلة "Hello World" التي لا تعكس العالم الحقيقي؟ هل ترغب في إنشاء مشروع هندسة بيانات جاهز للمحفظة والذي يمكنك عرضه فعليًا لمديري التوظيف؟ مرحبًا بك في مشروع بحيرة دبي العقارية. في هذه الدورة، لن نتعلم فقط بناء الجملة؛ سنقوم ببناء منصة بيانات على مستوى الإنتاج. ستتولى دور مهندس بيانات رئيسي مكلف بتحليل سوق العقارات الفوضوي كبير الحجم في دبي. مهمتك؟ لإنشاء نظام "Daily Pulse" آلي يستوعب اتجاهات السوق وينظفها ويصورها كل صباح - في السحابة بالكامل. ما الذي يجعل هذه الدورة التدريبية مختلفة؟

• معتمد على السحابة بنسبة 100%: لا توجد Power BI. لا تابلوه. لا تراخيص باهظة الثمن. سوف تتعلم الطريقة الحديثة لتصور البيانات باستخدام Databricks Native Dashboards.
• استراتيجية التكلفة الصفرية: سأوضح لك كيفية إنشاء بنية المؤسسة بأكملها باستخدام حساب Azure المجاني (رصيد بقيمة 200 دولار) وتقنيات إدارة التكلفة الذكية. لا تحتاج إلى بريد إلكتروني خاص بالشركة أو اشتراك مدفوع.
• خط الأنابيب الشامل: نحن لا نتخطى الخطوات. ستبني كل شيء بدءًا من استيعاب البيانات الأولية وحتى لوحة المعلومات التنفيذية النهائية.

ما ستتعلمه:

• البنية التحتية لـ Azure: نشر بحيرات البيانات (الجيل الثاني) وخزائن المفاتيح ومساحات عمل Databricks باستخدام بوابة Azure.
• هندسة Medallion: تصميم تدفق بيانات احترافي برونزي (خام) وفضي (نظيف) وذهبي (مجمع).
• PySpark & إتقان SQL: كتابة تحويلات قوية للتعامل مع بيانات JSON الفوضوية، وفرض المخططات، وإلغاء تكرار السجلات.
• Delta Lake Internals: إتقان "السفر عبر الزمن"، ومعاملات ACID، وتنفيذ المخطط لمعالجة ملفات مثل جداول قاعدة البيانات.
• التنسيق: استبدل التشغيل اليدوي بسير عمل Databricks (الوظائف) الآلي الذي يعمل وفقًا لجدول Cron.
• ذكاء الأعمال الأصلي: إنشاء لوحات معلومات مذهلة يتم تحديثها تلقائيًا بشكل مباشر داخل Databricks باستخدام تصورات SQL.

المشروع: "The Dubai Pulse" ستبني نظامًا يتتبع ملايين الدولارات في المعاملات العقارية.

Ingest: جلب سجلات معاملات JSON الأولية إلى الطبقة البرونزية.

تنظيف: إصلاح مشكلات جودة البيانات، ومعالجة القيم المفقودة، وتوحيد تنسيقات العملة في الطبقة الفضية.

النموذج: إنشاء جداول حقائق "مخطط النجوم" في الطبقة الذهبية للأداء العالي التحليلات.

التصور: إطلاق لوحة تحكم مباشرة لعنوان URL تعرض "أهم 10 مجالات للاستثمار" و"اتجاهات المبيعات الشهرية".

لمن تستهدف هذه الدورة؟

• مهندسو البيانات الطموحون الذين يحتاجون إلى مشروع رئيسي لمحفظتهم/سيرتهم الذاتية.
• مطورو SQL/Python الذين يتطلعون إلى الانتقال إلى البيانات الضخمة وSpark.
• محللو البيانات الذين يرغبون في تعلم كيفية إنشاء خطوط الأنابيب الخاصة بهم و انتقل إلى أعلى المجموعة.

المتطلبات:

• لا يلزم وجود خبرة سابقة في السحابة (نبدأ من الصفر).
• تعد المعرفة الأساسية بـ SQL أو Python مفيدة ولكنها ليست إلزامية.
• عنوان بريد إلكتروني لـ Google/Microsoft للتسجيل في حساب Azure المجاني.
• ملاحظة: ليس مطلوبًا وجود بريد إلكتروني خاص بالشركة/العمل لهذه الدورة.

سجل اليوم وابني Data Lakehouse للمستقبل.

ما هي المتطلبات الأساسية لدخول الدورة والتسجيل فيها على موقعنا؟ رحلة التعلم:

(احصل على الدورة للدخول إلى الموقع والتسجيل)

يجب أن يكون لديك بريد إلكتروني (حساب بريد) تتذكره لنفسك وأيضًا يجب أن تتذكر كلمة مرور البريد الإلكتروني الذي ستسجل به ، وإذا لم يكن لديك حساب بريد إلكتروني ، فمن الأفضل إنشاء حساب (Gmail)