منذ ساعة
أهلا بك عزيزي المتابع لموقع (journey for learn) نقدم دورات بكوبونات متاحة لاول 1000 تسجيل مجاني فقط وكوبونات اخري لفترة محدودة فاذا كنت تريد ان تحصل علي كل الكورسات علي موقعنا وان تكون اول المسجلين في الكورسات المجانية قم بتسجيل الدخول أوقم بالدخول علي وسائل التواصل الاجتماعي وخصوصا التليجرام نوضح الوصف المختصر والطويل للدورات لكي تعرف الدروس التي سوف تتعلمها بسهولة ويسر :
أسئلة وأجوبة ممارسة مقابلة PySpark هي المورد النهائي الذي قمت بإنشائه لمساعدتك على سد الفجوة بين البرمجة الأساسية والإتقان المعماري الحقيقي. إذا كنت تهدف إلى الحصول على دور كبير مهندسي البيانات أو الحصول على شهادة Spark، فأنت تعلم أن مجرد معرفة بناء الجملة ليس كافيًا؛ أنت بحاجة إلى فهم كيفية إعادة كتابة Catalyst Optimizer لاستفساراتك وكيفية تعامل Adaptive Query Execution (AQE) مع انحراف البيانات في الوقت الفعلي. لقد صممت هذه الاختبارات التدريبية لتعكس ضغط المقابلات عالية المخاطر والشهادات المهنية، والتي تغطي كل شيء بدءًا من تصور DAG وتنفيذ Tungsten وحتى عمليات تكامل Delta Lake المعقدة والعلامات المائية المتدفقة المنظمة. من خلال العمل من خلال هذه التوضيحات التفصيلية، لن تحفظ الإجابات فحسب، بل ستطور "حدس الشرارة" اللازم لتصحيح أخطاء OOM، وتحسين تبديل الأقسام، ونشر مسارات قابلة للتطوير على Kubernetes أو Databricks بثقة مطلقة. مجالات الاختبار ونماذج الموضوعات- البنية الأساسية: تنفيذ DAG، والتقييم البطيء، وSpark Driver مقابل المنفذين، وحدود المرحلة.
- ضبط الأداء: انحراف البيانات (التمليح)، وربط البث، والتخزين المؤقت مقابل الاستمرار، وتحليل Spark UI.
- واجهات برمجة التطبيقات المنظمة: وظائف النافذة، ومعالجة JSON/Parquet المتداخلة، وتحسين UDF.
- إدارة البيانات والأمن: RBAC، وإخفاء PII، وخصائص ACID في Delta Lake، والإدارة السرية.
- البث والنشر: وضع العلامات المائية، ونقاط التفتيش، دلالات مرة واحدة بالضبط، وK8s مقابل YARN.
- السؤال 1: أي من السيناريوهات التالية سيؤدي إلى "تحول واسع" في تطبيق PySpark، مما يستلزم تبديل الشبكة بين المنفذين؟
- أ. استخدام .filter() لإزالة القيم الخالية من عمود معين.
- ب. تطبيق عبارة .select() لإعادة تسمية أعمدة متعددة.
- ج. تنفيذ عملية .groupBy() لتجميع المبيعات حسب المنطقة.
- د. استخدام .map() لتطبيق دالة Python على كل صف.
- E. إضافة عمود جديد باستخدام .withColumn() بقيمة حرفية.
- F. تنفيذ عملية .limit() على مجموعة بيانات محلية صغيرة.
- الإجابة الصحيحة: C
- الشرح العام: يتم تصنيف التحويلات في Spark إما على أنها ضيقة (تظل البيانات داخل القسم) أو واسعة (يجب إعادة توزيع البيانات عبر المجموعة). تتطلب التحويلات الواسعة خلطًا عشوائيًا.
- تفسيرات الخيار: * أ (غير صحيح): المرشح عبارة عن تحويل ضيق؛ يحدث محليًا داخل كل قسم.
- B (غير صحيح): حدد فقط تغييرات البيانات التعريفية أو بنية الصف محليًا.
- C (صحيح): يتطلب GroupBy نقل البيانات بنفس المفتاح إلى نفس المنفذ، مما يؤدي إلى تشغيل عشوائي.
- D (غير صحيح): يتم تنفيذ عمليات الخريطة صفًا تلو الآخر داخل نفس القسم.
- E (غير صحيح): لا تتطلب إضافة قيمة حرفية نقل البيانات بين الأقسام.
- F (غير صحيح): على الرغم من أن الحد يتضمن التنسيق، إلا أنه ليس في الأساس تحويلًا واسعًا بنفس الطريقة التي يكون بها التجميع القائم على التبديل العشوائي.
- السؤال 2: لاحظت مشكلة "انحراف البيانات" حيث تستغرق إحدى المهام وقتًا أطول بكثير من المهام الأخرى أثناء الانضمام. ما هي التقنية الأكثر فعالية لتخفيف هذه المشكلة في Spark 3.x؟
- أ. زيادة spark.executor.memory لجميع المنفذين.
- ب. تعطيل Catalyst Optimizer لإعادة ترتيب الصلات يدويًا.
- ج. تنفيذ "التمليح" عن طريق إضافة مفتاح عشوائي إلى عمود الصلة.
- د. تقليل عدد الأقسام العشوائية إلى 10.
- E. استخدام .coalesce(1) قبل عملية الانضمام.
- F. التبديل من واجهة برمجة تطبيقات DataFrame إلى واجهة برمجة تطبيقات RDD للانضمام.
- الإجابة الصحيحة: C
- الشرح العام: يحدث انحراف البيانات عندما يحتوي مفتاح معين على سجلات أكثر بكثير من السجلات الأخرى، مما يؤدي إلى تحميل مهمة واحدة بشكل زائد. يؤدي التمليح إلى إعادة توزيع هذه السجلات بالتساوي.
- تفسيرات الخيار:
- أ (غير صحيح): قد تمنع المزيد من الذاكرة حدوث خطأ OOM، لكنه لا يصلح خلل المعالجة الأساسي.
- ب (غير صحيح): من المحتمل أن يؤدي تعطيل المحسن إلى انخفاض الأداء الإجمالي.
- ج (صحيح): يؤدي التمليح إلى تقسيم المفتاح المنحرف إلى مفاتيح فرعية أصغر، مما يسمح للمهام المتعددة بمعالجة البيانات في متوازي.
- D (غير صحيح): يؤدي تقليل الأقسام غالبًا إلى جعل الانحراف أسوأ من خلال فرض المزيد من البيانات على عدد أقل من المهام.
- E (غير صحيح): الدمج (1) من شأنه أن يفرض جميع البيانات على منفذ واحد، مما يؤدي إلى إنشاء اختناق كبير.
- F (غير صحيح): تكون عمليات ربط RDD بشكل عام أقل تحسينًا من عمليات ربط DataFrame.
- السؤال 3: في البث المنظم، ما هو الغرض الأساسي من تعريف "العلامة المائية"؟
- أ. لتشفير البيانات أثناء النقل بين المصدر والمصرف.
- ب. لتحديد المدة التي يجب أن ينتظرها المحرك حتى تصل البيانات متأخرًا قبل التخلص منها.
- ج. لزيادة عدد المنفذين تلقائيًا أثناء ذروة حركة المرور.
- د. لإنشاء نسخة احتياطية فعلية للبيانات الموجودة في دليل Checkpoint.
- E. لتحديد الفاصل الزمني الذي يقوم فيه استعلام الدفق بتشغيل دفعة جديدة.
- F. لتحويل DataFrame متدفق إلى DataFrame ثابت لاختبار الوحدة.
- الإجابة الصحيحة: ب
- الشرح العام: العلامة المائية هي حد يستخدم في التجميعات ذات الإطارات للتعامل مع البيانات "المتأخرة" وإدارة تنظيف مخزن الحالة.
- تفسيرات الخيار:
- أ (غير صحيح): تتم معالجة الأمان عبر SSL/TLS، وليس العلامة المائية.
- ب (صحيح): تسمح العلامات المائية لـ Spark بتتبع الحد الأقصى لوقت الحدث الذي تمت مشاهدته وتجاهل البيانات التي تصل بعد التأخير المسموح به.
- C (غير صحيح): يشير هذا إلى التخصيص الديناميكي أو القياس التلقائي.
- D (غير صحيح): تعالج نقطة التحقق استرداد الحالة؛ تتعامل العلامة المائية مع منطق وقت الحدث.
- E (غير صحيح): يصف هذا الفاصل الزمني "المشغل".
- F (غير صحيح): العلامة المائية هي منطق وقت التشغيل لمعالجة التدفق، وليست أداة تحويل النوع.
- مرحبًا بك في أفضل اختبارات التدريب لمساعدتك في الاستعداد للأسئلة التدريبية الخاصة بمقابلة PySpark و الإجابات.
- يمكنك إعادة إجراء الاختبارات عدة مرات كما تريد
- هذا بنك أسئلة أصلي ضخم
- يمكنك الحصول على دعم من المدرسين إذا كانت لديك أسئلة
- يحتوي كل سؤال على شرح تفصيلي
- متوافق مع الهاتف المحمول مع تطبيق Udemy
- ضمان استرداد الأموال لمدة 30 يومًا إذا لم تكن راضيًا
ما هي المتطلبات الأساسية لدخول الدورة والتسجيل فيها على موقعنا؟ رحلة التعلم:
(احصل على الدورة للدخول إلى الموقع والتسجيل)
يجب أن يكون لديك بريد إلكتروني (حساب بريد) تتذكره لنفسك وأيضًا يجب أن تتذكر كلمة مرور البريد الإلكتروني الذي ستسجل به ، وإذا لم يكن لديك حساب بريد إلكتروني ، فمن الأفضل إنشاء حساب (Gmail)
0 تعليقات
تسجيل دخول
