Building LLMs like ChatGPT from Scratch and Cloud Deployment

أهلا بك عزيزي المتابع لموقع (journey for learn) نقدم دورات بكوبونات متاحة لاول 1000 تسجيل مجاني فقط وكوبونات اخري لفترة محدودة فاذا كنت تريد ان تحصل علي كل الكورسات علي موقعنا وان تكون اول المسجلين في الكورسات المجانية قم بتسجيل الدخول أوقم بالدخول علي وسائل التواصل الاجتماعي وخصوصا التليجرام نوضح الوصف المختصر والطويل للدورات لكي تعرف الدروس التي سوف تتعلمها بسهولة ويسر :

لم تعد نماذج اللغة الكبيرة مثل GPT-4 و Llama و Mistral خيالًا علميًا ؛ إنها الحدود الجديدة للتكنولوجيا ، حيث تعمل على تشغيل كل شيء من الدردشة المتقدمة إلى الاكتشاف العلمي الثوري. ولكن بالنسبة لمعظمهم ، يظلون "صندوقًا أسود". على الرغم من أن الكثيرين يمكنهم استخدام واجهة برمجة التطبيقات ، إلا أن القليل منهم يمتلكون مهارة نادرة وقيمة لفهم كيفية عمل هذه النماذج المذهلة من الداخل إلى الخارج. ماذا لو كنت تستطيع قشر الستار؟ ماذا لو تمكنت من بناء نموذج لغة كبير قوي وحديث ، ليس فقط من خلال تغيير عدد قليل من الأسطر من التعليمات البرمجية ، ولكن من خلال كتابته من الألف إلى الياء ، خط سطر؟ هذه الدورة ليست نظرة عامة أخرى عالية المستوى. إنها رحلة هندسية عميقة وعملية لترميز LLM كاملة-على وجه التحديد ، بنية Mistral 7B ذات الكفاءة العالية والقوية-من الخدش في Pytorch. نقوم بسد الفجوة بين النظرية التجريدية ورمز من فئة الإنتاج. لن تتعلم فقط ماهية الاهتمام المجمعة ؛ سوف تنفذها. لن تقرأ فقط عن ذاكرة التخزين المؤقت KV ؛ ستقوم بإنشائها لتسريع استنتاج النموذج الخاص بك. نعتقد أن أفضل طريقة لتحقيق إتقان حقيقي هي البناء. بدءًا من المفاهيم التأسيسية التي أدت إلى ثورة المحولات ، سنرشدك خطوة بخطوة عبر كل مكون حاسم. أخيرًا ، ستأخذ طرازك المخصص المخصص لتعلم نشره للاستخدام في العالم الحقيقي مع محرك الاستدلال VLLM عالي الأداء في الصناعة على Runpod. سوف تمتلك معرفة المبدأ الأول الذي يفصل الخبراء عن الحشد ويمكّنك من بناء وتصحيح وتبتكير في طليعة Ai.ك ستتعلم أن تبني وفهم:

• أصول LLMs: التنقل العميق في التدريب على أي شيء آخر. والاستدلال.
• مخطط 7B Mistral 7b: كيفية تعليم نموذج لغة كبيرة كاملة ، وتكرار الهيكل العالمي لنموذج أحدث طراز.
• الميكانيكا الأساسية من الصفر:
  • الرمز المميز: تحويل النص الخام إلى شكل يمكن أن يفهمه نموذجك. الوعي.
  • انتباه المجمع المُجمع (GQA): ترميز الابتكار الذي يجعل نماذج مثل Mistral فعالة للغاية.
  • اهتمام النافذة المنزلق (SWA): تنفيذ متغير الانتباه الذي يسمح بمعالجة تسلسل أطول بكثير.
  الاستدلال.
• بناء النموذج الشامل: تجميع جميع القطع-من رؤساء الانتباه الفردي إلى كتل المحولات الكاملة-في LLM وظيفية في Pytorch. محرك VLLM السريع بشكل باهظ على منصة Runpod Cloud.

إذا كنت مطورًا أو مهندسًا ML أو باحثًا على استعداد لتجاوز واجهة برمجة التطبيقات وفهم التكنولوجيا التي تغير العالم حقًا ، فقد تم تصميم هذه الدورة لك. يسرنا أن نوجهك في رحلتك لتصبح خبيرًا حقيقيًا في البناء.

ما هي المتطلبات الأساسية لدخول الدورة والتسجيل فيها على موقعنا؟ رحلة التعلم:

(احصل على الدورة للدخول إلى الموقع والتسجيل)

يجب أن يكون لديك بريد إلكتروني (حساب بريد) تتذكره لنفسك وأيضًا يجب أن تتذكر كلمة مرور البريد الإلكتروني الذي ستسجل به ، وإذا لم يكن لديك حساب بريد إلكتروني ، فمن الأفضل إنشاء حساب (Gmail)