LightGPT-instruct-6B هو نموذج لغة تم تطويره بواسطة مساهمي AWS استنادا إلى GPT-J 6B. تم ضبطه بدقة على مجموعة بيانات تعليمات OIG-small-chip2 ، والتي تحتوي على ما يقرب من 200 ألف مثال تدريبي ومرخصة بموجب Apache-2.0.

قدرات النموذج: تم تصميم النموذج لإنشاء نص استجابة للمطالبات بتعليمات محددة ، باتباع تنسيق موحد. يتعرف على اكتمال استجابته عندما ينتهي موجه الإدخال بالرمز المميز "### Response:\n". يتم تدريب النموذج خصيصا للمحادثات الإنجليزية.

النشر ومثال على الكود: يتم دعم نشر نموذج LightGPT-instruct-6B إلى Amazon SageMaker، وتوفر الوثائق مثالا على التعليمات البرمجية لتوضيح العملية.

مقاييس التقييم: يتم تقييم أداء النموذج باستخدام مقاييس مختلفة ، بما في ذلك LAMBADA PPL (الحيرة) و LAMBADA ACC (الدقة) و WINOGRANDE و HELLASWAG و PIQA و GPT-J.

القيود: تسلط الوثائق الضوء على بعض القيود على النموذج. وتشمل هذه قدرتها على النضال مع اتباع التعليمات الطويلة بدقة ، وتقديم إجابات غير صحيحة لأسئلة الرياضيات والتفكير ، وأحيانا توليد ردود خاطئة أو مضللة. يفتقر النموذج أيضا إلى الفهم السياقي ويولد استجابات تستند فقط إلى المطالبة المحددة.

حالة الاستخدام: نموذج LightGPT-instruct-6B هو أداة توليد لغة طبيعية مناسبة لتوليد استجابات لمجموعة واسعة من مطالبات المحادثة ، بما في ذلك تلك التي تتطلب تعليمات محددة.

‍