NVIDIA TensorRT عبارة عن نظام أساسي لتسريع الذكاء الاصطناعي يوفر أقصى أداء وأوقات استدلال سريعة لتطبيقات التعلم العميق. إنه محسن استدلال التعلم العميق عالي الأداء ووقت التشغيل لنشر الإنتاج لنماذج الذكاء الاصطناعي. باستخدام NVIDIA TensorRT ، يمكنك تحسين الشبكات العصبية المدربة ونشرها بسرعة في بيئات الإنتاج ، مما يتيح الاستدلال بشكل أسرع وأكثر دقة. تمكن NVIDIA TensorRT المطورين من تحسين نماذج التعلم العميق المدربة والتحقق من صحتها ونشرها في بيئات الإنتاج مع أداء استدلال أعلى بشكل كبير. يتميز بتحسينات الرسم البياني المحسنة للغاية ، مثل دمج الطبقة ، والضبط التلقائي للنواة ، ودعم FP16 نصف الدقة ، لتسريع استدلال النموذج بما يصل إلى 100x مقارنة بالأنظمة الأساسية لوحدة المعالجة المركزية فقط. بالإضافة إلى ذلك ، فإنه يوفر دعما مدمجا لوحدات معالجة الرسومات NVIDIA ، ويعمل مع أطر التعلم العميق الشائعة مثل TensorFlow و PyTorch.NVIDIA TensorRT مثالي للمطورين وعلماء البيانات الذين يحتاجون إلى تحسين ونشر نماذج التعلم العميق المدربة بسرعة في بيئات الإنتاج.