الحد الأقصى لطول السياق في نماذج اللغة الكبيرة | أصلي، ترجم بواسطة AI
استخدمت مؤخرًا واجهة برمجة تطبيقات DeepSeek لتوليد رسالة commit، كما هو موضح في رسائل Git المدعومة بالذكاء الاصطناعي.
عندما يتضمن commit العديد من الملفات التي تم تغييرها، أبلغت واجهة برمجة تطبيقات DeepSeek أن المدخلات تجاوزت حد طول السياق المسموح به وهو 65,535 رمزًا (2^16 - 1).
فيما يلي أحجام نوافذ السياق لبعض النماذج الأخرى:
- عائلة Claude 3: تم تقديمها في مارس 2024، وهذه النماذج تحتوي على نوافذ سياق تبدأ من 200,000 رمز.
- GPT-4: النسخة القياسية تدعم 8,192 رمزًا، بينما النسخة الممتدة (GPT-4-32k) تدعم 32,768 رمزًا.
- LLaMA 2 من Meta: النسخة القياسية تدعم 4,096 رمزًا، ولكن النسخ المعدلة يمكنها التعامل مع ما يصل إلى 16,384 رمزًا.
- Mistral 7B: تدعم ما يصل إلى 8,000 رمز.