تقسيم النصوص والنوافذ السياقية: فهم قيود الطول في الذكاء الاصطناعي

أحرز الذكاء الاصطناعي (AI)، وخاصةً في مجال معالجة اللغة الطبيعية (NLP)، تقدمًا هائلًا بفضل نماذج اللغة الكبيرة (LLMs). ومع ذلك، غالبًا ما يواجه العديد من المستخدمين قيودًا تتعلق بطول النص الذي يمكن لهذه النماذج معالجته. ستستكشف هذه المقالة مفاهيم تقسيم النصوص والنوافذ السياقية، ولماذا توجد هذه القيود على الطول، وتأثيرها على تطبيقات الذكاء الاصطناعي.

ما هو تقسيم النصوص؟

تقسيم النصوص هو خطوة حاسمة في معالجة النصوص لنماذج الذكاء الاصطناعي. ينطوي على تقسيم سلسلة النص إلى وحدات أصغر، تُعرف بالتوكنات. يمكن أن تكون هذه التوكنات كلمات أو عبارات أو حتى أحرف فردية، اعتمادًا على استراتيجية تقسيم النصوص المستخدمة. الهدف من تقسيم النصوص هو تحويل النص الخام إلى صيغة يمكن للنماذج فهمها والتلاعب بها.

على سبيل المثال، قد يتم تقسيم الجملة "معالجة اللغة الطبيعية مثيرة للاهتمام" إلى التوكنات التالية:

• معالجة
• اللغة
• الطبيعية
• مثيرة
• للاهتمام

من خلال تحويل النص إلى توكنات، يمكن لنماذج الذكاء الاصطناعي تحليل وتوليد اللغة بشكل أكثر فعالية. ومع ذلك، يمكن أن تختلف عدد التوكنات الناتجة من نص مدخل معين بشكل كبير وفقًا لتعقيد وهيكل النص.

فهم النوافذ السياقية

تشير النافذة السياقية إلى الحد الأقصى لعدد التوكنات التي يمكن أن يأخذها النموذج بعين الاعتبار في أي وقت عند توليد الردود أو تحليل النص. تأتي هذه القيود بشكل أساسي بسبب القيود الحاسوبية وبنية النموذج نفسه.

تستخدم LLMs، مثل تلك التي طورتها OpenAI وGoogle، آليات انتباه لتقييم أهمية التوكنات المختلفة في سياق مدخل معين. تحدد النافذة السياقية مدى النص الذي يمكن أن يوليه النموذج اهتمامًا في نفس الوقت. على سبيل المثال، إذا كان لدى نموذج نافذة سياقية من 512 توكن، فإنه يمكنه فقط تحليل وتوليد ردود بناءً على أحدث 512 توكن من نص المدخل.