توکن‌سازی و پنجره‌های زمینه: درک محدودیت‌های طولی در هوش مصنوعی

در دنیای هوش مصنوعی (AI) و پردازش زبان طبیعی (NLP)، دو مفهوم اساسی نقش مهمی در نحوه عملکرد مدل‌های زبانی بزرگ (LLMs) ایفا می‌کنند: توکن‌سازی و پنجره‌های زمینه. درک این مفاهیم به روشن کردن اینکه چرا محدوده‌های طولی در مدل‌های AI وجود دارد و چگونه بر عملکرد و قابلیت‌های هوش مصنوعی تولیدی تأثیر می‌گذارد، کمک خواهد کرد.

توکن‌سازی چیست؟

توکن‌سازی فرایند تبدیل متن به قطعات کوچکتر یا توکن‌ها است که می‌توانند به راحتی توسط الگوریتم‌های یادگیری ماشین مورد پردازش قرار گیرند. این توکن‌ها می‌توانند بسته به استراتژی توکن‌سازی مورد استفاده، نمایانگر کلمات، زیرکلمات یا حتی حروف فردی باشند. هدف توکن‌سازی این است که متن را به واحدهای قابل مدیریت تقسیم کند که معنای آن را حفظ کرده و همزمان کارایی محاسباتی را تسهیل کند.

برای مثال، جمله «هوش مصنوعی در حال تغییر جهان است» می‌تواند به توکن‌های فردی تبدیل شود: [«هوش»، «مصنوعی»، «در»، «حال»، «تغییر»، «جهان»]. به‌طور جایگزین، یک توکنایزر مبتنی بر زیرکلام ممکن است آن را به واحدهای کوچکتر تقسیم کند که می‌تواند به طور مؤثرتری با کلمات خارج از واژگان مقابله کند.

نکات کلیدی درباره توکن‌سازی:

• هدف: توکن‌سازی متن را برای پردازش ماشینی ساده می‌کند.
• انواع: توکن‌ها می‌توانند کلمات، زیرکلمات یا حروف باشند.
• کارایی: توکن‌سازی مناسب عملکرد مدل را از طریق مدیریت تنوع متن بهبود می‌بخشد.

درک پنجره‌های زمینه

پنجره زمینه به محدوده توکن‌هایی اشاره دارد که یک مدل زبانی هنگام تولید پاسخ‌ها یا انجام پیش‌بینی‌ها در نظر می‌گیرد. LLMها بر اساس یک پنجره زمینه با اندازه ثابت کار می‌کنند، به این معنی که آنها فقط می‌توانند تعداد معینی از توکن‌ها را در یک زمان تجزیه و تحلیل کنند. این محدودیت از هر دو جنبه محدودیت‌های محاسباتی و طراحی مدل‌ها ناشی می‌شود.