درک معماری ترنسفورمر به زبان ساده

ظهور هوش مصنوعی، نحوه تعامل ما با فناوری را متحول کرده است. در قلب بسیاری از برنامه‌های مدرن هوش مصنوعی، معماری قدرتمندی به نام ترنسفورمر قرار دارد. هدف این مقاله، رمزگشایی از معماری ترنسفورمر و توضیح اجزای کلیدی آن و این که چگونه پردازش زبان طبیعی (NLP) و فراتر از آن را انقلاب کرده است، می‌باشد.

ترنسفورمر چیست؟

ترنسفورمر نوعی از معماری شبکه عصبی است که در مقاله‌ای در سال ۲۰۱۷ با عنوان "توجه، همه آنچه که نیاز دارید" توسط واسوانی و همکاران معرفی شد. بر خلاف مدل‌های قبلی، ترنسفورمرها می‌توانند داده‌ها را به صورت موازی پردازش کنند، که این باعث می‌شود برای مدیریت مجموعه‌های داده بزرگ به طور قابل توجهی سریع‌تر و کارآمدتر باشند. این معماری به پایه‌گذاری بسیاری از مدل‌های پیشرفته در هوش مصنوعی، از جمله BERT و GPT تبدیل شده است.

ویژگی‌های کلیدی ترنسفورمرها

• مکانیسم توجه خود: این امکان را می‌دهد تا مدل اهمیت کلمات مختلف در یک جمله را در نسبت با یکدیگر بسنجند و به این ترتیب زمینه را به طور مؤثرتری درک کنند.
• کدگذاری موضعی: از آنجایی که ترنسفورمرها داده‌ها را به صورت دنباله‌ای پردازش نمی‌کنند، از کدگذاری موضعی برای حفظ ترتیب کلمات استفاده می‌شود که به مدل در درک ساختار جمله کمک می‌کند.
• توجه چندسر: این ویژگی به مدل اجازه می‌دهد به طور هم‌زمان بر بخش‌های مختلف ورودی تمرکز کند و توانایی آن را برای ربط دادن بین کلمات یا نشانه‌های مختلف تقویت می‌کند.
• شبکه‌های عصبی پیشرو: پس از پردازش ورودی از طریق لایه‌های توجه خود، داده‌ها از طریق شبکه‌های عصبی پیشرو برای تغییر بیشتر عبور می‌کنند.

چگونه ترنسفورمرها کار می‌کنند

ترنسفورمرها بر دو مؤلفه اصلی بنا شده‌اند: کدگذار و کدگشا.

کدگذار

کدگذار مسئول پردازش داده‌های ورودی است. این شامل چندین لایه است که هر یک حاوی دو زیرلایه اصلی هستند:

1. توجه خود چندسر: این لایه به مدل اجازه می‌دهد به سایر کلمات در دنباله ورودی نگاه کند و نمرات توجه متفاوتی را بر اساس ارتباطشان به آن‌ها تخصیص دهد.
2. شبکه عصبی پیشرو: بعد از لایه توجه، داده‌ها از طریق یک شبکه تغذیه پیشرو عبور می‌کنند که تغییرات غیرخطی را بر روی ورودی اعمال می‌کند.

هر یک از این لایه‌ها همچنین شامل اتصالات باقیمانده و نرمال‌سازی لایه‌ای است که به تثبیت آموزش و بهبود عملکرد کمک می‌کند.