درک معماری ترنسفورماتورها به زبان ساده
درک معماری ترنسفورمر به زبان ساده
ورود معماری ترنسفورمر انقلاب عظیمی در زمینه هوش مصنوعی بهوجود آورده است، بهویژه در پردازش زبان طبیعی (NLP). اما ترنسفورمر دقیقاً چیست و چگونه کار میکند؟ در این مقاله، ما اصول اولیه معماری ترنسفورمر را بهگونهای توضیح میدهیم که درک آن آسان باشد.
ترنسفورمر چیست؟
ترنسفورمرها نوعی از معماری مدل هستند که در مقالهای تحت عنوان "توجه تمام چیزی است که نیاز دارید" توسط واسوانی و همکارانش در سال 2017 معرفی شدند. آنها طوری طراحی شدهاند که دادههای ترتیبی را بهطور کارآمدتری نسبت به مدلهای قبلی مانند شبکههای عصبی بازگشتی (RNN) مدیریت کنند. نوآوری اصلی ترنسفورمرها مکانیزم توجه خودی است که به مدل اجازه میدهد تا اهمیت کلمات مختلف در یک جمله را بدون توجه به موقعیت آنها وزن کند.
ترنسفورمرها چگونه کار میکنند؟
ترنسفورمرها از دو بخش اصلی تشکیل شدهاند: انکودر و دیکودر.
انکودر
انکودر یک دنباله ورودی (مانند یک جمله) را میگیرد و آن را به فرمت قابل فهم برای مدل تبدیل میکند. این کار را از طریق چندین لایه توجه خودی و شبکههای عصبی پیشخور انجام میدهد. هر لایه ویژگیهای مختلفی از دادههای ورودی را استخراج میکند، که به مدل اجازه میدهد تا درکی جامع از زمینه ایجاد کند.
دیکودر
دیکودر دنباله خروجی (مانند یک جمله ترجمهشده) را بر اساس اطلاعات رمزگذاریشده تولید میکند. همچنین از مکانیزمهای توجه خودی استفاده میکند اما به گونهای طراحی شده است که به هر دو، توکنهای تولیدشده قبلی و ورودی رمزگذاریشده توجه کند. این توجه دوگانه به مدل کمک میکند تا خروجیهای مرتبط و متناسب با زمینه تولید کند.
اجزای کلیدی معماری ترنسفورمر
-
مکانیزم توجه خودی: این قلب ترنسفورمر است. این مکانیزم به مدل اجازه میدهد که در هنگام تولید خروجی، بر روی بخشهای مختلف ورودی تمرکز کند. به عنوان مثال، در جمله "گربه روی تشک نشسته است"، مدل میتواند یاد بگیرد که "گربه" و "نشسته" به هم نزدیک هستند.
-
کدگذاری موقعیتی: از آنجا که ترنسفورمرها دادهها را به صورت ترتیبی پردازش نمیکنند، نیاز به روشی برای درک ترتیب کلمات دارند. کدگذاری موقعیتی اطلاعاتی درباره موقعیت هر کلمه در دنباله اضافه میکند و اطمینان حاصل میکند که مدل ساختار ورودی را درک میکند.
-
: این تکنیک فرآیند آموزش را با نرمالسازی ورودیها به هر لایه تثبیت میکند، که به مدل کمک میکند سریعتر و مؤثرتر همگرایی یابد.
