درک معماری ترنسفورمر به زبان ساده

ورود معماری ترنسفورمر انقلاب بزرگی در زمینه هوش مصنوعی، به ویژه در پردازش زبان طبیعی (NLP) ایجاد کرده است. اگر هرگز با ربات‌های چت هوش مصنوعی تعامل داشته‌اید یا از ابزارهای ترجمه زبانی استفاده کرده‌اید، به احتمال زیاد از این فناوری قدرتمند بهره‌مند شده‌اید. در این مقاله، پیچیدگی‌های ترنسفورمرها را تجزیه و تحلیل می‌کنیم و آن‌ها را برای حرفه‌ای‌هایی که مایل به درک مکانیک‌های زیرین هوش مصنوعی هستند، قابل دسترس می‌سازیم.

ترنسفورمر چیست؟

معماری ترنسفورمر یک مدل یادگیری عمیق است که در مقاله "Attention is All You Need" توسط واسوانی و دیگران در سال 2017 معرفی شد. این یک انحراف قابل توجه از مدل‌های قبلی است که به شدت به شبکه‌های عصبی بازگشتی (RNNs) وابسته بودند. نوآوری کلیدی ترنسفورمرها استفاده از مکانیزم‌های توجه خودی (self-attention) است که به مدل این امکان را می‌دهد که اهمیت کلمات مختلف را در یک جمله صرف نظر از موقعیت آن‌ها ارزیابی کند. به این معناست که ترنسفورمرها می‌توانند بهتر زمینه و روابط بین کلمات را درک کنند و این منجر به خروجی‌های بیشتر و با زمینه بیشتر گشته است.

مولفه‌های کلیدی معماری ترنسفورمر

معماری ترنسفورمر از دو مولفه اصلی تشکیل شده است: انکودر و دکودر. هر یک از این مولفه‌ها از چندین لایه تشکیل شده است که توانایی مدل در پردازش داده‌های پیچیده را افزایش می‌دهد.

1. انکودر

نقش انکودر پردازش داده‌های ورودی است. او یک دنباله از کلمات را گرفته و آنها را به یک نمایش مداوم تبدیل می‌کند که معنی آن‌ها را ثبت می‌کند. هر لایه انکودر شامل:

• مکانیزم توجه خودی: این امکان را به مدل می‌دهد که بر روی بخش‌های مرتبط از دنباله ورودی تمرکز کند. به عنوان مثال، در عبارت "گربه روی فرش نشسته است"، مدل می‌تواند یاد بگیرد که "گربه" و "نشسته" به شدت به هم مرتبطند، حتی اگر توسط کلمات دیگری جدا شده باشند.
• شبکه‌های عصبی پیشخور: پس از توجه خودی، داده‌های رمزگذاری شده از طریق یک شبکه عصبی پیشخور که اطلاعات را بیشتر پردازش می‌کند، عبور می‌کند.

2. دکودر

دکودر دنباله خروجی را بر اساس ورودی رمزگذاری شده تولید می‌کند. او از ساختار مشابهی با انکودر استفاده می‌کند، اما شامل مکانیزم‌های اضافی است تا اطمینان حاصل کند خروجی یکنواخت است. ویژگی‌های کلیدی شامل:

• توجه خودی ماسک‌شده: این اطمینان می‌دهد که مدل تنها به موقعیت‌های قبلی در دنباله خروجی توجه می‌کند و وقتی که کلمه بعدی را تولید می‌کند، تمامیت دنباله حفظ می‌شود.