فهم بنية المحولات بلغة بسيطة

لقد أحدث التقدم السريع في الذكاء الاصطناعي (AI) وحقوله الفرعية، مثل معالجة اللغة الطبيعية (NLP)، ثورة في كيفية فهم الآلات وتوليد اللغة البشرية. في قلب هذه التحول توجد نموذج قوي يعرف باسم بنية المحولات. يهدف هذا المقال إلى توضيح مفهوم المحولات، مما يجعل المفاهيم المعقدة في متناول المهنيين الراغبين في التعلم.

ما هي المحولات؟

المحولات هي نوع من بنية الشبكات العصبية التي غيرت بشكل جذري مشهد مهام معالجة اللغة الطبيعية. تم تقديم المحولات في الورقة البحثية "الانتباه هو كل ما تحتاجه" من قبل فاسواني وآخرون في عام 2017، وتتفوق المحولات في معالجة تسلسلات البيانات، وخاصة النصوص. على عكس النماذج السابقة التي اعتمدت بشكل كبير على الشبكات العصبية المتكررة (RNNs)، تستخدم المحولات آلية تسمى الانتباه الذاتي، مما يسمح لها بتقييم أهمية الكلمات المختلفة في الجملة بغض النظر عن مواقعها.

المكونات الرئيسية لبنية المحولات

فهم المكونات الأساسية لبنية المحولات أمر ضروري لفهم كيفية عملها:

1. آلية الانتباه الذاتي

تتيح آلية الانتباه الذاتي للنموذج التركيز على الأجزاء ذات الصلة من التسلسل المدخل عند توليد المخرجات. على سبيل المثال، في الجملة "جلست القطة على السجادة لأنها كانت متعبة"، يمكن للنموذج أن يتعلم أن "هي" تشير إلى "القطة"، بغض النظر عن مواقعها في الجملة.

2. تشفير المواقع

بما أن المحولات لا تعالج البيانات بشكل متسلسل مثل RNNs، فإنها تحتاج إلى طريقة لدمج ترتيب الكلمات. يضيف تشفير المواقع إشارات فريدة إلى تمثيل كل كلمة، مما يساعد النموذج على فهم التسلسل.

3. الانتباه متعدد الرؤوس

بدلاً من الاعتماد على آلية الانتباه الفردية، تستخدم المحولات رؤوسًا متعددة لالتقاط جوانب مختلفة من المدخلات. يسمح هذا النموذج بالتركيز على أجزاء متنوعة من التسلسل في وقت واحد، مما يعزز فهمه للسياق والعلاقات بين الكلمات.

4. شبكة عصبية تغذية للأمام

بعد طبقات الانتباه، تحتوي المحولات على شبكات عصبية تغذية تقوم بتطبيق تحويلات على مخرجات آلية الانتباه. يتم معالجة كل موضع في التسلسل بشكل مستقل، مما يسمح بخرائط معقدة من المدخلات إلى المخرجات.

5. تطبيع الطبقة والاتصالات المتبقية

لتحسين الاستقرار وتحسين التدريب، تستخدم المحولات تطبيع الطبقة والاتصالات المتبقية. تساعد الاتصالات المتبقية في منع مشكلة التدرج المتلاشية، مما يسمح بتدفق التدرجات بسهولة أكبر أثناء عملية التراجع.