فهم بنية المحولات بلغة بسيطة

لقد أحدثت المحولات ثورة في مجال الذكاء الاصطناعي، وخاصة في معالجة اللغة الطبيعية (NLP). لكن ما هي المحولات بالضبط، ولماذا هي مهمة جدًا؟ في هذه المقالة، سنقوم بتكسير بنية المحول إلى مصطلحات بسيطة، نستعرض مكوناتها، كيفية عملها، وتطبيقاتها.

ما هو المحول؟

في جوهره، المحول هو نوع من بنية الشبكة العصبية المصممة لمعالجة البيانات المتسلسلة، مثل النصوص. تم تقديمه في ورقة بحثية عام 2017 بواسطة فاسواني وآخرين، وأصبح نموذج المحول العمود الفقري للعديد من أنظمة الذكاء الاصطناعي الحديثة، بما في ذلك نماذج اللغة الكبيرة (LLMs). على عكس النماذج السابقة التي اعتمدت على الشبكات العصبية التكرارية (RNNs)، تستخدم المحولات آلية تُسمى الانتباه الذاتي، مما يسمح لها بوزن أهمية الكلمات المختلفة في الجملة بغض النظر عن موضعها.

المكونات الرئيسية لبنية المحولات

يتكون المحول من عدة مكونات رئيسية تعمل معًا لمعالجة البيانات المدخلة بشكل فعال:

1. تضمينات الإدخال

• الخطوة الأولى في بنية المحول تتضمن تحويل النص المدخل إلى شكل عددي. يتم ذلك من خلال تضمينات، التي تمثل الكلمات كمتجهات في فضاء مستمر. هذه التضمينات تلتقط العلاقات الدلالية بين الكلمات، مما يمكّن النموذج من فهم السياق بشكل أفضل.

2. ترميز الموضع

• بما أن المحولات لا تعالج البيانات بالتسلسل، فإنها تتطلب ترميز الموضع للاحتفاظ بالمعلومات حول ترتيب الكلمات في الجملة. تُضاف ترميزات الموضع إلى تضمينات المدخلات، مما يتيح للنموذج التعرف على تسلسل الكلمات.

3. آلية الانتباه الذاتي

• آلية الانتباه الذاتي هي قلب المحول. تتيح للنموذج التركيز على أجزاء مختلفة من تسلسل الإدخال عند إنتاج مخرجات. لكل كلمة، يحسب النموذج درجات الانتباه لجميع الكلمات الأخرى في التسلسل، ليحدد أي الكلمات ذات صلة بالسياق. هذا يمكّن المحول من التقاط الاعتماديات والعلاقات طويلة المدى بين الكلمات بشكل فعال.

4. الانتباه متعدد الرأس

• بدلاً من استخدام آلية انتباه واحدة، تستخدم المحولات رؤوس انتباه متعددة. يتعلم كل رأس التركيز على جوانب مختلفة من المدخلات، مما يسمح للنموذج بالتقاط مجموعة أغنى من العلاقات. ثم يتم دمج مخرجات هذه الرؤوس وتحويلها خطيًا.