فهم هندسة المحولات بلغة بسيطة

أحدث الذكاء الاصطناعي ثورة في كيفية فهم الآلات للغة البشرية وتوليدها، ويرجع الفضل في ذلك إلى نموذج رائد يُعرف باسم المحول. هذه الهندسة تدعم العديد من تطبيقات الذكاء الاصطناعي الحديثة، وخاصة في معالجة اللغة الطبيعية (NLP). في هذه المقالة، سنقوم بتفكيك هندسة المحولات بطريقة بسيطة، مما يجعلها متاحة للمحترفين الفضوليين الذين يتوقون لفهم هذه التكنولوجيا المحورية.

ما هي هندسة المحولات؟

هندسة المحولات هي نوع من الشبكات العصبية تم تقديمها في ورقة بعنوان "الاهتمام هو كل ما تحتاجه" بواسطة فاسواني وآخرين في عام 2017. على عكس النماذج السابقة، تم تصميم المحولات للتعامل مع البيانات التسلسلية بشكل أكثر فعالية، وذلك أساسًا من خلال آلية تُعرف باسم الانتباه الذاتي. تسمح هذه الابتكارات للنموذج بتحديد أهمية الكلمات المختلفة في جملة ما، بغض النظر عن مواقعها.

المكونات الرئيسية للمحول

لفهم هندسة المحولات، من الضروري فهم مكونيها الرئيسيين: المُشفر (Encoder) والمُفكك (Decoder).

• المُشفر: يقوم المُشفر بمعالجة بيانات الإدخال. يقوم بتحويل تسلسل الإدخال إلى تمثيل مستمر يُعبر عن العلاقات بين الكلمات.
• المُفكك: يقوم المُفكك بتوليد تسلسل الإخراج استنادًا إلى تمثيل المُشفر. يقوم بتوقع الكلمة التالية في تسلسل، مستفيدًا من الكلمات التي تم توليدها مسبقًا.

آلية الانتباه الذاتي

في قلب المحول توجد آلية الانتباه الذاتي، التي تسمح للنموذج بأخذ سياق كل كلمة في الاعتبار بالنسبة للأخرى في تسلسل الإدخال. إليك كيف تعمل:

1. تمثيل الإدخال: يتم تحويل كل كلمة في الإدخال إلى تمثيل متجه، يعكس معناها.
2. درجات الانتباه: يقوم النموذج بحساب درجات الانتباه لكل كلمة، لتحديد مقدار التركيز الذي يجب وضعه على الكلمات الأخرى أثناء معالجة الكلمة الحالية.
3. المجموع الوزني: باستخدام درجات الانتباه، ينشئ النموذج مجموعًا وزنيًا من المتجهات الخاصة بالكلمات، مما يلخص السياق بفعالية.

تتكرر هذه العملية لكل كلمة في الإدخال، مما يسمح للمحول بتطوير فهم دقيق للجملة بأكملها.

الانتباه متعدد الرؤوس

لدعم فهم النموذج، تستخدم المحولات الانتباه متعدد الرؤوس. بدلاً من حساب مجموعة واحدة من درجات الانتباه، ينشئ النموذج مجموعات متعددة (أو رؤوس) من الدرجات. يتعلم كل رأس التركيز على جوانب مختلفة من الجملة، مما يمكّن المحول من التقاط مجموعة أوسع من العلاقات والمعاني.