فهم بنية المحولات بلغة بسيطة

عالم الذكاء الاصطناعي يتطور بسرعة، وفي صميم العديد من إنجازاته الرائدة يكمن الإطار القوي المعروف باسم بنية المحولات. يعد فهم المحولات أمرًا أساسيًا لأي شخص مهتم بالذكاء الاصطناعي، وخاصة في مجالات معالجة اللغة الطبيعية (NLP) والذكاء الاصطناعي التوليدي. يهدف هذا المقال إلى توضيح بنية المحولات بطريقة قابلة للفهم، مما يجعلها متاحة للمهنيين والهواة على حد سواء.

ما هي بنية المحولات؟

تعد بنية المحولات نوعًا من الشبكات العصبية المصممة لمعالجة البيانات التتابعية، مثل النصوص. تم تقديمها في الورقة "Attention is All You Need" من قبل فاسواني وآخرون في عام 2017، وقد أحدثت المحولات ثورة في كيفية فهم الآلات وتوليد اللغة. على عكس النماذج السابقة التي كانت تعالج البيانات بشكل تسلسلي، تستخدم المحولات آلية تُعرف باسم الانتباه لوزن أهمية الكلمات أو الرموز المختلفة في الجملة، مما يسمح بفهم أكثر دقة.

الميزات الأساسية للمحولات

• آلية الانتباه الذاتي: تمكّن هذه الآلية النموذج من أخذ السياق الكامل لكلمة ما بعين الاعتبار بالنسبة لجميع الكلمات الأخرى في الجملة، بدلاً من الكلمات التي تسبقها فقط. يؤدي ذلك إلى فهم أفضل للمعنى والسياق.
• ترميز الموضع: نظرًا لأن المحولات لا تعالج البيانات بالترتيب، فإنها تحتاج إلى وسيلة لفهم موضع الكلمات. يضيف ترميز الموضع معلومات حول موقع كل رمز، مما يمكّن النموذج من الحفاظ على بنية التسلسل.
• الهندسة المعمارية متعددة الطبقات: تتكون المحولات من طبقات متعددة، تحتوي كل منها على مكونات للانتباه والتغذية الأمامية. تتيح هذه الطريقة متعددة الطبقات للنموذج تعلم أنماط معقدة في البيانات.

كيف تعمل المحولات؟

تعمل المحولات من خلال مكونين رئيسيين: المشفر والمفكك. دعونا نفصّل وظائفهما:

المشفر

تتمثل وظيفة المشفر في معالجة بيانات الإدخال وإنشاء تمثيل يلتقط الخصائص الأساسية لتسلسل الإدخال. يتكون من عدة طبقات متطابقة، تحتوي كل منها على طبقتين رئيسيتين:

• طبقة الانتباه الذاتي: تحسب هذه الطبقة درجات الانتباه لكل كلمة في الإدخال، وتحدد مقدار التركيز الذي ينبغي أن يُعطى لكل كلمة عند تشفير الجملة.
• شبكة عصبية تغذي أمامية: بعد أن تقوم طبقة الانتباه الذاتي بمعالجة الإدخال، يتم تمرير الناتج من خلال شبكة عصبية تغذي أمامية، مما يُحسن التمثيل بشكل أكبر.

المفكك

ينتج المفكك تسلسل الإخراج بناءً على تمثيل المشفر. مثل المشفر، يحتوي على عدة طبقات متطابقة، ولكن مع طبقة إضافية للانتباه إلى ناتج المشفر: