فهم بنية المحولات بلغة بسيطة

في عالم الذكاء الاصطناعي، أحدثت بنية المحولات ثورة في الطريقة التي تفهم بها الآلات وتولد اللغة البشرية. يتناول هذا المقال أساسيات بنية المحولات، مما يجعلها متاحة للمهنيين والهواة على حد سواء.

ما هي المحولات؟

المحول هو نوع من بنية الشبكة العصبية تم تقديمه في الورقة البحثية "الانتباه هو كل ما تحتاجه" بواسطة فاسوواني وزملائه في عام 2017. على عكس النماذج السابقة التي اعتمدت بشكل كبير على المعالجة التسلسلية، تتفوق المحولات في التعامل مع تسلسلات البيانات باستخدام آليات تعرف باسم الانتباه.

أصبحت المحولات العمود الفقري للعديد من النماذج ذات الحالة المتقدمة، لا سيما في معالجة اللغة الطبيعية (NLP). قدرتها على التقاط العلاقات بين الكلمات، بغض النظر عن مسافاتها في النص، تعتبر نقطة تحول.

المكونات الرئيسية لبنية المحولات

تتكون بنية المحولات من عدة مكونات حاسمة تعمل معًا لمعالجة وتوليد اللغة بشكل فعال. إليك العناصر الرئيسية:

1. تضمينات الإدخال: الخطوة الأولى في نموذج المحولات تتضمن تحويل الكلمات إلى متجهات (تمثيلات عددية). يتيح ذلك للنموذج فهم اللغة والتلاعب بها رياضيًا.
2. ترميز المواقع: نظرًا لأن المحولات لا تعالج البيانات تسلسليًا، فهي تحتاج إلى ترميز موضعي للحفاظ على ترتيب الكلمات في الجملة. تضيف هذه الترميز معلومات حول موقع كل كلمة في التسلسل.
3. آلية الانتباه الذاتي: هذه هي الابتكار الأساسي في المحولات. تتيح آلية الانتباه الذاتي للنموذج وزن أهمية كل كلمة في جملة بالنسبة للأخرى. على سبيل المثال، في العبارة "القط جلس على السجادة"، يمكن للنموذج أن يتعرف على أن "القط" و"جلس" مرتبطان بشكل أوثق من "القط" و"السجادة".
4. الانتباه متعدد الرؤوس: بدلاً من آلية انتباه واحدة، تستخدم المحولات رؤوسًا متعددة. يتيح هذا للنموذج التركيز على أجزاء مختلفة من الجملة في نفس الوقت، مما يلتقط معاني سياقية متنوعة.
5. شبكات الأعصاب ذات التغذية الأمامية: بعد طبقات الانتباه، يتم تمرير الناتج عبر شبكات الأعصاب ذات التغذية الأمامية. تقوم هذه الشبكات بتطبيق تحويلات على البيانات، مما يعزز قدرة النموذج على تعلم الأنماط المعقدة.
6. تطبيع الطبقة والاتصالات المتبقية: لتحقيق الاستقرار وتحسين التدريب، تقوم المحولات بتنفيذ تطبيع الطبقة والاتصالات المتبقية، مما يساعد على الحفاظ على تدفق المعلومات عبر الطبقات.

كيف تعمل المحولات

تعمل المحولات من خلال سلسلة من طبقات الترميز والترميز العكسي. إليك نظرة مبسطة حول كيفية عملها: