فهم هندسة المحول ببساطة
فهم بنية المحولات بلغة بسيطة
حَويلت المحولات مجال الذكاء الاصطناعي ومعالجة اللغة الطبيعية. إذا كنت قد سمعت عن الضجيج حول الذكاء الاصطناعي ولكنك لست متأكداً تماماً مما هو المحول، فأنت في المكان الصحيح. يقوم هذا المقال بتفكيك تعقيدات بنية المحولات، مما يجعلها سهلة الفهم.
ما هي المحولات؟
في جوهرها، تعتبر المحولات نوعًا من بنية النموذج تعالج البيانات التسلسلية، خاصة في سياق اللغة. تم تقديمها في الورقة الرائدة "الانتباه هو كل ما تحتاجه" بواسطة فاسواني وآخرين في عام 2017، وقد أصبحت المحولات العمود الفقري للعديد من تطبيقات الذكاء الاصطناعي الحديثة، بما في ذلك توليد اللغة والترجمة والمزيد.
الميزات الرئيسية للمحولات
- آلية الانتباه: تسمح هذه الآلية للنموذج بالتركيز على أجزاء معينة من تسلسل الإدخال، مما يمكّنه من وزن أهمية الكلمات المختلفة.
- المعالجة المتوازية: بخلاف النماذج السابقة التي كانت تعالج البيانات تسلسليًا، يمكن للمحولات معالجة تسلسلات كاملة دفعة واحدة، مما يجعلها أسرع.
- القابلية للتوسع: يمكن توسيعها بسهولة، مما يسمح بتدريب نماذج أكبر مع المزيد من المعلمات.
هيكل المحول
تتكون بنية المحول من مكونين رئيسيين: المشفر والمفكك. تحتوي كل من هذه المكونات على عدة طبقات، وتعمل سويًا لتحويل بيانات الإدخال إلى بيانات الإخراج.
المشفر
يُعالج المشفر بيانات الإدخال ويتكون من عدة طبقات، تحتوي كل منها على طبقتين رئيسيتين:
- آلية الانتباه الذاتي: تتيح هذه الآلية للمشفر النظر إلى كلمات أخرى في تسلسل الإدخال لفهم السياق بشكل أفضل.
- شبكة عصبية للتغذية الأمامية: بعد الانتباه الذاتي، تُمرر المخرجات عبر شبكة التغذية الأمامية لمزيد من المعالجة.
المفكك
ينتج المفكك تسلسل الإخراج، وهو أكثر تعقيدًا بعض الشيء من المشفر. كما يحتوي على طبقات انتباه ذاتي وطبقات تغذية أمامية، لكنه يتضمن طبقة إضافية للانتباه على مخرجات المشفر. وهذا يضمن أن يتمكن المفكك من الاستفادة من المعلومات السياقية التي يقدمها المشفر أثناء生成 الإخراج.
كيف تعمل آلية الانتباه؟
تعد آلية الانتباه هي القلب النابض لبنية المحولات. إنها تتيح للنموذج تحديد الكلمات ذات الصلة في سياق معين. إليك تفصيل مبسط عن كيفية عملها:
