فهم هندسة المحولات بلغة سهلة

لقد أحدث ظهور هندسة المحولات ثورة في مجال الذكاء الاصطناعي، وخاصة في معالجة اللغة الطبيعية (NLP). ولكن ما هي المحولات بالضبط، وكيف تعمل؟ في هذه المقالة، سنفكك أساسيات هندسة المحولات بطريقة سهلة الفهم.

ما هي المحولّات؟

المحوّلات هي نوع من هندسة النماذج التي تم تقديمها في ورقة "الاهتمام هو كل ما تحتاجه" بواسطة فاسواني وآخرين في عام 2017. تم تصميمها لمعالجة البيانات التسلسلية بكفاءة أكبر من النماذج السابقة مثل الشبكات العصبية التكرارية (RNNs). الابتكار الرئيسي للمحوّلات هو آلية الانتباه الذاتي، والتي تسمح للنموذج بتقييم أهمية الكلمات المختلفة في الجملة، بغض النظر عن موضعها.

كيف تعمل المحولات؟

تتكون المحولات من مكونين رئيسيين: المشفّر والمفكك.

المشفّر

يستقبل المشفّر تسلسل الإدخال (مثل الجملة) ويعالجه إلى تنسيق يمكن أن يفهمه النموذج. يقوم بذلك من خلال عدة طبقات من الانتباه الذاتي والشبكات العصبية الأمامية. تلتقط كل طبقة ميزات مختلفة من بيانات الإدخال، مما يسمح للنموذج ببناء فهم شامل للسياق.

المفكك

ينتج المفكك تسلسل الإخراج (مثل جملة مترجمة) بناءً على المعلومات المشفرة. يستخدم أيضاً آليات الانتباه الذاتي لكنه مصمم ليولي اهتماماً لكل من الرموز التي تم إنشاؤها مسبقًا والإدخال المشفر. تساعد هذه الانتباه المزدوج النموذج على إنتاج مخرجات مترابطة وذات صلة سياقياً.

المكونات الأساسية لهندسة المحولات

1. آلية الانتباه الذاتي: هذا هو جوهر المحولات. تسمح للنموذج بالتركيز على أجزاء مختلفة من الإدخال عند إنتاج إخراج. على سبيل المثال، في الجملة "القط يجلس على الحصير"، يمكن للنموذج أن يتعلم أن "القط" و"يجلس" مرتبطان ارتباطًا وثيقًا.

2. ترميز المواقع: نظرًا لأن المحولات لا تعالج البيانات بشكل تسلسلي، فإنها تحتاج إلى طريقة لفهم ترتيب الكلمات. يضيف ترميز الموقع معلومات حول موقع كل كلمة في التسلسل، مما يضمن أن النموذج يتعرف على بنية الإدخال.

3. تطبيع الطبقات: تثبت هذه التقنية عملية التدريب من خلال تطبيع المدخلات لكل طبقة، مما يساعد النموذج على التلاقي بسرعة وفعالية أكبر.

4. الانتباه متعدد الرؤوس: بدلاً من وجود آلية انتباه واحدة، تستخدم المحولات عدة رؤوس لالتقاط علاقات مختلفة في البيانات. يسمح ذلك للنموذج بتعلم جوانب متنوعة من الإدخال في وقت واحد، مما يعزز قدرته على فهم الجمل المعقدة.