فهم بنية المحول بلغة بسيطة

لقد أحدثت بنية المحول ثورة في مجال الذكاء الاصطناعي، لا سيما في معالجة اللغة الطبيعية. يهدف هذا المقال إلى تفكيك تعقيدات المحولات إلى مفاهيم بسيطة وسهلة الفهم.

ما هو المحول؟

المحوّلات هي نوع من بنية الشبكات العصبية التي حسنت بشكل كبير فعالية نماذج الذكاء الاصطناعي في فهم وتوليد اللغة الإنسانية. تم تقديمها في ورقة أساسية في عام 2017، وأصبحت المحولات العمود الفقري للعديد من النماذج المتطورة، بما في ذلك النماذج الكبيرة للغة (LLMs).

الفكرة الأساسية وراء المحولات هي قدرتها على معالجة البيانات بشكل متوازي، بدلاً من تسلسلي. وهذا يمكّنها من التعامل مع مجموعات بيانات كبيرة بكفاءة أكبر، مما يؤدي إلى أوقات تدريب أسرع وأداء أفضل.

المكونات الرئيسية لبنية المحول

يتكون المحول من عدة مكونات رئيسية، تلعب كل منها دوراً حيوياً في وظيفته:

1. آلية الانتباه

آلية الانتباه هي قلب المحول. تتيح للنموذج التركيز على أجزاء مختلفة من بيانات الإدخال عند إجراء التنبؤات. وهذا مفيد بشكل خاص في المهام اللغوية حيث يكون سياق الكلمات ضرورياً. على سبيل المثال، في الجملة "جلست القطة على الحصيرة"، يعتبر فهم العلاقة بين "قطة" و"حصيرة" أمرًا حاسمًا لفهم دقيق.

2. المشفر والمفكك

تنقسم المحولات إلى جزئين رئيسيين: المشفر والمفكك.

• المشفر: يقوم المشفر بمعالجة بيانات الإدخال ويولد تمثيلاً يلتقط معناه. يتكون من طبقات متعددة، كل منها تطبق آلية الانتباه وشبكة عصبية التغذية الأمامية.
• المفكك: يأخذ المفكك التمثيل المشفر وينتج المخرجات. يستخدم أيضًا آليات الانتباه للتركيز على الأجزاء ذات الصلة من البيانات المشفرة أثناء إنتاج كل كلمة في تسلسل الخرج.

3. الترميز الموضعي

نظرًا لأن المحولات تعالج البيانات بشكل متوازي، فإنها تفتقر إلى طريقة طبيعية لفهم ترتيب الكلمات في الجملة. يتم تقديم الترميز الموضعي لتوفير هذه المعلومات التسلسلية. يضيف إشارات فريدة إلى تخطيط الإدخال، مما يمكّن النموذج من إدراك موقع كل كلمة.

كيفية عمل المحولات

لتوضيح كيفية عمل المحولات، دعونا نعتبر مثالًا عمليًا: ترجمة جملة من الإنجليزية إلى الفرنسية.

1. : يتم تحويل الجملة الإنجليزية إلى سلسلة من المتجهات العددية من خلال التضمين.