فهم هندسة المحولات بلغة بسيطة

لقد أحدثت المحولات ثورة في مجال الذكاء الاصطناعي، وخاصة في معالجة اللغة الطبيعية. قد تكون قد سمعت هذا المصطلح في محادثات حول الذكاء الاصطناعي، لكن ما هي بالضبط هندسة المحولات؟ في هذه المقالة، سنقوم بتبسيط تعقيدات المحولات إلى أجزاء قابلة للهضم، مما يوفر لك فهمًا واضحًا لدورها في الذكاء الاصطناعي والنماذج التوليدية.

ما هي هندسة المحولات؟

في جوهرها، تعتبر هندسة المحولات نوعًا من نماذج التعلم العميق التي تم تقديمها في الورقة البحثية "Attention is All You Need" من قبل فاسواني وآخرين في عام 2017. على عكس النماذج السابقة التي اعتمدت بشكل كبير على الشبكات العصبية التكرارية (RNNs) والشبكات العصبية التلافيفية (CNNs)، تستخدم المحولات آلية تعرف بالاهتمام الذاتي لمعالجة البيانات.

الميزات الرئيسية للمحولات

• آلية الانتباه الذاتي: هذه تتيح للنموذج أن يقيم أهمية الكلمات المختلفة بالنسبة لبعضها البعض في الجملة. على سبيل المثال، في الجملة "القط يجلس على السجادة"، يمكن للنموذج أن يتعرف على أن "القط" و"يجلس" مرتبطتان ارتباطًا وثيقًا أكثر من "القط" و"على".
• ترميز المواقع: المحولات لا تفهم بطبيعتها ترتيب الكلمات. للتغلب على ذلك، يتم إضافة ترميزات المواقع إلى تمثيلات الإدخال، مما يساعد النموذج على تحديد موقع كلمة في جملة.
• الهيكل المتعدد الطبقات: يتكون المحول من مشفر ومفكك تشفير، كل منهما يتكون من عدة طبقات. يقوم المشفر بمعالجة بيانات الإدخال، بينما يقوم المفكك بتوليد بيانات الإخراج، مما يجعله مفيدًا بشكل خاص في مهام مثل الترجمة.

كيف تعمل المحولات

لفهم كيفية عمل المحولات، دعونا نفكك المكونات التي تشكل هذه الهندسة:

1. تمثيلات الإدخال

تبدأ المحولات بتمثيلات الإدخال، التي تحول الكلمات إلى متجهات. يتم تمثيل كل كلمة في المفردات كمتجه عالي الأبعاد، يلتقط المعنى الدلالي بناءً على السياق.

2. الانتباه الذاتي

آلية الانتباه الذاتي هي قلب هندسة المحول. تقوم بحساب درجة لكل كلمة بالنسبة لكل كلمة أخرى في تسلسل الإدخال. تحدد هذه الدرجات مدى تركيز النموذج على كل كلمة عند توليد الإخراج. يتم حساب درجات الانتباه باستخدام ثلاثة متجهات مشتقة من تمثيلات الإدخال: الاستعلام (Query) والمفتاح (Key) والقيمة (Value).

3. الانتباه متعدد الرؤوس

بدلاً من وجود آلية انتباه واحدة، تستخدم المحولات الانتباه متعدد الرؤوس. هذا يعني أنه يتم إنشاء مجموعات متعددة من متجهات الاستعلام والمفتاح والقيمة، مما يسمح للنموذج بالتقاط جوانب مختلفة من العلاقات بين الكلمات في وقت واحد. يتعلم كل رأس التركيز على أجزاء مختلفة من المدخلات، مما يعزز قدرة النموذج على فهم العلاقات المعقدة.