فهم معمارية المحولات بلغة بسيطة

لقد أحدثت المحولات ثورة في مجال الذكاء الاصطناعي (AI)، وخاصة في معالجة اللغة الطبيعية (NLP). هذه النماذج هي العمود الفقري للعديد من أنظمة الذكاء الاصطناعي المتقدمة، بما في ذلك نماذج اللغة الكبيرة (LLMs) التي تولد النص وتفهم اللغة البشرية. لكن ما هي بالضبط معمارية المحول، وكيف تعمل؟ يتناول هذا المقال مفاهيم المحولات المعقدة في أقسام سهلة الفهم.

صعود المحولات

قبل ظهور معمارية المحولات في عام 2017، كانت معظم مهام NLP تعتمد على الشبكات العصبية التكرارية (RNNs) والشبكات العصبية ذات الذاكرة طويلة وقصيرة الأمد (LSTMs). على الرغم من أن هذه الطرق كانت فعالة، إلا أنها واجهت صعوبات في الاعتماديات طويلة المدى في النص. أدت إدخال المحولات إلى تغيير كبير في كيفية معالجة الذكاء الاصطناعي للغة، مما مكن النماذج من فهم السياق بشكل أفضل وتوليد مخرجات أكثر اتساقًا.

النقاط الرئيسية:

• ظهرت المحولات في عام 2017 وحولت مهام معالجة اللغة الطبيعية.
• إنها تعالج قيود الشبكات العصبية التكرارية وLSTMs، خاصة مع الاعتماديات طويلة المدى.
• تتيح المعمارية معالجة فعالة بالتوازي.

ما هو المحول؟

في جوهره، المحول هو نوع من معمارية الشبكات العصبية مصممة للتعامل مع البيانات التسلسلية، مثل النص. على عكس الشبكات العصبية التكرارية التي تعالج البيانات بشكل تسلسلي، تقوم المحولات بتحليل المدخلات بالكامل في آن واحد. هذه القدرة على المعالجة بالتوازي تعجل بشكل كبير أوقات التدريب والاستنتاج.

تتكون المحولات من مكونين رئيسيين: المُشفر والمُفكك. يقوم المُشفر بمعالجة بيانات الإدخال، بينما يقوم المُفكك بتوليد المخرجات. تستخدم كلا المكونين طبقات من آليات الانتباه الذاتي، التي تسمح للنموذج بوزن أهمية كل كلمة في جملة بالنسبة إلى الآخرين.

النقاط الرئيسية:

• تستخدم المحولات هيكل المُشفر-المُفكك.
• تعالج البيانات الداخلة بالتوازي، بخلاف الشبكات العصبية التكرارية.
• تختلف آليات الانتباه الذاتي في أهمية السياق.

آلية الانتباه الذاتي

الانتباه الذاتي هو جوهر معمارية المحول. إنه يمكّن النموذج من التركيز على الكلمات المختلفة داخل جملة عند إنتاج مخرجات. على سبيل المثال، في الجملة "القط جلس على السجادة"، يسمح الانتباه الذاتي للنموذج بفهم أن "قط" و"جلس" مرتبطان ارتباطًا وثيقًا، على الرغم من أنهما مفصولان بكلمات أخرى.

يعمل هذا الآلية من خلال إنشاء مجموعة من درجات الانتباه التي تحدد مقدار التركيز الذي يجب أن تتلقاه كل كلمة بالنسبة إلى الآخرين. يتم حساب هذه الدرجات باستخدام ثلاثة متجهات لكل كلمة: الاستعلام، المفتاح، والقيمة. من خلال ضرب هذه المتجهات، يمكن للنموذج اشتقاق تمثيل مدرك للسياق لكل كلمة.