كيف تعمل آلية الانتباه في المحولات؟

مرحبًا يا من هناك! أنا مورد للمحولات ، واليوم سأتحدث عن كيفية عمل آلية الانتباه في أحد المحولات. قد يبدو هذا تقنيًا بعض الشيء ، لكنني سأقوم بتفكيكه بطريقة سهلة الفهم.

لنبدأ بالأساسيات. المحولات هي نوع من بنية الشبكة العصبية التي أحدثت ثورة في مجال معالجة اللغة الطبيعية (NLP) ومناطق أخرى. آلية الانتباه الذاتية هي واحدة من المكونات الرئيسية التي تجعل المحولات قوية للغاية.

ما هو الاهتمام الذاتي؟

الاهتمام الذاتي هو وسيلة للنموذج لوزن أهمية أجزاء مختلفة من تسلسل الإدخال عند معالجته. بعبارات بسيطة ، يساعد النموذج على التركيز على الأجزاء ذات الصلة من الإدخال. تخيل أنك تقرأ مقالًا طويلًا. لا تقرأ كل كلمة بنفس مستوى الاهتمام. قد تولي المزيد من الاهتمام للجمل الرئيسية والعناوين والتفاصيل ذات الصلة. هذا بالضبط ما يفعله الاهتمام الذاتي لنموذج المحولات.

كيف تعمل خطوة بخطوة؟

1. الاستعلام والمفتاح والقيمة ناقلات القيمة

تتمثل الخطوة الأولى في آلية الانتباه الذاتي في إنشاء ثلاثة أنواع من المتجهات لكل عنصر في تسلسل الإدخال: الاستعلام (Q) والمفتاح (K) والقيمة (V). يتم إنشاء هذه المتجهات عن طريق ضرب تضمينات المدخلات بثلاثة مصفوفات وزن مختلفة.

دعنا نقول أن لدينا تسلسل إدخال من الكلمات ، ويتم تمثيل كل كلمة كناقل. نحن نضاعف متجهات الإدخال هذه بواسطة مصفوفات الوزن (W_Q) ، (W_K) ، و (W_V) للحصول على متجهات الاستعلام والمفتاح والقيمة على التوالي.

[q = xw_q]
[k = xw_k]
[v = xw_v]

هنا ، (x) هي مصفوفة تضمينات الإدخال.

2. حساب درجات الانتباه

بعد ذلك ، نحسب درجات الانتباه. نقوم بذلك عن طريق أخذ منتج DOT الخاص بمتجهات الاستعلام مع متجهات رئيسية. يقيس منتج DOT التشابه بين الاستعلام والمفاتيح.

لكل متجه استعلام (q_i) في التسلسل ، نقوم بحساب درجات الانتباه (A_ {i ، j}) مع جميع متجهات المفاتيح (k_j) في التسلسل.

[a_ {i ، j} = q_i \ cdot k_j]

تخبرنا هذه الدرجات بمقدار (I) - Th في التسلسل يجب أن ينتبه إلى العنصر (J) -.

3. التحجيم والرمح

ثم يتم تحجيم درجات الانتباه عن طريق تقسيمها على الجذر التربيعي لبعد ناقلات المفاتيح ((\ sqrt {d_k})). يساعد هذا التحجيم على منع الحصول على منتجات DOT كبيرة جدًا ، مما قد يتسبب في عدم استقرار التدرجات أثناء التدريب.

[a_ {i ، j}^{scaled} = \ frac {a_ {i ، j}} {\ sqrt {d_k}}]

بعد التحجيم ، نطبق وظيفة softmax على الدرجات المقيسة. تقوم وظيفة SoftMax بتحويل الدرجات إلى احتمالات ، بحيث تصل إلى 1.

[\ alpha_ {i ، j} = \ frac {\ exp (a_ {i ، j}^{scaled})} {\ sum_ {k = 1}^{n} \ exp (a_ {i ، k}^{scaled})}]

هنا ، (\ alpha_ {i ، j}) هو وزن الانتباه ، والذي يمثل أهمية العنصر (j) - th إلى العنصر (i) - th.

4. مجموع القيم الموزون

أخيرًا ، نحسب ناتج آلية الانتباه الذاتي عن طريق أخذ مجموع مرجح من ناقلات القيمة. نضاعف كل متجه قيمة (V_J) من خلال وزن الانتباه المقابل (\ alpha_ {i ، j}) ونلخصها للجميع (j).

[o_i = \ sum_ {j = 1}^{n} \ alpha_ {i ، j} v_j]

ناقلات الإخراج (O_I) هي إخراج آلية الانتباه الذاتي لكل عنصر في تسلسل الإدخال.

لماذا الانتباه - الانتباه مهم؟

آلية الانتباه الذاتية لها العديد من المزايا. أولاً ، يسمح للنموذج بالتقاط تبعيات طويلة المدى في تسلسل الإدخال. في بنيات الشبكات العصبية التقليدية مثل الشبكات العصبية المتكررة (RNNs) ، من الصعب التقاط التبعيات بين العناصر المبعثرة في التسلسل. يمكن أن يتعامل الاهتمام الذاتي بسهولة مع مثل هذه التبعيات طويلة المدى لأنه يمكن أن يحسب مباشرة العلاقة بين أي عنصرين في التسلسل.

ثانياً ، الاهتمام الذاتي قابل للتوازي. على عكس RNNs ، التي تعالج تسلسل الإدخال بالتتابع ، يمكن أن يعالج الانتباه الذاتي جميع العناصر في التسلسل في وقت واحد. هذا يجعل التدريب والاستدلال أسرع بكثير ، خاصة بالنسبة للتسلسلات الطويلة.

تطبيقات المحولات والاهتمام الذاتي

تم استخدام المحولات ذات آليات الانتباه الذاتية في مجموعة واسعة من التطبيقات. في NLP ، يتم استخدامها في مهام مثل الترجمة الآلية ، وتوليد النص ، والأسئلة - الإجابة على أنظمة ، وتحليل المشاعر. على سبيل المثال ، تعتمد نماذج مثل Bert و GPT على بنية المحولات.

في رؤية الكمبيوتر ، تم تطبيق الاهتمام الذاتي أيضًا. يمكن استخدامه لتحليل الصور ، واكتشاف الكائنات ، وإنشاء التسميات التوضيحية للصور.

منتجات المحولات لدينا

كمورد محول ، نقدم مجموعة متنوعة من المحولات عالية الجودة. على سبيل المثال ، لدينا167 كيلو فولت أمبير محول قطب الهاتف، وهو مناسب للتطبيقات الخارجية ويمكن أن يوفر إمدادات طاقة موثوقة. ملكنامحول الخسارة المنخفضة للنفطتم تصميمه لتقليل فقدان الطاقة ولديه عمر خدمة طويل. وإذا كنت بحاجة إلى محول جاف ، لدينامحول جاف 400 كيلو فولت أمبيرهو خيار رائع ، مع ميزات أداء وسلامة ممتازة.

إذا كنت مهتمًا بمنتجاتنا أو لديك أي أسئلة حول المحولات ، فلا تتردد في الاتصال بنا للحصول على مفاوضات شراء. نحن هنا لتزويدك بأفضل الحلول لاحتياجات الطاقة الخاصة بك.

مراجع

• Vaswani ، A. ، Shazer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). الاهتمام هو كل ما تحتاجه. التقدم في أنظمة معالجة المعلومات العصبية.
• Devlin ، J. ، Chang ، MW ، Lee ، K. ، & Toutanova ، K. (2018). بيرت: قبل تدريب محولات ثنائية الاتجاه العميقة لفهم اللغة. Arxiv preprint Arxiv: 1810.04805.
• Radford ، A. ، Wu ، J. ، Child ، R. ، Luan ، D. ، Amodei ، D. ، & Sutskever ، I. (2019). نماذج اللغة هي متعلمين غير خاضعين للإشراف على المهام المتعددة. مدونة Openai ، 1 (8) ، 9.