ترانسفورمر و مکانیزم توجه | Transformer and Attention

شاید بشه گفت ایده transformer ها که تو مقاله Attention is all you need‌ اومده، از جذابترین و پرکاربردترین معماری‌های شبکه عصبی بودن تا جایی که اکثر مدلهای زبانی بزرگی که امروز میشناسیم از جمله ChatGPT و حتی بخش عمده ای از کاربردهای پردازش تصویر و ویدیو از این معماری استفاده میکنن. تو این ویدیو بیشتر میخواستم با ساختار و جزییات این مدل آشنا بشیم و اگر دیدم که این بحث میتونه جذاب باشه براتون توی ویدیوهای بعدی بریم برای پیاده سازی های مدل های بر پایه transformer ها و این ایده ها رو نزدیک کنیم به محصول نهایی.
مقاله Attention:
arxiv.org/pdf/1706.03762
دسترسی به ویدیوهای سایر نتورکها:
Alex Net
• مقاله شبکه عصبی الکس ن...
ResNet
• مقاله شبکه عصبی رزنت |...
VGGNet
• دیپ لرنینگ | VGGNet یا...
GoogleNet
• دیپ لرنینگ | گوگل نت و...
EfficientNet
• دیپ لرنینگ | Efficient...
U-Net
• مقاله شبکه عصبی یونت |...
آدرس کانال‌های ارتباطی:
بلاگ مقالات به روز حوزه: ctdrs.ir/ds1111
وبسایت دپارتمان علم داده: cafetadris.com/datascience
کانال تلگرام تخصصی علم داده: @dslanders
id تلگرام من: @rezashokrzad

[@mp-rk4db]

Great💫

[@alizareikashan]

موفق باشید

[@faymelari3494]

ممنون استاد از آموزش جذابتون. خسته نباشید. ✋

[@marziyefathi8769]

ممنون استاد ، بسیار عالی

[@mehdighorbani5458]

بسیار عالی...ممنون

[@alirezaahmadi5018]

ممنون استاد شکرزاد عزیز. خیلی عالی بودش.

[@mostafas-kq2mm]

عالی

[@abbasseifossadat1857]

خیلی عالی بود استاد ممنون🙌

[@HadiPirhosseinlou]

خیلی ممنون

[@mahtablatifpour]

👏👍🌻

[@ronakfatahi1058]

عالی بود ❤

[@user-rp4hv1hd5y]

🙏🙏

[@MehranBahram-dg8gd]

🙏🙏💎

[@hojjatm-fu7bc]

آقای شکرزاد به چه نحوی میتونم باشما ارتباط بگیرم ؟ در خصوص یه پژوهش شدیدن نیازمند راهنمایی و تجربه شما تو این زمینه هستم

[@SomayyehRahimi-ds8tu]

خیلی مفید و آموزنده بود. ممنون برای انتخاب موضوعات به روز و توضیح شفافشون. این روش برای داده های text استفاده میشه. آیا میشه از این روش برای داده های time series (مثلا پیش بینی هوا و..) استفاده کرد؟

[@RezaShokrzad]

کلا مناسب آنالیز هر داده‌ sequntial از جمله تایم سریز و تکست هستش. تا جایی که دیدم مدل پری ترین برای پیش بینی هوا به طور خاص روی هاگینگ فیس نیست ولی میتونی از مدل climateformer که ترکیب climate و اون تیکه فورمرش از ترنسفورمر اومده رو چک کنی

[@AliGhaderian-e2z]

ممنون. قسمتی که خروجی positional encoding هست و میره به multi head attention چطور انجام میگیره؟ تبدیل به k,q,v میشه؟ k,q,v اول کار چه مقادیری هستن؟

[@RezaShokrzad]

۱. ترکیب پوزیشنال و input encoding با هم ضرب میشن توی سه تا ماتریس کویری، کی و ولیوو
۲. این سه تا ماتریس‌ از قبل بر اساس ابعاد پیش فرض که همون d_k و…. تعریف شدن. چیزی تبدیل نمیشه. خودمون تعریفشون کردیم
۳. مقادیر اولیه هر سه تا رندمه ( معمولا از یه initializer معروفی مثل Glorot یا He استفاده میکنن)

[@DownloadGooglePlay-z1f]

اگه یک ویدئو از پیاده سازی هم باشه عالی تر میشه .