یادگیری بازنمایی Representation Learning چیست؟

زمان تخمینی مطالعه: 6 دقیقه

یادگیری بازنمایی فرآیندی است که داده‌های خام را به الگوهای قابل درک برای یادگیری ماشین ساده می‌کند. این نوع یادگیری قابلیت تفسیر را افزایش می‌دهد، ویژگی‌های پنهان را آشکار می‌کند و به یادگیری انتقال کمک می‌کند. داده‌ها به شکل خام (کلمات و حروف در متن، پیکسل‌ها در تصاویر) برای ماشین‌ها پیچیده‌تر از آن است که مستقیماً پردازش شوند. یادگیری بازنمایی داده‌ها را به نمایشی تبدیل می‌کند که ماشین‌ها می‌توانند برای طبقه‌بندی یا پیش‌بینی از آن استفاده کنند. یادگیری عمیق، زیرمجموعه‌ای ازکاربردهای یادگیری ماشین در دو دهه گذشته انقلابی به پا کرده است. این موفقیت یادگیری عمیق به شدت به پیشرفت‌های ایجاد شده در Representation Learning متکی است. پیش از این، مهندسی ویژگی‌های دستی قابلیت‌های مدل را محدود می‌کرد، زیرا به تخصص و تلاش گسترده برای شناسایی ویژگی‌های مرتبط نیاز داشت. در حالی که یادگیری عمیق استخراج این ویژگی را خودکار کرد.

تاریخچه یادگیری بازنمایی

امروزه یادگیری ارائه(Representation Learning) پیشرفت چشمگیری داشته است. کشف موفقیت‌آمیز هینتون و همکارانش در سال 2006 نقطه‌ی مهمی است و تمرکز یادگیری بازنمایی را به سمت معماری‌های یادگیری عمیق تغییر می‌دهد. در ادامه یک مرور سریع از جدول زمانی یادگیری بازنمایی آورده شده است:

• تکنیک‌های سنتی (قبل از سال 2000):
  • روش‌های خطی(Linear Methods): این متدهای شامل PCA است که بر گرفتن واریانس کلی داده برای کاهش ابعاد تمرکز دارد و همچنین از LDA کمک می‌گیرد که بر به حداکثر رساندن جدایی بین طبقات در فضای کم بعدی تأکید دارد.
  • هسته Kernal: محققان تکنیک‌هایی مانند Kernel PCA را برای مدیریت داده‌های غیرخطی با نمایش داده‌ها در فضایی با ابعاد بالاتر قبل از اعمال روش‌های خطی ایجاد کردند.
  • یادگیری چندگانه (Manifold Learning): این رویکرد برای کشف ساختار ذاتی با ابعاد پایین (منیفولد) پنهان در داده‌های با ابعاد بالا پدیدار شد.
• عصر یادگیری عمیق (2006 به بعد):
  • شبکه‌های عصبی: معرفی شبکه‌های عصبی عمیق توسط هینتون و همکاران. در سال 2006 نقطه عطفی بود. مدل‌های شبکه عصبی عمیق می‌توانند نمایش‌های پیچیده و سلسله مراتبی داده‌ها را از طریق چندین لایه بیاموزند. به عنوان مثال، CNN، RNN، رمزگذار خودکار، و ترانسفورماتور.

بازنمایی خوب چیست؟

یک بازنمایی خوب سه ویژگی اساسی اطلاعات، فشردگی و تعمیم را دارد که در ادامه بررسی می‌گردد:

• اطلاعات: نمایش ویژگی‌های مهم داده‌ها را در یک فرم فشرده رمزگذاری می‌کند.
• فشردگی:
  • ابعاد کم: نمایش‌های ادغامی از داده‌های خام باید بسیار کوچکتر از ورودی اصلی باشد. این موضوع امکان ذخیره‌سازی و بازیابی کارآمد را فراهم می‌کند و همچنین نویز از داده‌ها را حذف می‌کند و به مدل اجازه می‌دهد بر روی ویژگی‌های مرتبط تمرکز کند و سریع‌تر همگرا شود.
  • اطلاعات ضروری را حفظ می‌کند: با وجود ابعاد پایین‌تر، نمایش ویژگی‌های مهمی را حفظ می‌کند. این تعادل بین کاهش ابعاد و حفظ اطلاعات ضروری است.
• تعمیم (یادگیری انتقال): هدف اصلی یادگیری بازنمایی‌های همه کاره برای یادگیری انتقالی(Transfer) است، که با یک مدل از پیش آموزش دیده شروع می‌شود (مدل‌های بینایی کامپیوتر اغلب ابتدا در ImageNet آموزش داده می‌شوند) و سپس تنظیم دقیق آن برای کارهای خاص که به داده‌های کمتری نیاز دارند انجام می‌شود.

یادگیری عمیق برای یادگیری بازنمایی

شبکه‌های عصبی عمیق مدل‌های یادگیری بازنمایی هستند. آنها اطلاعات ورودی را در نمایش‌های سلسله مراتبی رمزگذاری می‌کنند و آن را در زیرفضاهای مختلف پخش می‌کنند. سپس این زیرفضاها از یک طبقه‌بندی خطی عبور می‌کنند که عملیات طبقه‌بندی را انجام می‌دهد. وظایف یادگیری عمیق را می‌توان به دو دسته تقسیم کرد: یادگیری با نظارت و یادگیری بدون ناظر. در این ساختار عامل تعیین کننده استفاده از داده‌های برچسب‌گذاری شده است.

کاربردهای یادگیری بازنمایی

این روش یادگیری دارای کاربردهای فراوانی در بینایی کامپیوتر، پردازش زبان طبیعی، پردازش صدا و گفتار و همچنین در سلامت دارد.

• بینایی کامپیوتر:
  • استخراج ویژگی: در تکنیک‌های بینایی کامپیوتر سنتی، استخراج ویژگی یک فرآیند دستی بود، با این حال مدل‌های مبتنی بر یادگیری عمیق مانند CNN استخراج ویژگی را ساده‌تر کردند. CNN ها و Autoencoder ها به تنهایی تشخیص لبه، تحلیل بافت یا هیستوگرام رنگ را انجام می‌دهند.
  • تعمیم و یادگیری انتقال(Transfer): یادگیری بازنمایی ایجاد مدل‌های قوی مانند YOLO و EfficientNet را برای تشخیص اشیاء و تقسیم‌بندی معنایی تسهیل کرده است.
• پردازش زبان طبیعی (NLP):
  • مدل‌های زبان: مدل‌های NLP مانند BERT و GPT از یادگیری بازنمایی برای درک زمینه و معنایی کلمات در جملات استفاده می‌کنند و به طور قابل‌توجهی عملکرد در کارهایی مانند طبقه‌بندی متن، تجزیه و تحلیل احساسات، ترجمه ماشینی و پاسخ‌گویی به سؤال را بهبود می‌بخشند.
  • جاسازی کلمات: تکنیک‌هایی مانند Word2Vec و GloVe نمایش‌های برداری متراکم کلمات را بر اساس اطلاعات همزمان آنها یاد می‌گیرند، شباهت معنایی را به تصویر می‌کشند و عملکرد بهبود یافته را در تقریباً همه وظایف NLP ممکن می‌سازند.
• پردازش صدا و گفتار:
  • تشخیص گفتار: تشخیص گفتار از یادگیری بازنمایی برای تبدیل شکل موج‌های صوتی خام به ویژگی‌های آموزنده استفاده می‌کند. این ویژگی‌ها ماهیت آوایی و زبان را در بر می‌گیرند و در نهایت تبدیل دقیق گفتار به متن را ممکن می‌سازند.
  • تولید موسیقی: مدل‌ها بازنمایی الگوهای موسیقی را یاد می‌گیرند و سپس قطعات موسیقی جدیدی تولید می‌کنند که از نظر سبک با داده‌های آموزشی سازگار است.
• بهداشت:
  • تشخیص بیماری: یادگیری ارائه ویژگی‌های معنی‌داری را از تصاویر پزشکی (مانند اشعه ایکس و MRI) یا پرونده‌های سلامت الکترونیکی استخراج می‌کند و به تشخیص بیماری‌هایی مانند سرطان کمک می‌کند.
  • ژنومیک: یادگیری بازنمایی توالی‌های ژنتیکی به درک عملکرد ژن، پیش‌بینی سطوح بیان ژن و شناسایی نشانگرهای ژنتیکی مرتبط با بیماری‌ها کمک می‌کند.