یادگیری نیمه نظارتی Semi-Supervised Learning چیست؟

زمان تخمینی مطالعه: 7 دقیقه

یادگیری نیمه نظارتی شاخه‌ای از یادگیری ماشینی است که تلاش می‌کند مشکلاتی را حل کند که به داده‌های برچسب‌دار و بدون برچسب برای آموزش مدل‌های هوش مصنوعی نیاز دارند یا شامل آن می‌شوند. یادگیری نیمه نظارتی از مفاهیم ریاضیات، مانند ویژگی‌های هر دو روش خوشه‌بندی و طبقه‌بندی استفاده می‌کند. یادگیری نیمه نظارتی به دلیل در دسترس بودن بالای نمونه‌های بدون برچسب و برچسب‌زدن شده در مجموعه داده‌های بزرگ با حداکثر دقت، روشی قابل استفاده است. علاوه بر این، روش‌های یادگیری نیمه‌نظارتی اجازه می‌دهند تا اطلاعات متنی داده‌شده توسط نمونه‌های برچسب‌گذاری شده را به مجموعه داده‌های بدون برچسب بزرگ‌تر بدون از دست دادن دقت قابل‌توجه بسط دهند.

چه زمانی از یادگیری نیمه نظارتی استفاده کنیم؟

یادگیری ماشین نیمه نظارتی در سناریوهای مختلفی (بینایی کامپیوتر، پردازش زبان طبیعی و غیره) که در آن داده‌های برچسب‌دار کمیاب یا گران است، مفید است. به عنوان مثال، در تصویربرداری پزشکی، حاشیه‌نویسی دستی یک مجموعه داده بزرگ می‌تواند زمان بر و پرهزینه باشد. در چنین مواردی، استفاده از مجموعه کوچک‌تری از داده‌های برچسب‌گذاری‌شده در ترکیب با مجموعه بزرگ‌تری از داده‌های بدون برچسب می‌تواند منجر به بهبود عملکرد مدل در مقایسه با استفاده از تنها داده‌های برچسب‌دار شود.

علاوه بر این، یادگیری نیمه نظارتی زمانی می‌تواند مفید باشد که کار جاری به مقدار زیادی داده برای آموزش یک مدل با دقت بالا نیاز دارد. این به این دلیل است که به مدل اجازه می‌دهد تا از مقدار بیشتری داده یاد بگیرد، حتی اگر همه آنها برچسب‌گذاری نشده باشند. در اینجا موارد استفاده رایج از یادگیری ماشین نیمه نظارتی آورده شده است:

• طبقه‌بندی تصاویر: زمانی که وظیفه طبقه‌بندی تصاویر به کلاس‌های مختلف است، می‌توان از یادگیری نیمه نظارتی برای بهبود عملکرد مدل استفاده کرد.
• تشخیص اشیاء: زمانی که هدف شناسایی اشیاء در داده‌های تصویری یا ویدیویی است، می‌توان از یادگیری نیمه نظارتی برای افزایش عملکرد مدل یادگیری عمیق استفاده کرد.
• بخش‌بندی تصویر: یادگیری نیمه نظارتی می‌تواند در بخش‌بندی تصویر برای بهبود مدل‌هایی استفاده شود که هر پیکسل در یک تصویر را در یکی از چندین کلاس از پیش تعریف شده طبقه‌بندی می‌کند.
• تشخیص ناهنجاری: در تشخیص الگو می‌توان از یادگیری نیمه نظارتی برای انجام مشاهداتی استفاده کرد که با رفتار مورد انتظار مطابقت ندارند.
• Imputation داده: مورد استفاده دیگر شامل مدل‌هایی است که هدف آنها پر کردن مقادیر از دست رفته یا تخمین مقادیر مجهول است.

تکنیک‌های رایج یادگیری نیمه نظارتی چیست؟

برخی از تکنیک‌های رایج مورد استفاده در یادگیری نیمه نظارتی شامل خودآموزی، آموزش مشترک و یادگیری چند دیدگاهی است.

• خودآموزی Self-training: شامل آموزش یک مدل بر روی داده‌های برچسب‌دار و سپس استفاده از آن برای برچسب‌گذاری داده‌های بدون برچسب است. سپس داده‌های برچسب‌گذاری‌شده با داده‌های برچسب‌گذاری‌شده جدید جایگزین می‌شوند و این فرآیند تا زمان همگرایی تکرار می‌شود. از این تکنیک می‌توان برای کارهای مختلفی از جمله طبقه‌بندی تصویر، پردازش زبان طبیعی و تشخیص ناهنجاری استفاده کرد.
• آموزش مشترک Co-training: مستلزم آموزش دو مدل در نماهای مختلف داده‌ها و سپس استفاده از آنها برای برچسب‌گذاری داده‌های بدون برچسب است. از طریق افزایش داده‌ها، داده‌های حاشیه‌نویسی را می‌توان گسترش داد، فرآیندی که تا زمان همگرایی تکرار می‌شود. این تکنیک به ویژه زمانی مفید است که داده‌ها دارای نمایش‌های متعددی مانند متن و تصویر باشند.
• یادگیری چند نما Multi-view learning: آموزش مدلی است که می‌تواند از چندین نما از داده‌های متن یا تصویر استفاده کند. این مدل یاد می‌گیرد که از اطلاعات تکمیلی موجود در نماهای مختلف برای بهبود عملکرد استفاده کند.
• یادگیری چند وظیفه‌ای Multi-task learning: برای یادگیری چندین کار مرتبط به طور همزمان، با هدف استفاده از اطلاعات به اشتراک گذاشته شده در بین وظایف برای بهبود عملکرد استفاده می‌شود.
• شبکه‌های متخاصم مولد (GAN): دسته‌ای از مدل‌ها هستند که می‌توانند برای یادگیری نیمه نظارتی استفاده شوند. GAN ها از آموزش یک مولد برای تولید نمونه‌های جدید که مشابه نمونه‌های برچسب‌گذاری شده هستند و از یک تمایز برای تمایز بین نمونه‌های برچسب‌دار و تولید شده استفاده می‌کنند.

سناریوی نیمه نظارتی

• تعریف سناریو: سناریوی نیمه نظارتی چگونه تعریف می‌شود؟ چگونه این تعریف آن را از سایر سناریوهای داده متمایز می‌کند؟ در یک رویکرد کاملاً نظارتی، می‌توانیم به یک مجموعه داده کاملاً برچسب‌گذاری شده تکیه کنیم، در حالی که ما فقط تعداد محدودی نقطه داده در یک رویکرد نیمه نظارتی داریم. در حالی که فرض می‌شود نمونه آموزشی در روش‌های دیگر به طور یکنواخت ترسیم می‌شود، این مورد برای روش‌های یادگیری ماشین نیمه نظارتی صادق نیست. زمینه(Context) روش‌های یادگیری نیمه نظارتی به جای آن با اتحاد دو مجموعه داده شده با داده‌های غیر یکنواخت تعریف می‌شود.
• مجموعه داده مدل نیمه نظارتی: مدل‌های نیمه‌نظارتی دارای یک مجموعه داده برچسب‌دار و بدون برچسب هستند، در حالی که مجموعه داده بدون برچسب توزیعی دارد که از نظر تعادل بین کلاس‌ها تفاوت چشمگیری با مجموعه داده برچسب‌گذاری شده ندارد. نمونه‌های بدون برچسب در مجموعه داده‌های یادگیری نیمه نظارتی به طور تصادفی و بدون هیچ ارتباطی با توزیع برچسب گم می‌شوند. به عنوان مثال، ما نمی‌توانیم 10 درصد از مجموعه داده را از یک کلاس تشکیل دهیم در حالی که بقیه متعلق به کلاس دیگر است. به طور کلی هیچ محدودیتی در تعداد نقاط داده در میان مجموعه داده‌ها وجود ندارد. با این حال، مشکلات نیمه نظارتی اغلب زمانی به وجود می‌آیند که تعداد نقاط بدون برچسب در محدوده‌ای بزرگتر از تعداد نقاط داده در مجموعه برچسب‌دار باشد. پیچیدگی ناشی از استفاده از مدل‌های نیمه نظارتی در مقابل مدل‌های با نظارت زمانی توجیه می‌شود که تعداد نقاط داده مجموعه برچسب‌گذاری‌شده کمتر از مقدار داده‌های بدون برچسب باشد. این یک شرایط رایج است زیرا اکثر مجموعه‌های داده موقعیتی را تشکیل می‌دهند که در آن مقدار زیادی داده بدون برچسب و مجموعه کوچکی از داده‌های برچسب‌دار وجود دارد. این به این دلیل است که مجموعه داده‌های بزرگ، دقیق و با حاشیه‌نویسی دقیق می‌تواند گران باشد و شامل زیرمجموعه‌های محدودی از امکانات برای کلاس‌ها و تنوع باشد.
• یادگیری انتقالی Transductive learning: یادگیری انتقالی به رویکردی اشاره دارد که زمانی که یک مدل نیمه نظارتی به دنبال یافتن برچسب‌هایی برای نمونه‌های بدون برچسب است، استفاده می‌شود. در یادگیری انتقالی، به جای اینکه به مدل‌سازی کل توزیع p(y|x) علاقه‌مند باشیم (احتمال y با داده x)، ما فقط به یافتن توزیع نقاط بدون برچسب علاقه‌مندیم. یادگیری انتقالی می‌تواند در زمان صرفه‌جویی کند و زمانی ارجح است که هدف به سمت بهبود دانش ما در مورد مجموعه داده بدون برچسب باشد. با این حال، از آنجایی که این سناریو نشان می‌دهد که دانش مجموعه داده برچسب‌گذاری‌شده می‌تواند دانش ما را از مجموعه داده بدون برچسب بهبود بخشد، برای فرآیندهای عادی ایده‌آل یا قابل استفاده نیست.
• یادگیری استقرایی Inductive Learning: یادگیری استقرایی تمام نقاط داده را در نظر می‌گیرد و سعی می‌کند یک تابع کامل را تعیین کند که در آن y = f(x) می‌تواند نقاط داده برچسب‌دار و بدون برچسب را به برچسب‌های آینده خود ترسیم کند. این روش پیچیده‌تر از یادگیری انتقالی است و به طور متناسب به زمان محاسباتی بیشتری نیاز دارد.