ثبت تصویر Image Registration و کاربردهای آن

زمان تخمینی مطالعه: 11 دقیقه

در بسیاری از برنامه‌های بینایی کامپیوتری (مانند ردیابی اشیاء و تصویربرداری پزشکی) نیاز به تراز کردن دو یا چند تصویر از یک شی (یا صحنه) از دیدگاه‌ها با زاویه‌های مختلف، در زمان‌های مختلف یا در شرایط مختلف وجود دارد. الگوریتم‌های ثبت تصویر(Image Registration) در عمل یک تصویر داده شده (تصویر مرجع) را به تصویر دیگری (تصویر هدف) تبدیل می‌کنند تا از نظر هندسی کاملا تراز شوند. این تنظیم موقعیت تصاویر در کاربردهای متنوعی مانند ترکیب تصویر، دید استریو، ردیابی اشیاء و تجزیه و تحلیل تصویر پزشکی مورد نیاز است.

ثبت تصویر چیست؟

ثبت تصویر فرآیندی است که تبدیلات فضایی و مکانی را انجام داده و مجموعه‌ای از تصاویر را با یک چارچوب رصدی مرجع مشترک(یک تصویر انتخاب شده از مجموعه) تراز می‌کند. Image Registration یک مرحله مهم در حوزه پردازش تصویر است که در آن منابع داده‌های مختلف باید با هم ترکیب شوند. در فرآیند ثبت تصویر، دو وضعیت آشکار است:

• این روش از یک تبدیل 3 بعدی برای عکس‌ها در مجموعه مربوط به تصویر انتخاب شده به عنوان مرجع استفاده می‌کند.
• این زمان‌برترین مرحله اجرای الگوریتم است و نمی‌توان نتیجه ثبت تصویر را از قبل تعیین کرد.

ثبت تصویر اغلب برای تراز کردن تصویر از منابع مختلف دوربین در عکاسی پزشکی و ماهوارهای استفاده می‌شود. این موضوع از دو طریق قابل تحقق و دستیابی است:

• ثبت تصویر به تصویر: چندین تصویر با هم تراز می‌شوند، به طوری که پیکسل‌های منطبق که نمایانگر یک صحنه هستند را می‌توان تعیین کرد.
• ثبت تصویر در نقشه: تصویر ورودی برای مطابقت با اطلاعات نقشه یک تصویر پایه در حالی که وضوح فضایی اصلی خود را حفظ می‌کند، جابه جا می‌شود.

چگونه ثبت تصویر را پیاده‌سازی کنیم؟

روش‌های Image Registration را می‌توان به دو گروه تقسیم کرد: روش‌های مبتنی بر ناحیه و روش‌های مبتنی بر ویژگی. رویکردهای مبتنی بر منطقه زمانی ترجیح داده می‌شوند که تصاویر ویژگی‌های مهم را از دست داده باشند و اطلاعات متمایز توسط رنگ‌های سایه‌دار به جای فرم‌ها و ساختارهای واضح داده شود.

تراز کردن تصویر اولین مرحله ثبت تصویر است و در 4 مرحله انجام می‌شود:

• تشخیص ویژگی Feature detection: یک متخصص دامنه، اشیاء متمایز (لبه‌ها، خطوط، مرزهای خطوط، گوشه‌ها، و غیره) را هم در تصاویر مرجع و هم در تصاویر بررسی شده تشخیص می‌دهد.
• تطبیق ویژگی Feature matching: همبستگی بین ویژگی‌های موجود در تصاویر مرجع و هدف را مشخص می‌کند. تطبیق بر روی محتوای تصویر یا توصیف نمادین مجموعه نقطه کنترل انجام می‌شود.
• تعیین مدل تبدیل: پارامترها، یعنی توابع نقشه‌برداری یا سیستم‌های مختصات محاسبه می‌شوند که تصویر شناسایی شده را با تصویر مرجع تراز می‌کنند.
• نمونه‌برداری مجدد و تبدیل تصویر: تصویر شناسایی شده با اعمال توابع نگاشت تغییر می‌کند.

تکنیک‌های بینایی کامپیوتری برای ثبت تصویر

در اینجا ما تکنیک‌های رایج برای ثبت تصویر و مزایا یا معایب آنها را بررسی خواهیم کرد:

• روش مبتنی بر پیکسل: این تکنیک از یک روش آماری همبستگی متقابل(cross-correlation) برای ثبت تصویر استفاده می‌کند. این روش بر اساس تطبیق الگو کار می‌کند که مکان و جهت یک الگو را در یک تصویر پیدا می‌کند. همبستگی متقاطع یک معیار تشابه یا یک متریک مطابقت است. تابع همبستگی دو بعدی شباهت هر ترجمه بین مرجع و تصویر بررسی شده را محاسبه می‌کند. اگر الگو با تصویر مطابقت داشته باشد، همبستگی متقاطع در بالای آن قرار خواهد گرفت. اشکالات اصلی رویکرد همبستگی، پیچیدگی پردازش بالا و حداکثر شباهت مسطح (به دلیل خود شباهت تصاویر) است. این روش را می‌توان با پیش پردازش یا اعمال همبستگی لبه یا برداری بهبود بخشید.
• ثبت تصویر مبتنی بر کانتور: این روش از ویژگی‌های آماری قوی برای مطابقت با نقاط ویژگی تصویر استفاده می‌کند. همچنین در این روش از بخش‌بندی تصویر رنگی برای استخراج مناطق مورد نظر از تصاویر استفاده می‌شود. برای تولید کانتور یک تصویر میانگین برای یک مجموعه معین از رنگ‌ها محاسبه می‌شود. در طول فرآیند تقسیم‌بندی، هر پیکسل RGB در یک تصویر به عنوان دارای رنگ یا بدون رنگ در یک محدوده خاص طبقه‌بندی می‌شود. علاوه بر این، فاصله اقلیدسی برای تعیین شباهت محاسبه می‌شود.

این دو مجموعه به صورت تصاویر باینری (سیاه و سفید) کدگذاری می‌شوند. از فیلتر گاوسی برای حذف نویز استفاده می‌شود زیرا آستانه‌ها تصویر را تار می‌کنند. سپس کانتور تصویر به دست می‌آید. دقت روش کانتور رضایت بخش است، اما یک اشکال دستی و کند بودن آن است.

• روش نگاشت نقطه‌ای: این تکنیک رایج‌ترین روش برای ثبت دو تصویر با ناهماهنگی نامشخص است. این تکنیک از ویژگی‌های تصویر تولید شده از الگوریتم/فرایند استخراج ویژگی استفاده می‌کند. هدف اساسی استخراج ویژگی فیلتر کردن اطلاعات اضافی است. ویژگی‌هایی که در هر دو تصویر وجود دارند و تحمل بیشتری نسبت به اعوجاج‌های موضعی دارند انتخاب می‌شوند. پس از شناسایی ویژگی‌ها در هر تصویر، باید آنها را مطابقت داد.

نقاط کنترل برای تطبیق نقاط در این استراتژی بسیار مهم است. نمونه‌هایی از نقاط کنترل عبارتند از گوشه‌ها، نقاط با بیشترین انحنای محلی، خطوط کانتور، خطوط تقاطع، مراکز قاب‌ها با حداکثر انحنای محلی، و مراکز ثقل مناطق مرزی بسته. محدودیت روش مبتنی بر ویژگی، مرز محتوای فریم است. مشخصات ثبت باید در نواحی مرزی تصویر شناسایی شود. فریم‌ها ممکن است فاقد این ویژگی باشند و انتخاب آنها معمولاً بر اساس ارزیابی محتوای آنها نیست.

• ثبت بر اساس ویژگی: روش تطبیق مبتنی بر ویژگی زمانی می‌تواند استفاده شود که شدت تصویر(image intensities) اطلاعات ساختاری محلی بیشتری را ارائه دهد. مشخصات تصویر تولید شده از تکنیک استخراج ویژگی می‌تواند برای ثبت استفاده شود. این روش ویژگی‌های کلیدی (مانند گوشه‌ها، لبه‌ها یا نقاط مورد علاقه) را بین تصاویر شناسایی و مطابقت می‌دهد. سپس پارامترهای تبدیل بر اساس این ویژگی‌ها محاسبه می‌شوند.

این روش می‌تواند تغییرات در مقیاس، ترجمه و چرخش را کنترل کند، اما در موارد تغییر شکل یا انسداد بزرگ ممکن است با شکست مواجه شود.

روش‌های پیشرفته ثبت تصویر

• ثبت بر اساس شدت: مقادیر شدت(Intensity) پیکسل تصاویر مرجع و بررسی شده را برای محاسبه پارامترهای تبدیل بهینه مقایسه می‌کند. می‌تواند طیف وسیعی از تبدیل‌ها، از جمله اعوجاج‌های غیرخطی را مدیریت کند، اما به نویز حساس است و ممکن است به محاسبات اضافی نیاز داشته باشد.
• ثبت اطلاعات متقابل: وابستگی آماری بین شدت پیکسل دو تصویر را محاسبه می‌کند و به دنبال تحولی است که اطلاعات متقابل را به حداکثر می‌رساند. برای ثبت تصاویر با کنتراست و مدالیته متعدد موثر است، اما از نظر محاسباتی فشرده است.
• ثبت بر اساس یادگیری عمیق: از شبکه‌های عصبی کانولوشن (CNN) برای یادگیری تغییر شکل مستقیم از جفت تصویر استفاده می‌کند. این تکنیک می‌تواند تبدیل‌های پیچیده و مجموعه داده‌های بزرگ را مدیریت کند اما به داده‌های آموزشی اضافی نیاز دارد. همچنین، از نظر محاسباتی در طول فرآیند آموزش گران است.
• ثبت جریان نوری: با حل یک معادله جریان نوری(Optical Flow)، حرکت پیکسل‌ها را بین فریم‌های متوالی تخمین می‌زند. این تکنیک به طور گسترده در تجزیه و تحلیل ویدئو و ردیابی حرکت استفاده می‌شود، اما ممکن است در صحنه‌های پیچیده شکست بخورد. همچنین نسبت به تغییرات نور بسیار حساس است.

کاربردهای ثبت تصویر

تکنیک Image Registration دارای کاربردهایی مهم و حیاتی در علوم مختلف است که در ادامه ذکر می‌گردد:

• Image Fusion: وظیفه Image Fusion ترکیب 2 یا چند تصویر ثبت شده و تولید یک تصویر جدید است که قابل درک‌تر از تصاویر اصلی است. این مفهوم در تصویربرداری پزشکی بسیار مهم است زیرا تصاویر قابل قبول‌تری برای ادراک بصری انسان ایجاد می‌کند. یک تکنیک ساده ترکیبی تصویر، گرفتن میانگین دو عکس ورودی است، اما منجر به کاهش کنتراست ویژگی می‌شود. یک رویکرد بهتر، استفاده از ترکیب تصویر مبتنی بر هرم لاپلاسی است. بهترین تصاویر خروجی ترکیبی را می‌توان بر اساس تبدیل موجک برای هر یک از تصاویر منبع بدست آورد.
• ردیابی شی Object Tracking: الگوریتم ردیابی شی حرکت یک شی را دنبال می‌کند و سعی می‌کند موقعیت آن را در یک ویدیو تخمین بزند (پیش‌بینی کند). نمونه‌ای از چنین الگوریتمی ردیاب مرکزی(centroid tracker) است. فناوری یادگیری عمیق اخیر از شبکه‌های عصبی با مقیاس پارامترهای بزرگ برای پیش‌بینی نقاط ویژگی در تصاویر برای ردیابی اشیاء استفاده می‌کند.
• تصاویر پزشکی: ثبت تصویر پزشکی تلاش می‌کند تا یک تبدیل فضایی بهینه را پیدا کند که به بهترین وجه با ساختارهای آناتومیکی موجود هماهنگ باشد. در بسیاری از کاربردهای بالینی مانند بازسازی تصویر، هدایت تصویر، ردیابی حرکت، تقسیم‌بندی، انباشت دوز و غیره استفاده می‌شود. ثبت تصویر پزشکی موضوعی گسترده است و می‌تواند از دیدگاه‌های مختلف مورد توجه قرار گیرد. از منظر تصویر ورودی، روش‌های ثبت را می‌توان به ثبت نام تک وجهی(unimodal)، چند وجهی(multimodal)، بین بیمار و ثبت درون بیمار تقسیم کرد. از دیدگاه مدل تغییر شکل، روش‌های ثبت به روش‌های سخت(rigid)، affine و تغییر شکل‌پذیر تقسیم می‌شوند. از دیدگاه منطقه مورد علاقه (ROI)، روش‌های ثبت را می‌توان بر اساس سایت‌های تشریحی(anatomical sites)، مانند ثبت مغز، ریه و غیره گروه‌بندی کرد.

محدودیت‌های ثبت تصویر

ثبت تصویر دارای محدودیت‌های خاصی است به قرار زیر:

• انتخاب ویژگی‌ها: انتخاب ویژگی‌های (نقاط کلیدی) مورد استفاده برای ثبت می‌تواند به طور قابل توجهی بر نتایج تأثیر بگذارد. انتخاب ویژگی‌های نامناسب یا ناکافی می‌تواند منجر به عملکرد ضعیف فرآیند ثبت شود.
• حساسیت به نویز: فرآیند ثبت تصویر به نویز در تصاویر بسیار حساس است. داده‌های با نویز بالا می‌توانند باعث ایجاد خطا در محاسبه پارامترهای تبدیل شوند و فرآیند ثبت را تحت تأثیر قرار دهند.
• کاربرد محدود: تکنیک‌های ثبت تصویر برای انواع خاصی از تبدیلات تصویر ایجاد می‌شوند، به عنوان مثال. تبدیلات سخت (ترجمه، چرخش) یا صاف (تغییر شکل).
• حساسیت به حدس اولیه: دقت ثبت به شدت به کیفیت حدسیات اولیه بستگی دارد. مقداردهی اولیه نادرست می‌تواند منجر به نتایج ضعیف شود.
• تغییرات روشنایی (نقطه دید): روش‌های ثبت می‌توانند زمانی که تصاویر تغییرات قابل‌توجهی در شرایط نوری یا دیدگاه‌ها داشته باشند، مواجه شوند.

نتیجه گیری

ثبت تصویر یا Image Registration یک تکنیک مهم برای یکپارچه‌سازی، ادغام و ارزیابی داده‌ها از چندین منبع (حسگرها) است. کاربردهای زیادی در بینایی کامپیوتر، تصویربرداری پزشکی و سنجش از دور دارد. ثبت تصاویر با اعوجاج غیرخطی پیچیده، ثبت چند وجهی، و ثبت تصاویر مسدود شده، به استحکام روش‌های بینایی رایانه‌ای که در سخت‌ترین موارد استفاده می‌شوند، کمک می‌کند.