چالش عکاسی در تاریکی مطلق
شما هم به احتمال زیاد تجربه ثبت عکس در محیطهای بسیار کمنور را داشتهاید؛ نتیجه معمولاً تصویری است که با نویزهای دیجیتالی و دانهدانه شدن پوشانده شده است. این اتفاق زمانی رخ میدهد که حسگر تصویر، نور کافی جذب نمیکند.
شرکتهایی مانند اپل تاکنون برای جبران این نقیصه، از الگوریتمهایی استفاده میکردند که به دلیل ایجاد جلوههای بصری مشابه نقاشی رنگ روغن مورد انتقاد بودند. در این روشها، جزئیات ظریف محو، یا به شکلی غیرطبیعی بازسازی میشوند، که به سختی قابل تشخیص هستند.
ظهور مدل DarkDiff اپل
بر اساس گزارش 9to5mac، محققان اپل و دانشگاه پردو برای حل این مشکل مدلی به نام DarkDiff را در مطالعهای با عنوان “DarkDiff: ارتقای بهبود تصاویر خام در نور کم با بازتعریف مدلهای انتشار برای ISP دوربین” معرفی کردهاند.
به زبان ساده، آنها به جای اعمال هوش مصنوعی در مرحله پسپردازش (Post-processing)، مدل Stable Diffusion را برای درک عمیق جزئیات در نواحی تاریک بازطراحی و آن را به صورت مستقیم در واحد پردازش سیگنال تصویر (ISP) ادغام کردهاند. این سازوکار با تمرکز بر تحلیل بخشهای محلی تصویر، ساختار اصلی را حفظ و از بروز «توهمات بصری» جلوگیری میکند؛ پدیدهای که در آن هوش مصنوعی محتوای تصویر را به کلی تغییر میدهد (مانند تصویر زیر که بازسازی سنتی محتوا را دگرگون کرده است).
در این رویکرد، ISP دوربین همچنان وظایف اولیه مانند تنظیم تراز سفیدی و موزاییکزدایی را انجام میدهد، اما DarkDiff با کار روی تصاویر RGB خطی، عملیات نویزگیری را انجام میدهد و به صورت مستقیم تصویر نهایی sRGB را تولید میکند.
همچنین DarkDiff از تکنیکی به نام «راهنمایی بدون طبقهبندی» (Classifier-free guidance) استفاده میکند، که کنترل مینماید مدل تا چه حد باید از تصویر ورودی پیروی کند و به چه مقدار از دانش بصری پیشفرض خود بهره ببرد. با راهنمایی کمتر، الگوها صافتر میشوند و با افزایش آن، بافتها شفافتر و جزئیات ظریفتر نمایان میگردند (هرچند ریسک ایجاد مصنوعات غیرطبیعی نیز افزایش مییابد).
نتایج آزمایشهای میدانی
پژوهشگران اپل برای سنجش کارایی مدل DarkDiff، تصاویر ثبتشده در تاریکی مطلق را با دوربینهایی نظیر Sony A7SII با سایر مدلهای پیشرو مقایسه کردند. تصاویر آزمایشی در شب با سرعت شاتر بسیار کوتاه ۰.۰۳۳ ثانیه ثبت شدند و نسخه بهبودیافته DarkDiff با عکسهای مرجعی مقایسه شد که ۳۰۰ برابر زمان نوردهی طولانیتر (روی سهپایه) داشتند.
برخی از این نتایج نشاندهنده برتری مطلق این مدل در بازیابی بافتها و دقت رنگی نسبت به تمامی استانداردهای فعلی است.
محدودیتهای فعلی مدل DarkDiff اپل
محققان خاطرنشان کردند که این پردازش به دلیل نیاز به توان محاسباتی بسیار بالا، فعلاً بسیار کندتر از روشهای سنتی است و به احتمال زیاد برای اجرا در گوشیهای هوشمند به پردازش ابری نیاز خواهد داشت تا مانع از تخلیه سریع باتری شود. همچنین محدودیتهایی در تشخیص متون غیرانگلیسی در صحنههای کمنور مشاهده شده است.
اگرچه در این مطالعه اشارهای به زمان دقیق ورود DarkDiff به آیفون نشده است، اما این دستاورد نشاندهنده تمرکز مستمر اپل بر عکاسی محاسباتی برای عبور از محدودیتهای فیزیکی قطعات سختافزاری است؛ حوزهای که اکنون به میدان اصلی رقابت در بازار گوشیهای هوشمند تبدیل شده است.
