التحديد الدقيق الموجه بالأقنعة: إدارة المدخلات المشوشة وتعدد استخدامات الكائنات

جدول الروابط

نبذة مختصرة و 1. مقدمة

1. الأعمال ذات الصلة

2. MaGGIe

   3.1. Matting موجه بقناع فعال للحالة

   3.2. الاتساق الزمني لخصائص Matte

3. مجموعات بيانات Instance Matting

   4.1. Image Instance Matting و 4.2. Video Instance Matting

4. التجارب

   5.1. التدريب المسبق على بيانات الصور

   5.2. التدريب على بيانات الفيديو

5. المناقشة والمراجع

\ مواد تكميلية

1. تفاصيل البنية المعمارية

2. Image matting

   8.1. توليد مجموعة البيانات والتحضير

   8.2. تفاصيل التدريب

   8.3. التفاصيل الكمية

   8.4. المزيد من النتائج النوعية على الصور الطبيعية

3. Video matting

   9.1. توليد مجموعة البيانات

   9.2. تفاصيل التدريب

   9.3. التفاصيل الكمية

   9.4. المزيد من النتائج النوعية

8.4. المزيد من النتائج النوعية على الصور الطبيعية

يعرض الشكل 13 أداء نموذجنا في سيناريوهات صعبة، خاصة في عرض مناطق الشعر بدقة. يتفوق إطار عملنا باستمرار على MGM⋆ في الحفاظ على التفاصيل، خاصة في تفاعلات الحالات المعقدة. بالمقارنة مع InstMatt، يُظهر نموذجنا فصلاً متفوقاً للحالات ودقة في التفاصيل في المناطق الغامضة.

\ يوضح الشكل 14 والشكل 15 أداء نموذجنا والأعمال السابقة في حالات قصوى تتضمن حالات متعددة. بينما يواجه MGM⋆ صعوبة مع الضوضاء والدقة في سيناريوهات الحالات الكثيفة، يحافظ نموذجنا على دقة عالية. يُظهر InstMatt، بدون بيانات تدريب إضافية، قيوداً في هذه الإعدادات المعقدة.

\ يتم إثبات قوة نهجنا الموجه بالقناع بشكل أكبر في الشكل 16. هنا، نسلط الضوء على التحديات التي تواجهها متغيرات MGM و SparseMat في التنبؤ بالأجزاء المفقودة في مدخلات القناع، والتي يعالجها نموذجنا. ومع ذلك، من المهم ملاحظة أن نموذجنا غير مصمم كشبكة تقسيم حالات بشرية. كما هو موضح في الشكل 17، يلتزم إطار عملنا بالتوجيه المُدخَل، مما يضمن التنبؤ الدقيق لـ alpha matte حتى مع وجود حالات متعددة في نفس القناع.

\ أخيراً، يؤكد الشكل 12 والشكل 11 على قدرات التعميم لنموذجنا. يستخرج النموذج بدقة كلاً من الأشخاص والأشياء الأخرى من الخلفيات، مما يعرض تنوعه عبر سيناريوهات وأنواع كائنات مختلفة.

\ جميع الأمثلة هي صور من الإنترنت بدون بيانات أساسية حقيقية ويُستخدم القناع من r101fpn400e كتوجيه.

\

\

\

\

\

\

\

\

\

\

\

:::info المؤلفون:

(1) Chuong Huynh، جامعة ميريلاند، كوليدج بارك (chuonghm@cs.umd.edu)؛

(2) Seoung Wug Oh، Adobe Research (seoh,jolee@adobe.com)؛

(3) Abhinav Shrivastava، جامعة ميريلاند، كوليدج بارك (abhinav@cs.umd.edu)؛

(4) Joon-Young Lee، Adobe Research (jolee@adobe.com).

:::

:::info هذه الورقة متاحة على arxiv بموجب ترخيص CC by 4.0 Deed (Attribution 4.0 International).

:::

\