اكتمال الهندسة الدلالية ودمج SLAM في رسم الخرائط ثلاثية الأبعاد

جدول الروابط

نبذة مختصرة و1 مقدمة

1. الأعمال ذات الصلة

   2.1. التنقل بالرؤية واللغة

   2.2. فهم المشهد الدلالي وتجزئة الكائنات

   2.3. إعادة بناء المشهد ثلاثي الأبعاد

2. المنهجية

   3.1. جمع البيانات

   3.2. المعلومات الدلالية مفتوحة المجموعة من الصور

   3.3. إنشاء تمثيل ثلاثي الأبعاد مفتوح المجموعة

   3.4. التنقل الموجه باللغة

3. التجارب

   4.1. التقييم الكمي

   4.2. النتائج النوعية

4. الخاتمة والعمل المستقبلي، وبيان الإفصاح، والمراجع

2.3. إعادة بناء المشهد ثلاثي الأبعاد

في الآونة الأخيرة، شهدت إعادة بناء المشهد ثلاثي الأبعاد تقدمًا كبيرًا. تشمل بعض الأعمال الحديثة في هذا المجال استخدام نهج التعلم الذاتي لاكتمال الهندسة الدلالية وإعادة بناء المظهر من مسح RGB-D مثل [26]، الذي يستخدم بنية الترميز-فك الترميز ثلاثية الأبعاد للهندسة واللون. بالنسبة لهذه النهج، ينصب التركيز على توليد إعادة بناء دلالية دون حقيقة أساسية. نهج آخر هو دمج إعادة البناء ثلاثي الأبعاد في الوقت الفعلي مع SLAM. يتم ذلك من خلال تقنيات تعتمد على الإطارات الرئيسية وقد تم استخدامها في حالات الاستخدام الحديثة للتنقل الذاتي والواقع المعزز [27]. طريقة حديثة أخرى شهدت العمل على حقول الإشعاع العصبية [28] للمساحات الداخلية عند استخدام البنية من الحركة لفهم المشاهد الملتقطة بالكاميرا. يتم تدريب نماذج NeRF هذه لكل موقع وهي جيدة بشكل خاص للفهم المكاني. طريقة أخرى هي بناء رسوم بيانية للمشهد ثلاثي الأبعاد باستخدام مفردات مفتوحة ونماذج أساسية مثل CLIP لالتقاط العلاقات الدلالية بين الكائنات وتمثيلاتها المرئية [4]. أثناء إعادة البناء، يستخدمون الميزات المستخرجة من سحابة النقاط ثلاثية الأبعاد ويسقطونها على مساحة التضمين التي تعلمها CLIP.

\ يستخدم هذا العمل طريقة تجزئة الكائنات ثنائية الأبعاد مفتوحة المجموعة، كما هو موضح في الأقسام السابقة. بالنظر إلى صورة RGB-D، نحصل على أقنعة الكائنات الفردية هذه من صورة RGB ونعيد إسقاطها إلى ثلاثية الأبعاد باستخدام صورة العمق. هنا، لدينا نهج قائم على الكائنات بدلاً من إجراء حساب نقطة بنقطة لإعادة البناء، والذي تم إجراؤه سابقًا بواسطة Concept-Fusion [29]. يساعدنا استخراج قناع الميزات لكل كائن أيضًا في حساب التضمينات، والتي تحافظ على الطبيعة المفتوحة لخط الأنابيب هذا.

\

:::info المؤلفون:

(1) لاكش نانواني، المعهد الدولي لتكنولوجيا المعلومات، حيدر أباد، الهند؛ ساهم هذا المؤلف بالتساوي في هذا العمل؛

(2) كوماراديتيا جوبتا، المعهد الدولي لتكنولوجيا المعلومات، حيدر أباد، الهند؛

(3) أديتيا ماثور، المعهد الدولي لتكنولوجيا المعلومات، حيدر أباد، الهند؛ ساهم هذا المؤلف بالتساوي في هذا العمل؛

(4) سوايام أغراوال، المعهد الدولي لتكنولوجيا المعلومات، حيدر أباد، الهند؛

(5) أ.هـ. عبد الحافظ، جامعة حسن كاليونجو، شاهينبي، غازي عنتاب، تركيا؛

(6) ك. مادهافا كريشنا، المعهد الدولي لتكنولوجيا المعلومات، حيدر أباد، الهند.

:::

:::info هذه الورقة متاحة على arxiv تحت رخصة CC by-SA 4.0 Deed (النسب-المشاركة بالمثل 4.0 الدولية).

:::

\