От языка к навигационным целям: подход к семантической навигации мобильных роботов, использующий RGB-D восприятие

arXiv: 2607,13624v2 Annuales Type: заменить перекрестное резюме: естественное языковое взаимодействие является интуитивным способом общения неэкспертных пользователей с роботоплатными платформами. Однако преобразование запросов пользователей в выполнимые навигационные действия по-прежнему является сложной задачей, требующей интеграции понимания языков, восприятия окружающей среды и автономного судоходства. Эта работа представляет собой языковую навигационную систему, которая позволяет мобильным роботам интерпретировать запросы пользователей в естественном языке для перевода робота в пункт назначения и автономного перехода к нему. Эта система состоит из модульных компонентов ROS 2, которые сотрудничают в целях преобразования естественных языковых инструкций в навигационные действия. Учитывая естественный запрос на язык, касающийся цели в окружающей среде (например, "перейти к почтовому ящику"), система определяет указанный объект, оценивает свое положение с использованием данных RGB-D и создает навигационное назначение, которое затем выполняется через SOS 2 NV2