Они нужны для беспилотного транспорта и других систем Physical AI
Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания физически правдоподобных видеосцен. Они востребованы для обучения беспилотного транспорта, роботов и других систем Physical AI. Как сообщается в поступившем в редакцию N + 1 пресс-релизе компании, код и веса моделей уже опубликованы под лицензией MIT и будут доступны разработчикам бесплатно.
Physical AI — это системы искусственного интеллекта, которые взаимодействуют с физическим миром: автомобилями и пешеходами, другими роботами, промышленным оборудованием. Основа их обучения — работа с большими массивами видеоданных. Однако сбор таких данных дорог и трудоемок, а некоторые сценарии — например, аварии, случаи экстремальной погоды или отказа оборудования — и вовсе невозможно записать в реальных условиях. Дообучить робота-погрузчика или беспилотное такси в процессе работы тоже не получится: это не просто дорого, но зачастую еще и опасно.
Использовать для обучения Physical AI видео, сгенерированные другими нейросетями, раньше было затруднительно из-за большого количества ошибок: искажения геометрии, перспективы и появления «мягких» деформирующихся объектов. Решить эту проблему смогли разработчики Сбера под руководством Дениса Димитрова. Они разработали семейство моделей, специально предназначенных для создания физически правдоподобных видеосцен. Новые модели основаны на Kandinsky 5.0 Video Lite, но дообучены на нескольких…
