Данный способ синхронизации подходит не только для камеры Intel RealSense D455, но также и других камер серии D435/i, D457 и, вероятно, будущей D585 Pro. Более того, из-за известного дефекта D455 у цветной камеры искажающего цвета собирать систему с ней не рекомендуется — этот дефект может быть критичен для нейросетей. По сути, её можно использовать только как монохромную камеру.
Аппаратная синхронизация камеры и лидара позволяет совместить облака точек не только геометрически (чем занимается калибровка), но и по времени их кадров/сканов, что, в свою очередь, даёт возможность объединять их в единую воксельную карту занятости. Рассинхронизация временных меток камеры и лидара будет создавать за движущимися объектами тянущийся след из вокселей, а за неподвижными — при эго-движении самого аппарата.
В интернете есть готовые девайсы для синхронизации, другой вариант, однако они кажутся мне избыточными. Хочется всё сделать внутри своей прошивки на одной плате STM32, которая уже управляет моторами и многим другим, чтобы она не зависала. Синхронизация будет работать независимо от ядра, используя только периферийные устройства МК — таймеры.
К тому же у камер RealSense есть своя специфика работы, но об этом далее.
