В прошлый раз я рассказывал, как работает Guardrails Filter: зачем вообще понадобился отдельный слой защиты данных при работе с LLM и какие задачи он решает.
В этот раз хочу обсудить то, какие подводные камни могут оказаться под капотом этой технологии. Пока мы делали свой Guardrails Filter, быстро выяснилось, что найти персональные данные — далеко не самая сложная часть задачи. Гораздо сложнее оказалось встроиться между приложением и моделью так, чтобы ничего не сломать. Нужно корректно обработать обычные запросы, стриминг, tool calling, сохранить структуру сообщений, не потерять служебную информацию и при этом успеть изменить данные до того, как их увидит модель или пользователь.
Сейчас расскажу подробнее.
Почему простой замены данных оказалось недостаточно
