Классификация LLM представляет собой проектирование

Ум-классификаторы, сигналы применяются к контексту и возвращают лейбл, отстой для работы. Это особенно болезненно, потому что они часто действуют довольно прилично. Но давайте рассмотрим некоторые вещи, которые мы хотим в классификаторе и посмотрим как LLM-классифицирует: - Калибровка/пороговый контроль - Вердикты LLS часто являются жесткими этикетками; вы можете получить вероятности символического журнала, но нет механизма для того, чтобы верить, что они хорошо калиброваны. Вы можете попросить LLM о его доверии, и там нет никаких оснований подозревать что это хорошо калиброванно. В качестве связанной с этим проблемы IT-s довольно трудно отменять точность и помнить эти знаки принципиальным образом. - Включая всю имеющуюся информацию, МЛМ работают отлично на неструктурированных данных, но зачастую у нас также есть хорошие структурированные данные. Мы можем вставить это в срочную запись, как бы LLM не нуждалась в ней. Даже для проз-части сигнала мы не знаем, действительно ли LLM использовала его или нет. Разочаровался сказать меньше всего и, вероятно, потерял какой-то сигнал. У LLM есть предыдущая информация, которая может быть плохо подходит для нашего распределения. Например, LLM не знают, проводится ли тест на популяции, где положительный класс является редким, или обогащённая группа населения, в которой наш позитивный класс относительно распространен. И я думаю, вы можете дать ему этот контекст но теперь вам придется изменить это для каждой новой группы населения и также,…