Как дообучить модель под свою задачу. Маленький адаптер вместо полного переобучения.
Вместо того чтобы каждый раз звать большую модель, один раз дообучаем маленькую на ваших данных. На типовых задачах экономия в разы: и по скорости, и по деньгам.
без реальных вызовов моделей
Очередь обращений
Карта заблокирована после снятия
Не приходит СМС с кодом
Ошибка в мобильном приложении
Хочу открыть накопительный счёт
Зарплата не пришла вовремя
БАЗА
ДАТАСЕТ
ОБУЧЕНИЕ
АДАПТЕР
МНОГО ЗАДАЧ
0.0 / 28 sec
CONTINUOUS
До дообучения
Большая модель в режиме "без примеров" справляется, но 3.4 секунды на обращение и 84% точности - при потоке это дорого.
До дообучения
Обучение адаптера занимает часы, не недели. Базовая модель остаётся неизменной, рядом кладётся маленький файл-адаптер.
Обучаем 0.1 - 1% параметров. Адаптер подключается к базе на лету. Один base - несколько адаптеров под разные задачи.
Окупается, когда запросов много. Для редких задач - берите RAG, не усложняйте.
Решения портфеля с этой концепцией
Кейсы с этой концепцией