Почему локальная модель возвращает пустой ответ?
Чаще всего модель не держит заданную форму ответа или текст молча обрезан окном контекста, а конвейер принимает пустой результат за успех.
// начни здесь
// выступления на NeyroSummit
- —
NeyroMakers · NeyroCommunity PRO
Локальные ИИ-модели провалились 4 раза: почему ИИ врёт, даже когда все тесты пройдены
// вопросы к нейрохакеру
Какую локальную модель можно запустить на 16 ГБ памяти?
Ориентир — модели около 7 млрд параметров; модель на 14 млрд с файлом 9 ГБ в работе требует около 12 ГБ и не влезает.
Что лучше для распознавания речи: Whisper large-v3-turbo или GigaAM?
GigaAM v3 в моём замере быстрее в 8,6 раза, но без эталонной расшифровки нельзя сказать, кто точнее, поэтому в бою пока Whisper large-v3-turbo.
Как отправить текст с персональными данными в нейросеть?
Замаскировать имена и контакты до отправки, проверить остатки, блокировать вызов без согласия, а таблицу соответствий держать у себя и подставлять имена обратно.
Ещё 2 вопроса →
Как понять, что локальная модель не справляется?
По признакам, а не по её словам: ошибка памяти, переполнение окна, пустой ответ со статусом «успех», состояние процесса D и своп при низкой загрузке процессора.
Как выбрать модель под задачу?
Отсеять по окну и памяти, написать линейку качества до замеров, прогнать всех на одном живом примере и отдать лучших на слепую вычитку.
