На сайті OpenAI опублікована наукова робота, присвячена причинам галюцинацій великих мовних моделів та запропонованим способам боротьби з ними. Дослідники компанії зазначають, що навчання починається з великих корпусів текстів, в яких немає міток "правда" чи "брехня" — лише приклади того, як пишуть люди. З цих даних ШІ може засвоїти закономірності на кшталт грамотного написання та розставляння знаків пунктуації, але не рідкісні факти. Наприклад, якщо показати моделям мільйон фотографій собак і котів, позначених як "собака" та "кіт", то вона зрозуміє, як розрізняти ці два види тварин. Якщо ж показати мільйон фото котів із зазначенням дати народження кожного, то модель не навчиться вказувати дату народження, бо тут немає закономірності — і замість цього вестиме намагання просто її вгадати.
Постнавчання зменшує кількість галюцинацій, але не прибирає їх повністю через те, що зараз фахівці використовують не до кінця правильний підхід. Справа в тому, що під час оцінювання моделей зараз заохочується тільки точність — тобто скільки відповідей збіглося з правильним. Така методика насправді заохочує галюцинації, оскільки при них залишається невеликий шанс, що модель вгадає правильну відповідь. А от якщо ШІ напише "я не знаю" — то нагорода завжди буде нульовою. Це добре видно у таблиці нижче:
Незважаючи на те, що у GPT-5-Thinking-mini значно менший відсоток помилок за точністю, вона трошки поступається більш старій o4-mini — і, відповідно, випадає з тестів, які вимірюють тільки точність.
У OpenAI пропонують доопрацювати правила оцінювання моделей таким чином, щоб надавати підвищений штраф за впевнені помилки, а за невизначеність (я не знаю) під час відповіді — навпаки, нараховувати часткові бали. У компанії зазначають, що вдалося значно зменшити кількість галюцинацій у GPT-5, але модель все ще не ідеальна.
Коментарі