Бесплатный ChatGPT стал точнее в вопросах здоровья

OpenAI подтянула бесплатную модель GPT-5.5 Instant к уровню платных по медицинским вопросам. Разбираем цифры и почему к ним стоит относиться осторожно.

Бесплатный ChatGPT стал точнее в вопросах здоровья
TL;DR: OpenAI говорит, что бесплатная модель ChatGPT — GPT-5.5 Instant — теперь отвечает на вопросы о здоровье на уровне платных Thinking-моделей. Доля ответов с возможными фактическими ошибками за два месяца упала на 71%. Но все замеры компания делала сама, без независимой проверки.

OpenAI обновила то, как бесплатный ChatGPT отвечает про здоровье. Раньше точные медицинские ответы были привилегией платных «думающих» моделей, теперь дефолтный GPT-5.5 Instant подтянули к их уровню. По крайней мере, по собственным оценкам компании. Учитывая, что вопросы о здоровье задают ChatGPT 230 миллионов раз в неделю, апдейт затрагивает огромную аудиторию.

Что именно изменилось. GPT-5.5 Instant обходит предшественника GPT-5.3 Instant на бенчмарках HealthBench и его клинической версии HealthBench Professional. На живом трафике доля ответов, помеченных хотя бы за одну возможную фактическую неточность, снизилась на 71% за два месяца. Это данные внутренних мониторов OpenAI.

Отдельно компания сравнила модель с врачами. Доктора писали ответы на типичные медицинские диалоги, а отдельная панель врачей сравнивала их с ответами модели. По точности, коммуникации и полноте панель оценила ответы GPT-5.5 Instant выше написанных людьми. Сравнивали на 3500 ответах. OpenAI добавляет, что модель реже пропускает «красные флаги» и реже забывает уточнить контекст у пользователя.

⚠️
Все эти результаты — внутренние замеры OpenAI на её собственном бенчмарке. Независимой или peer-review проверки нет.

Звучит впечатляюще, но я бы не спешил. Все цифры — внутренние. HealthBench OpenAI построила сама, рубрики писали врачи из её же сети (260+ докторов, проверено 700 тысяч ответов). Ничего из этого не выходило на независимую или peer-review проверку. Грубо говоря, компания и придумала экзамен, и сама себя на нём оценила. История с медициной требует осторожности: Google уже убирал AI Overviews из части медицинских запросов после того, как они выдавали опасные советы.

Бесплатный ChatGPT и правда мог стать аккуратнее в медицинских темах, и для миллионов людей без доступа к врачу это лучше, чем гадание. Но воспринимать его как замену консультации по-прежнему рано.
Если спрашиваешь у ChatGPT про симптомы, перепроверяй важное у живого специалиста.

Что ещё почитать