Почему ChatGPT создаёт научные цитаты, которых не существует

Современный искусственный интеллект, и особенно такие системы как ChatGPT, делает удивительные успехи в генерации убедительных текстов — в том числе аргументированных дебатов и даже научных статей, способных обмануть неподготовленного читателя. Новая версия алгоритма (ChatGPT 4.0) уже признана более убедительной, чем живые люди, по ряду метрик. Однако «убедительно» не всегда означает «правдиво»: если вы видели ссылку на несуществующую научную работу — поздравляю, вы столкнулись с феноменом так называемых AI-галлюцинаций. Такие «вымышленные источники» появляются даже в официальных отчётах высокого уровня, например, в рецензии Make America Healthy Again (MAHA) Commission, подготовленной для Белого дома. Почему так происходит? Всё упирается в странное сочетание формальности, давления и особенностей работы современных языковых моделей.

В научном мире почти каждое утверждение, даже самое очевидное, требует строгой проверки и ссылки на первоисточник — будь то доказательство эволюционной истории собак или новая гипотеза в области медицины. Цитата — это не штраф за превышение скорости, а фундамент доверия: с названием статьи, фамилиями авторов, названием журнала, датой публикации и уникальным идентификатором. Всё это призвано быстро и чётко показать: источник существует и его можно проверить. Увы, для ChatGPT «похожий на правду» формат важнее, чем сама правда: алгоритм жонглирует фамилиями, датами и играет с журналами, чтобы имитировать «правильную» структуру, но не разбирается, существуют ли такие работы и действительно ли они подтверждают утверждение.

Когда AI просят оформить ссылку на публикацию, он воспринимает это как задание «выдать текст в нужном формате» — и именно на формальности заточены внутренние алгоритмы: фамилии, инициалы, вероятное название, подходящий журнал, похожая дата и обязательный DOI или похожий уникальный идентификатор. Оказывается, это пугающе просто, и большинство пользователей просто не проверяют результат на подлинность. Пример: были сгенерированы «научные» публикации о влиянии кремния на микробиом кишечника — с внушительными фамилиями и правдоподобными титулами. Вот только ни одна из этих статей не существует в реальности, а если аналогичная работа и опубликована, то авторами являются совсем другие люди, в другом журнале и с отличающимся фактом исследования. Мастерство имитации делает цитаты визуально неотличимыми от настоящих, но с таким же успехом можно ссылаться на фанфик по Гарри Поттеру от Джорджа Мартина.

Когда в реальном отчёте встречаются неправдоподобные или вообще несуществующие исследования, чаще всего это результат поиска доказательств под заранее заданную позицию. Не нашёл в базе ничего подходящего? Закажи у ChatGPT — он «не скажет нет». Выходят ссылки на несуществующие статьи, иногда даже в большом количестве, и они благополучно идут в публикацию, ведь внешне выглядят вполне академично. Так произошло с MAHA-отчётом: там были как откровенно выдуманные цитаты, так и ссылки на реальных учёных, которые таких работ не писали. Журналисты нашли и другие примеры — когда реальные исследования были грубо интерпретированы не по теме или авторы обнаруживали себя в статьях, о которых ничего не слышали. Итог — не просто путаница, а подрыв доверия к экспертному знанию.

Ключевое в ИИ-редакторе Aigital специально разнесены окна запроса к ИИ и окно запроса на поиск в интернете через ИИ - так вы вероятнее всего получится не галлюцинацию, а реальные данные.

Искусственный интеллект становится всё более убедительным, но «убедительный» не всегда означает «правдивый». Проверяя научные цитаты, даже если они выглядят внушительно и академично, не оставляйте критическое мышление за дверью. Любая ссылка обязана быть не только похожей на настоящую, но и действительно подтверждённой, иначе рискуем строить выводы — и даже национальные решения — на картонном основании.

AI должен отвечать формально правильно и не умеет проверить истинность факта — он строит гипотезы на статистических совпадениях между заданиями.

Да, особенно если попадают в доклады, статьи или госотчёты, где должны служить экспертным доказательством, а на деле дезинформируют.

Вставьте её название в Google Scholar или PubMed — если публикация реально существует, результат появится мгновенно.

Да, иногда это случается из-за невнимательности или заказа быстрого результата без верификации контента.

Запросите у автора или AI детальную информацию о публикации и проверьте каждую деталь — реальная статья всегда найдётся в ведущих базах.