Наблюдение против вывода
Почему модели и люди уверенно видят то, чего в материале нет.
Наблюдение против вывода
Почему модели и люди уверенно видят то, чего в материале нет
Представьте, что вы прочитали одну фразу:
Джон выронил вазу, и она разлетелась на куски.
Теперь ответьте: из чего была сделана ваза?
Большинство людей выберет стекло или керамику. Кто-нибудь особенно практичный предположит дешёвый фарфор. Но правильный ответ звучит гораздо скучнее:
Неизвестно.
В исходной фразе материал вазы не указан. Мы не наблюдали стекло — мы самостоятельно добавили его к истории. Причём сделали это настолько быстро, что вывод успел переодеться фактом ещё до того, как мы заметили подмену.
Именно здесь начинается одна из главных проблем аналитики: система получает неполные данные, достраивает наиболее правдоподобную картину, а затем забывает сообщить, что часть этой картины нарисовала сама.
Так поступают люди.
Так поступают языковые модели.
Но делают они это по разным причинам.
Мозг не видеорегистратор
Человеческое восприятие — не камера, которая честно записывает всё попавшее в объектив. Мозг постоянно соединяет входящие сигналы с прошлым опытом, контекстом и ожиданиями.
Обычно это полезно.
Нам не приходится каждый раз заново устанавливать, что у стула есть обратная сторона, даже если мы её сейчас не видим. Мы узнаём знакомое лицо при плохом освещении, понимаем фразу с опечаткой и замечаем опасность раньше, чем успеваем подробно её проанализировать.
Если бы мозг отказывался делать выводы до получения исчерпывающего пакета документов, человечество, вероятно, до сих пор стояло бы перед первым подозрительным кустом и ожидало результатов дополнительной экспертизы.
Проблема возникает, когда полезная реконструкция выдаётся за непосредственное наблюдение.
Один из известных примеров — эксперименты Элизабет Лофтус и Джона Палмера 1974 года. Участникам показывали записи автомобильных аварий, а затем по-разному формулировали вопрос о скорости машин. Более сильный глагол влиял на оценку скорости. В отдельном эксперименте участники, которых спрашивали о машинах, «разбившихся» друг о друга, позднее чаще сообщали о разбитом стекле — хотя стекла в показанном фильме не было.
Стекло появилось не на дороге.
Оно появилось в реконструированной памяти.
Формулировка вопроса стала частью воспоминания, а сделанный вывод со временем начал ощущаться как увиденный факт. Исследование Лофтус и Палмера
Модель тоже любит законченную историю
Языковая модель работает иначе. У неё нет человеческой памяти, глаз или жизненного опыта в биологическом смысле. Во время предварительного обучения она учится продолжать текст, предсказывая вероятные следующие элементы на основе большого количества примеров.
Отсюда возникает похожий внешний эффект.
Допустим, в исходном материале говорится о презентации Apple, сцене и новом устройстве. Имя выступающего не указано. Модель может написать:
Тим Кук вышел на сцену и представил новый продукт.
Фраза выглядит естественно. Она соответствует множеству знакомых модели текстовых закономерностей. Возможно, в реальной ситуации всё именно так и происходило.
Но в предоставленном материале этого факта нет.
Модель не нашла имя Тим Кук в источнике. Она достроила наиболее вероятное продолжение.
На этапе обучения языковая правдоподобность и фактологическая истинность не являются одним и тем же. Более того, многие процедуры оценки поощряют попытку угадать ответ сильнее, чем честное признание «не знаю». Поэтому модель способна уверенно произвести правдоподобное, но ложное утверждение. Исследование причин галлюцинаций языковых моделей
У человека ваза становится стеклянной.
У модели на сцену выходит Тим Кук.
У аналитика тем временем начинает дёргаться глаз.
Похожая ошибка — разные механизмы
Здесь важно не превратить хорошую аналогию в очередной необоснованный вывод.
Человек и языковая модель устроены по-разному. Нельзя утверждать, что модель вспоминает, воспринимает или фантазирует точно так же, как человек.
Сходство находится на функциональном уровне:
- система получает неполные данные;
- использует ранее сформированные закономерности;
- достраивает недостающий элемент;
- выдаёт целостную интерпретацию;
- не всегда обозначает границу между входными данными и собственной реконструкцией.
Снаружи результат выглядит одинаково: уверенный рассказ содержит деталь, которой в источнике не было.
Внутри к этому результату ведут разные дороги.
Но пользователю от этого не легче. Несуществующее стекло остаётся несуществующим независимо от того, кто его добавил: свидетель, редактор или нейросеть с очень убедительной пунктуацией.
Самая опасная галлюцинация выглядит разумно
Откровенную бессмыслицу заметить легко. Гораздо опаснее вывод, который идеально подходит к контексту.
Если ваза разлетелась — логично предположить, что она хрупкая.
Если на сцене проходит презентация Apple — логично ожидать там Тима Кука.
Если автомобиль «разбился» — логично ожидать осколки.
Каждая отдельная связь выглядит разумной. Ошибка появляется в момент, когда слово «вероятно» незаметно заменяется словом «было».
В аналитической работе это может привести к серьёзным последствиям:
- краткое содержание приобретает факты, отсутствующие в документе;
- описание изображения получает несуществующие объекты;
- свидетель начинает помнить подсказку из вопроса;
- отчёт ссылается на вывод так, словно тот был исходным наблюдением;
- следующий аналитик принимает предыдущую интерпретацию за первичный источник.
Так одна аккуратная догадка получает должность факта, служебный кабинет и право обучать следующих сотрудников.
Три полки вместо одной
Самый простой способ уменьшить путаницу — перестать складывать всё в одну корзину.
В лабораторной работе полезно разделять результат минимум на три уровня.
1. Наблюдение
То, что непосредственно присутствует в материале и может быть проверено другим человеком.
В тексте сказано, что ваза разлетелась на куски.
2. Вывод
Интерпретация, построенная на наблюдении и дополнительных знаниях.
Вероятно, ваза была сделана из хрупкого материала.
3. Неизвестное
То, чего имеющиеся данные установить не позволяют.
Точный материал вазы неизвестен.
Это разделение кажется элементарным. Но именно элементарные правила приходится чаще всего превращать в отдельную архитектуру, потому что и человек, и модель обладают выдающейся способностью забывать их в самый интересный момент.
Фраза «не выдумывай» не является системой контроля
Модели можно написать:
Опирайся только на предоставленный материал. Если ответа нет, сообщи, что он неизвестен.
Это полезная инструкция. Но сама по себе она не превращает вероятностную модель в нотариуса.
Чем сложнее задача, длиннее контекст и сильнее соблазн получить красивый законченный ответ, тем выше вероятность, что правило будет нарушено. Поэтому надёжный процесс не должен зависеть от одной строгой фразы в начале промпта.
Нужна последовательность проверок:
- извлечь наблюдаемые факты;
- привязать каждый существенный факт к фрагменту источника;
- отдельно сформулировать выводы;
- обозначить уровень уверенности;
- сохранить неизвестное неизвестным;
- проверить, не превратился ли вывод в новое «наблюдение» при следующем проходе.
Последний пункт особенно важен. Галлюцинация часто рождается не в одном ответе, а между двумя этапами работы: первая модель осторожно предполагает, вторая получает её текст без исходного материала, а третья уже оформляет предположение как подтверждённый факт.
К третьему поколению стеклянная ваза становится семейной реликвией.
RAG помогает, но не выдаёт индульгенцию
Один из способов дать модели доступ к проверяемым данным — retrieval-augmented generation, или RAG. Такая система сначала ищет релевантные фрагменты во внешней базе знаний, а затем передаёт их модели вместе с запросом.
Это позволяет опираться на актуальные документы и показывать происхождение информации. В исходной работе о RAG такие системы давали более фактологичные результаты, чем сравниваемая модель, использовавшая только знания в собственных параметрах. Работа Lewis и соавторов о RAG
Но RAG не гарантирует правильность автоматически.
Система может найти неподходящий фрагмент. Модель может неверно его понять, соединить с собственными предположениями или уверенно добавить деталь, которой не было и в найденном документе.
Поэтому поиск источника и проверка ответа — разные операции.
Наличие библиотеки ещё не означает, что сотрудник прочитал нужную книгу.
Лабораторный протокол реальности
Перед тем как принять аналитический ответ человека или модели, полезно задать пять вопросов:
- Что именно присутствует в исходном материале?
- Где это можно увидеть или прочитать?
- Какая часть ответа является интерпретацией?
- Какие альтернативные объяснения ещё возможны?
- Что мы пока не можем установить?
Эти вопросы не запрещают делать выводы. Напротив, хороший анализ без выводов невозможен.
Они требуют только одного: не подменять доказательство правдоподобием.
Вывод
Способность достраивать неполную картину — не дефект интеллекта. Без неё человек не мог бы быстро ориентироваться в мире, а языковая модель — создавать связные ответы.
Но полезная способность становится источником ошибки, когда исчезает маркировка происхождения информации.
Наблюдение сообщает, что есть в материале.
Вывод объясняет, что это может означать.
Галлюцинация начинается там, где второе без предупреждения занимает место первого.
Поэтому главный вопрос лаборатории звучит не так:
Насколько убедителен этот ответ?
А так:
Мы действительно это наблюдали — или Кот опять принёс в лабораторию вазу, материал которой никто не проверил?