Причинно-следственные связи относятся к числу наиболее важных (хотя, конечно, не единственных) типов выводов, которые извлекаются из повествовательных текстов читателями, стремящимися понять текст. Кроме того, исследования в области психолингвистики определили причинно-следственную связность повествования как ключевой фактор, определяющий понятность истории. Несмотря на то, что было выявлено несколько измерений связности повествования, в литературе существует консенсус о том, что когерентные нарративы позволяют читателям строить модели причинно-следственных ситуаций описываемых событий. Можно было бы ожидать, что пользователям, стремящимся понять или объяснить выходные данные модели, будут помогать когерентные причинно-следственные объяснения, как система пришла к определенному выводу.

Такая интерпретация подкрепляется обширным объемом работ по ментальным моделям, в которых изучается, как технические эксперты представляют сложные системы и принимают решения по ним. Несмотря на то, что полный обзор этой литературы выходит за рамки данной статьи, ученые сходятся во мнении, что ментальные модели «представляют (воспринимаемую) причинно-следственную динамику явления», тем самым помогая людям делать прогнозы. Таким образом, литература, которая стремится получить причинно-следственные описания функционирования сложных систем, согласуется с классическими теориями ментальных моделей. Наконец, эти каузальные представления также широко используются в юридическом обосновании. Например, «модель истории» принятия решений присяжными заседателями обычно предполагает, что присяжные совместно конструируют причинно-следственную историю в отношении фактов судебного дела, и что эти причинно-следственные связи затем сопоставляются с вердиктами. Подобные методы построения «когнитивных карт» были применены в таких разнообразных областях, как политология и проектирование электростанций. Таким образом, несколько областей независимо друг от друга пришли к одному и тому же выводу – что постижение механизмов облегчается структурированной причинно-следственной моделью. Тем не менее, эти области также согласны с тем, что применение этих механизмов к реальным проблемам должно выходить за рамки причинно-следственных рассуждений. В модели истории присяжные должны сопоставлять структуру истории со знаниями о вердиктах. В литературе по ментальным моделям иерархия абстракций Расмуссена широко применялась для демонстрации случайности каузальных представлений по функциональному назначению. Наконец, в литературе по постижению нарратива причинно-следственные структуры существуют на нескольких уровнях, с несколькими подструктурами. Кроме того, наиболее значимые уровни в этих подструктурах взаимодействуют с другими элементами повествования, связанными с предпочтениями или персональными целями. Важно отметить, что в каждом из этих случаев более поздние исследования документально подтвердили, что причинно-следственные объяснения интерпретируются до принятия решения. Помимо абстракционной иерархии Расмуссена, которая применяется к каузальным ментальным моделям, исследователи в области правовой аргументации обнаружили, что суммы, присуждаемые в качестве компенсации за судебные вердикты, зависят от категориальных и порядковых контекстуальных сигналов, которые позволяют присяжным сравнивать суммы до значимой точки отсчета.

Таким образом, хотя можно подумать, что осмысленная интерпретация является следствием однозначного или иного точного объяснения, теоретики нечетких следов показали, что различные ментальные представления кодируются параллельно. Это означает, что ментальная репрезентация, которая дает интерпретацию, может отличаться от ментальной репрезентации, дающей объяснение, и наоборот. Как будет обсуждаться в следующих разделах, выбор ментальной репрезентации, на которую следует опираться, также является функцией индивидуальных различий в навыках и личностных чертах. Осмысленные интерпретации и механистические объяснения часто не вытекают друг из друга или из точных стенографических данных. Выбор ментальной репрезентации, на которую опирается человек, также является функцией индивидуальных различий в навыках и личностных качествах.

Люди отличаются друг от друга систематическим образом. Некоторые из этих различий являются вопросом мастерства. Например, профессиональный специалист по информатике с многолетним опытом обучения наделен набором навыков, которые сильно отличаются от навыков профессионального ученого-юриста. Люди с соответствующими навыками могут предпочесть полагаться на более точные уровни ментальной репрезентации, если у них есть способность их обрабатывать. Например, «умение считать» – математические способности – позволяет людям осмысливать сложные числовые данные, такие как проценты и дроби, так что они менее подвержены статистической предвзятости при принятии решений. Аналогичным образом, в контексте машинного обучения обнаружилось, что пользователи с образованием в области компьютерных наук (и особенно с докторской степенью) с большей вероятностью согласятся с тем, что система полезна и заслуживает доверия, если они понимают, как работает система. И наоборот, те, кто обладает более соответствующими базовыми знаниями, были лучше способны извлекать суть из нарративов с плохо определенными причинно-следственными структурами. Эти процессы интерпретации связаны с экспертизой в предметной области – отличительной чертой обработки сущности.

Другие различия связаны с чертами характера. Например, некоторые люди предпочитают полагаться на свои «интуитивные чувства», то есть на свои интуитивные суждения, при принятии решения, в то время как другие предпочитают участвовать в обширных размышлениях. Тест на когнитивную рефлексию является мерой этой черты (хотя она также коррелирует со счетом и интеллектом), и исследователи обнаружили, что люди с высоким уровнем когнитивной рефлексии менее восприимчивы к предубеждениям при принятии решений, которые противостоят интуитивным и совещательным способам мышления (например, хорошо известный «эффект фрейминга»). Аналогичным образом, шкала потребности в познании измеряет предпочтения испытуемых в отношении умственных усилий. Например, известны описывания доказательства модели повествовательного понимания, в которой закодировано несколько уровней ментальной репрезентации, причем некоторые читатели предпочитают использовать стратегии построения когерентности, полагаясь на трудоемкое чтение «близкого к тексту», а те, кто использует более интерпретативную стратегию, которая находится «дальше» от текста. Исследователи обнаружили, что люди с высокими интеллектуальными показателями с большей вероятностью решат несколько рискованных задач, по-видимому, потому, что они прилагают усилия, чтобы заметить сходства или противоречия между различными задачами с похожей структурой. Это объяснение этих результатов подкрепляется доказательствами того, что внутрисубъектные сравнения стимулов могут привести к тому, что испытуемые будут подвергать цензуре основные реакции при обнаружении противоречий, тем самым побуждая испытуемых сосредоточиться на более детальных характеристиках. Аналогичным образом, исследования показали, что некоторые люди испытывают трудности с определением того, являются ли модели «честными» или «справедливыми» – обе категориальные суть – абстрактно (т.е. без важного контекста), и вместо этого сравнивают эти объяснения с предыдущим опытом или со второй системой, что позволяет проводить порядковые сравнения («более честные/справедливые» против «менее справедливых/справедливых»). По этой причине Миттельштадт и его коллеги утверждают, что модели должны быть контрастными, чтобы облегчить интерпретируемость. Тем не менее, эти авторы также стараются подчеркнуть, что такие контрастивные объяснения часто упускают важный контекст, т.е. они стимулируют зависимость от вырванных из контекста дословных представлений.

Вышеприведенное обсуждение подразумевает, что не существует единого критерия интерпретируемости или объяснимости, применимого ко всем людям. Тем не менее, может существовать мера, которая может быть определена относительно ожидаемого распределения навыков и личностных черт для каждой целевой аудитории. Поэтому будущая работа должна быть сосредоточена на характеристике этих факторов в сообществах пользователей.

Выше мы заявили, что большинство людей рассуждают, помнят и предпочитают полагаться на менее точные представления при принятии решений. Эта опора на суть-репрезентацию является особенностью развития человеческого познания: по сравнению с неспециалистами, эксперты с большей вероятностью полагаются на выборочную репрезентации в своих областях компетенции. Таким образом, теория нечетких следов проводит различие между механическим знанием – дословным воспоминанием фактов или ассоциаций – и проницательным опытом. По сравнению с новичками, эксперты лучше могут извлечь суть, или наиболее актуальную информацию, и игнорируют менее значимые детали. Поэтому эксперты разработали интуитивные категориальные представления стимулов, которые являются простыми, но мощными и позволяют им принимать решения. Например, инженеры космической отрасли полагаются на категориальные определения «затратно» или «бесплатно» при принятии решений о запуске грузовых миссий, в то время как опытные врачи полагаются на категориальные определения риска, отражающие разумный стратегический выбор, который учитывает очень низкую вероятность, но не пренебрежимо малую вероятность того, что пациенту может потребоваться антибиотикотерапия, при лечении очень больных пациентов, которым могут потребоваться антибиотики.

Теория нечетких следов выходит за рамки альтернативных теорий, которые можно найти в литературе по искусственному интеллекту и психологии.

Несколько предшествующих теорий можно разделить на две большие группы: теории схем и ассоциативные теории. Теории схем утверждают, что люди используют структуры данных более высокого уровня, называемые «схемами» или «фреймами», которые навязывают «нисходящую» структуру воспоминаниям и опыту, придавая смысл мировым стимулам и, таким образом, навязывая предубеждения. В противоположность этому, ассоциативные теории предполагают, что значение возникает «снизу вверх» из часто наблюдаемых паттернов, которые одновременно встречаются в мире. Вместо того, чтобы осмыслить эти закономерности совместного возникновения, ассоциационистские теории утверждают, что значение является просто функцией статистической регулярности. Еще в 1983 году Альба и Хашер обнаружили, что человеческая память обладает характеристиками как схематических, так и ассоциационистских теорий. Тем не менее, элементы обеих моделей также неоднократно фальсифицировались, а это означает, что ни схематические, ни ассоциационистские теории не могли объяснить все экспериментальные результаты.

Теория нечетких следов объясняет эти противоречивые выводы основным теоретическим различием между сущностными и дословными ментальными представлениями, которые закодированы отчетливо, но параллельны (сущностные представления не являются производными от дословных представлений). Хотя люди предпочитают полагаться на зыбкие смыслы, они также кодируют и, следовательно, могут распознавать дословные представления. В отличие от них, алгоритмы являются дословными по самой своей природе. Таким образом, люди, работающие вместе с алгоритмами машинного обучения, могут получить лучшее из обоих миров, применяя структурированные фоновые знания, основанные на сути, для интерпретации алгоритмических выходных данных, основанных на ассоциациях.

Ключевая конструкция теории нечетких следов, суть, также выходит за рамки других теорий, которые полагаются на интуитивное суждение. Исследовательская парадигма «эвристики и предубеждения» также признает роль интуиции в поведении человека, но считает интуитивные суждения примитивными и, следовательно, связанными с плохим принятием решений. Эта традиция указывает на рутинные нарушения человеком статистических данных и аксиом принятия решений в качестве доказательства этого утверждения. Тем не менее, развитая образованная интуиция часто приводит к лучшим результатам, даже когда эксперты могут достичь этих результатов по причинам, которые внешний наблюдатель может счесть «неправильными». Например, опытный врач может принять правильное решение о том, как лечить пациента по результатам анализов, даже если его математические расчеты относительно числовых вероятностей, которые он присваивает различным результатам лечения, могут быть неверными. Действительно, основные представления сложных проблем позволяют экспертам принимать решения, основанные на контексте, основанном на обширных базовых знаниях. Такой контекст позволяет экспертам при принятии решений сосредоточиться на сути информации, пренебрегая менее важными особенностями, которые не дают понимания. Таким образом, представления сути, когда они основаны на экспертных знаниях, основаны не только на механическом упрощении, но и на глубоких упрощениях, которые имеют значение для лиц, принимающих решения.

Свидетельства в пользу теории нечетких следов показывают, что эта теория является как научно экономной, так и обладает большей предсказательной точностью, чем теория кумулятивных перспектив – ведущая теоретическая теория в традиции эвристики и предубеждений – которая, тем не менее, не может объяснить ключевые экспериментальные эффекты, которые объясняет теория нечетких следов.

Натуралистическое принятие решений, еще одна ведущая концепция, которая особенно популярна в литературе по инженерии человеческих факторов и сильного ИИ, утверждает, что люди опираются на свой предыдущий опыт для распознавания закономерностей, которые, в свою очередь, управляют решениями. Как натуралистическое принятие решений, так и теория нечетких следов признают роль интуиции в улучшении процесса принятия решений; однако решения, основанные на интуиции сути, не являются просто «решениями, основанными на распознавании», как это утверждается в традиции натуралистического принятия решений. Скорее, контекстные сигналы (например, когда испытуемых поощряют думать о проблеме с медицинской или статистической точки зрения) могут влиять на уровень ментальной репрезентации, а это означает, что распознавание не гарантирует, что решение будет основываться на интуиции эксперта. В то время как распознавание является механической дословной стратегией (теоретизированной ассоциационизмом), основные представления привносят фоновые знания, контекстуализируя сценарии таким образом, чтобы они имели смысл, и, следовательно, предоставляя понимание человеку, принимающему решения. На самом деле, обширная литература показывает, что люди могут распознавать как суть, так и дословное представление параллельно, и все же предпочитают полагаться на суть при принятии решений.

Таким образом, обширная литература поддерживает утверждение о том, что теория нечетких следов является более экономной и более предсказательной, чем конкурирующие теоретические подходы о роли интерпретации в суждениях и решениях. Эти результаты применимы как к текстам, которые можно найти в области юридического обоснования, так и к числовым стимулам, таким как в области инженерии или сгенерированным моделями машинного обучения.

В приведенном выше обсуждении подчеркивается, что интерпретируемость и объяснимость являются функциями пользователя, сценария использования и других контекстуальных факторов, в той же мере, в какой они являются функциями используемой системы. Тем не менее, психометрические свойства пользователей, как правило, не находятся под контролем дизайнеров. В этой статье мы обсудим современное состояние объяснимых алгоритмов ИИ и то, как можно спроектировать системы для повышения интерпретируемости и объяснимости.

В то время как люди генерируют несколько ментальных представлений параллельно, алгоритмы «поверхностного обучения» генерируют одну модель или распределение моделей из одного математического семейства при представлении набора данных – дословный процесс. Помимо поверхностного обучения, некоторые методы машинного обучения действительно генерируют несколько представлений. Например, ансамблевое обучение – это процесс, в ходе которого генерируется несколько моделей, а затем в конечном итоге агрегируется для формирования одной гипотезы. Однако эти модели не отличаются друг от друга по уровню точности – они просто применяют разные семейства математических операторов к одному и тому же набору признаков. В отличие от этого, многозадачные алгоритмы обучения стремятся воспроизвести гибкость человеческих представлений о сути, обучая модель генерировать общее представление нескольких стимулов из разных областей, тем самым обеспечивая «дальнюю передачу». В случае успеха эти модели могут обучаться более абстрактным представлениям, которые внешне похожи на основные представления; тем не менее, они по-прежнему генерируют только одну модель. Наконец, глубокие нейронные сети генерируют несколько представлений набора данных; однако они делают это, выводя абстрактные представления из более конкретных представлений, в то время как люди кодируют эти представления одновременно и параллельно, а это означает, что люди не получают более простых интерпретаций из более детальных представлений.

В недавнем всестороннем обзоре литературы о вычислительных подходах к объяснимому ИИ отмечается, что для специалистов по информатике понятия интерпретируемости и объяснимости «тесно связаны». Эти авторы утверждают, что «непреложные системы объяснимы, если их действия могут быть поняты людьми». Несмотря на то, что объяснимость и интерпретируемость иногда используются как взаимозаменяемые в литературе по информатике, в этом обзоре приводятся данные, подтверждающие утверждение о том, что «в сообществе машинного обучения термин «интерпретируемый» используется чаще, чем «объяснимый»», особенно по сравнению с использованием этих терминов широкой публикой. В соответствии с изложенными выше психологическими определениями, этот вывод может указывать на то, что производители продуктов ИИ более способны интерпретировать выходные данные этих систем, поскольку они обладают специализированными базовыми знаниями. Действительно, Бхатт и др. утверждают, что это различие может скрывать разницу в целях проектирования этих групп пользователей: разработчики алгоритмов обычно ищут объяснения, чтобы они могли отлаживать или иным образом улучшать свои алгоритмы, и поэтому они могут разрабатывать объяснимые инструменты ИИ для этой цели. Таким образом, объяснение обычно понимается специалистами по информатике как указание на то, как вычислительная система пришла к определенному выводу или сгенерировала его. Хорошее объяснение часто является причинно-следственным и оправданным по отношению к реализации системы – например, «алгоритм смещен в сторону отказа в визе, потому что данные обучения несбалансированы». Такого рода объяснения весьма полезны для отладки этих сложных систем, но только в том случае, если пользователь обладает соответствующими базовыми знаниями и техническими знаниями для этого. Например, приведенное выше объяснение приведет к тому, что разработчик соберет более сбалансированные данные и переобучит алгоритм, но не предложит конечному пользователю немедленного действия, за исключением, возможно, отказа от использования алгоритма.

Большая часть работы в области объяснимого искусственного интеллекта направлена на то, чтобы помочь разработчикам определить простые механические дословные связи между входами и выходами с целью помочь им сделать вывод о потенциальных причинно-следственных механизмах. Например, парадигма важности локального признака может быть наиболее популярным способом взаимодействия практиков с техническими объяснениями. Этот подход направлен на то, чтобы объяснить, как небольшие изменения в конкретных элементах могут привести к изменениям в конкретных выходных данных модели.