Каждый день мы ориентируемся в нашем мире так легко, что основные операции кажутся слишком обыденными, чтобы их упоминать. Но если вы когда-либо программировали компьютерную программу, вы, возможно, заметили, что заставить компьютер выполнять даже простые задачи может быть сложно, а иногда и очень неприятно. Как, например, сообщить компьютеру, что нарисованная собака не является «настоящей» собакой (рис. 1)? Текучесть повседневного интеллекта маскирует скрытую сложность, которую трудно сформулировать.

Рассмотрим самую популярную на сегодняшний день систему искусственного интеллекта, chatGPT. В отличие от предыдущих форм искусственного интеллекта, chatGPT может решать множество сложных задач так же хорошо, как и люди. Такие интеллектуальные подвиги, хотя и впечатляющие, имеют высокую цену. ChatGPT работает в массивной системе (GPT-3 и -4), содержащей колоссальные 175 миллиардов внутренних настроек (Brown et al., 2020). ChatGPT также работает на большом кластере взаимосвязанных компьютеров, оптимизированных для одновременного выполнения множества вычислений. ChatGPT также требует больших вычислительных ресурсов: для генерации выходных данных требуется вычисление всех 175 миллиардов единиц.

Издержки и сложности интеллектуального поведения вызывают вопрос: что происходит внутри таких сложных систем, как chatGPT? Существуют ли осмысленные или понятные шаблоны, которые мы можем абстрагировать от активности отдельных вычислений (рис. 2, справа)? Или эти системы представляют собой аморфный конгломерат по большей части бессмысленных вычислений, подобных гудению и жужжанию частиц в броуновском движении (рис. 2, слева)? И если есть абстрагируемая закономерность или закономерность, то что это? Что-то вроде пошагового алгоритма, как рецепт из кулинарной книги или инструкция по эксплуатации?

ChatGPT является примером так называемых «черных ящиков» — систем, конструкция которых настолько сложна, что становится невероятно трудной для понимания (рис. 3). Модели черного ящика часто относятся к искусственным нейронным сетям, таким как chatGPT. Нейронные сети могут иметь до тысяч, миллионов и даже миллиардов внутренних настроек, коллективно точно настроенных для выполнения задачи (например, классификации изображений, выполнения поиска в Google или рекомендации следующего TikTok). В крупномасштабных нейронных сетях, таких как chatGPT, отдельные внутренние настройки редко «значат много» сами по себе. Хотя мы знаем, например, что слово «СОБАКА» относится к концепции собаки (чего-то, что лает, бегает и имеет форму собаки), ни одна внутренняя установка, вероятно, не «представляет» концепцию собаки — ни одна Настройка надежно активна, когда вы даете нейронной сети слово «собака».

За последние десятилетия нейронные сети стали историей успеха ИИ. Грубо говоря, большая часть этого успеха связана с добавлением в сети все новых и новых внутренних настроек. Неблагоприятным последствием является то, что наше коллективное понимание этих систем пострадало; теперь мы не в состоянии понять их внутреннюю работу, «заглянув» в их замысел. Напротив, архитектурно более простые когнитивные модели прошлого века было относительно легко интерпретировать. Было намного яснее, что представляла структура, архитектура или соединения модели, если понимать только ее архитектуру (см. пример в примечании 1).

Я утверждаю, что это различие значительно затрудняет ответы на те же вопросы о познании, которые модели прошлого века давали более четкое представление. В частности, я сосредоточусь на том, как модели прошлого и настоящего решают следующие вопросы о памяти: что насчет концепта или категории, которую мы представляем в долговременной памяти? И в какой степени мы представляем эти вещи о понятии или категории?

Образцы и прототипы

Чтобы ответить на эти вопросы, полезно погрузиться в историю. Одним из давних споров в когнитивной науке является спор о том, как мы классифицируем вещи — например, как мы решаем, что книга, которая выглядит как книга, на самом деле является книгой. С 1970-х годов существовали две основные теории категоризации: теория образцов и теория прототипов. Хотя теория прототипов была одним из первых претендентов на объяснение того, как мы классифицируем вещи, исследователи, в том числе Дуглас Медин и Роберт Нософски, вскоре после этого заявили, что теория образцов может объяснить те же экспериментальные выводы как прототип теории. С тех пор споры между прототипами и образцами вылились в десятилетия плодотворных исследований, в результате которых были получены бесчисленные экспериментальные предсказания для тщательно сконструированных искусственных стимулов, а в последнее время и для натуралистичных визуальных стимулов, таких как изображения собак, кошек и стульев (Battleday, Peterson, & Гриффитс, 2020).

Во второй части я рассмотрю доказательства образцовой теории категоризации как наиболее вероятного кандидата на то, как мы классифицируем вещи, хотя споры еще далеки от завершения. Поступая так, я буду косвенно защищать утверждение о памяти, которое является основным предположением теории образцов: индивидуальные встречи категорий хранятся в долговременной памяти, а не в прототипе или «среднее» наших индивидуальных встреч с категориями (рис. 4). Когда ко мне подходит собака, теория образцов говорит, что я вижу ее как собаку, потому что я сравнил ее со всеми экземплярами собак в памяти, а не с усредненной памятью собаки или даже с частичной средней памятью с воспоминанием о чем-либо. некоторые экземпляры собак. Напротив, теория прототипов говорит, что я сравниваю собаку именно с моей единственной усредненной памятью о собаке.

Независимо от того, является ли эталонная теория эмпирически достоверной, ключевым моментом является то, что разрешение дебатов сообщает нам кое-что интересное о природе хранения в памяти: репрезентации категорий в памяти либо подвергаются, либо не подвергаются обширным потеря информации, которую предлагает теория прототипов; и, как следствие, репрезентации категорий в памяти могут сохранять или не сохранять некоторую степень отличия друг от друга. В отличие от этого, в какой степени нейронная сеть (без явного модуля памяти) вообще хранит память о собаке, будь то в виде отдельных экземпляров или усредненных прототипов? Ответ, по крайней мере для меня, не очевиден.

Таким образом, модели категоризации прошлого века предъявляли претензии к репрезентации понятий в памяти. Но сегодня исследование природы концептуальных представлений в нейронных сетях больше похоже на апостериорный анализ, вторичный по отношению к более широкой инженерной цели оптимизации производительности задачи классификации.

Тем не менее, появление представлений в виде прототипов или образцов в обученных нейронных сетях может стать захватывающим направлением исследований. Это особенно верно, поскольку литература последних лет предполагает, что задача, на которой обучаются нейронные сети, во многом определяет их соответствие нейронной активности человека (Kanwisher, Khosla & Dobs, 2023; Konkle et al., 2022). Возможно, многолетние дебаты о прототипах и образцах можно придать современный смысл как исследование нейронных сетей, которые обещают стать моделями мозга, поскольку они показывают реальное и значимое соответствие.

Продолжение во второй части!

Примечания

1: В качестве примера «репрезентативной интерпретируемости» представьте, что нейронная сеть обучена рекомендовать следующий TikTok на вашей странице «Для вас». Нейронная сеть довольно большая, с десятками слоев параметров, а также довольно успешно выбирает TikTok, которые будут держать вас в бездумном трансе на несколько часов. А теперь представьте, что есть еще одна столь же успешная модель, но основанная на традиционной компьютерной программе, состоящей из операторов if-then, циклов for, циклов while, функций и объектов, которые в целом манипулируют представлением предыдущих TikTok. чтобы выбрать следующий лучший. В то время как в традиционной компьютерной программе ясно, что есть представления TikTok (возможно, 1 TikTok = список функций), не очевидно, представляет ли нейронная сеть что-то вроде «списка функций» в своих многочисленных связях параметров.

Рекомендации

Battleday, RM, Peterson, JC, & Griffiths, TL (2020). Захват человеческой категоризации естественных изображений путем объединения глубоких сетей и когнитивных моделей. Nature Communications, 11(1), 1–14.

Браун, Т., Манн, Б., Райдер, Н., Суббиа, М., Каплан, Дж. Д., Дхаривал, П., … и Амодей, Д. (2020). Языковые модели — это учащиеся с небольшим количеством попыток. Достижения в области нейронных систем обработки информации, 33, 1877–1901.

Канвишер, Н., Хосла, М., и Добс, К. (2023). Использование искусственных нейронных сетей, чтобы задавать вопросы «почему» уму и мозгу. Тенденции в нейронауках.

Конкл, Т., Конвелл, К., Принс, Дж. С., и Альварес, Г. А. (2022). Что 5,17 миллиардов регрессионных подходов могут рассказать нам о репрезентативном формате высокоуровневой зрительной системы человека? Journal of Vision, 22(14), 4422–4422.

Леверинг, К.Р., и Курц, К.Дж. (2019). Понятия: структура и комплектация. В RJ Sternberg & J. Funke (Eds.), Психология человеческого мышления: введение (стр. 55–70). Издательство Гейдельбергского университета.