Нейроморфные вычисления и мозг, который никогда не умрет

Нейронные сети, функционирующие в соответствии с теоретическими представлениями современной науки о памяти и механизмах воспоминаний, по сути, представляют собой цифровую симуляцию того, как синапсы могут сохранять информацию и в результате обучения распознавать шаблоны. Например, нейронные сети позволяют компьютеру или облачному сервису распознавать символы печатного текста без необходимости создания программ с алгоритмом, прямо ориентированным на распознавание текстов, или позволяют компьютеру идентифицировать определенное лицо в толпе после просмотра нескольких различных фотографий этого лица.

Но даже если количество задач, решаемых нейронными сетями, расширяются линейно - например, кроме только текста различать одну форму текстового написания от другой – то количество данных, необходимых для обучения, требуется экспоненциально больше. Есть веские основания считать, что некоторые из задач, предполагаемых для нейронных сетей, таких как выявление эмоций (например, отличить подавленное или взволнованное состояние), может оказаться невозможным, даже с использованием самых современных технологий хранения и памяти. Возможно уже по этому, откровения исследователей о том, что химические структуры, состоящие из совершенно случайных сборок проводов нанометрового масштаба, могут демонстрировать электрические характеристики памяти в мозге, не должны игнорироваться.

«Я хочу создать синтетический мозг,- писал д-р Джеймс К. Гимзевски (Dr. James K. Gimzewski) в октябре 2012 года. - я хочу создать машину, которая думает, машину, которая обладает физическим интеллектом... Такой системы пока не существует, поэтому ее создание обещает вызвать революцию, которую можно было бы назвать постчеловеческой революцией».

Сама эта тема кажется настолько фантастичной, что в последнее время серьезные писатели-фантасты даже избегали ее. Механизм, предлагаемый доктором Гимзевски и его коллегами из Калифорнийского института наносистем UCLA, как ни странно, не является цифровым процессором и он вообще не в контексте современной электроники, он даже не имеет отношения к полупроводникам. При этом здесь даже не идет речь о программировании, по крайней мере пока.

Вопрос, лежащий в основе исследований его команды, заключается в следующем: если процесс, составляющий естественную память, по крайней мере на атомном уровне, по существу механический, то вместо построения цифрового моделирования этого механизма, почему бы не исследовать построение реальной машины на том же атомном уровне, которая выполняет те же функции таким же образом? Иными словами, если мозг - это атомная машина, то почему атомная машина не может быть мозгом?

В свою очередь любая нейроморфная архитектура - это попытка построить систему, которая действительно именно таким образом работает, а не имитирует эти функции в цифровом виде. То, чего не хватает обычным полупроводниковым компьютерам для полноценного моделирования нейронной активности, наиболее подходяще описывается словом «масштаб».

Так например, проект 2013 года, объединивший германский исследовательский центр Jülich и японскую лабораторию RIKEN, с использованием суперкомпьютера RIKEN K - самого быстрого в то время - успешно смоделировал нейронную активность, наблюдаемую примерно в 1 проценте человеческого мозга, в одной операционной последовательности мозговой активности, которая заняла около 40 минут. Потребовалось еще пять лет на переработку алгоритма, прежде чем команда объявила, что получила методологию, которая может сократить время на вспомогательную нейронную активность, ускоряя выполнение той же последовательности примерно в пять раз.

Такая производительность позволяет имитировать нейронную активность, необходимую для написания одного президентского твита примерно к 2050 году. Не больше.

Прозрение доктора Гимзевски – вдохновленное его близким сотрудничеством в течение десятилетий не только с Intel, но и с коллегами в области физики и химии, в том числе парой нобелевских лауреатов – в том, что произведённые естественным образом посредством химических реакций структуры уже обладают поведением похожим на коммутаторы (цифровые или физические), используемые в моделировании функционирования синапсов, особенно в том, как они проводят электричество. Они сопротивляются воздействию тока, но со временем сопротивляются меньше – такое же явление происходит в человеческом мозгу и оно напрямую связанно с обучением.

Исследования команды UCLA сосредоточены вокруг использования природных химических явлений на атомном уровне в качестве атомных переключателей, и их доказательства показывают, что если их химически произведенные системы рассматриваются как естественная память (например, рецептивные компоненты мозга, которые сохраняют информацию), то возможно в будущем они будут вести себя как естественная память.

Предполагать, что физики и химики только сейчас подошли к тому, чтобы использовать естественные процессы для вычислительных или математических целей, - это несправедливо по отношению к людям, которые стояли у истоков создания вычислительной техники. Среди них Чарльз Бэббидж (Charles Babbage). Одной из задач для его вычислительной машины было сделать очевидным представление о том, что математика - это всего лишь человеческая интерпретация большего божественного механизма. Как писал Бэббидж в 1838 году:

«Чтобы проиллюстрировать различие между системой, к которой часто или через отдаленные промежутки времени прикладывается рука ее создателя, и системой, которая получила при своем первом формировании отпечаток воли ее автора, предвидя разнообразные, но все же необходимые законы ее действия на протяжении всего ее существования, мы должны прибегнуть к какой-то машине, воспроизводящей человеческие способности. Но поскольку все эти механизмы должны располагаться на неизмеримо ниже простейших природных творений, то, исходя из обширности тех циклов, которые даже человеческое изобретение в некоторых случаях развертывает перед нашим взглядом, мы, возможно, сможем составить слабое понимание о величине того самого первого шага в цепи рассуждений, который ведет нас к Богу».

Работы команды Джеймса Гимзевски продемонстрировала, что механизм сборки структур в результате случайных химический процессов может обнаруживать проявления, обычно связанные с компьютерным моделированием. Подобные проявления наиболее аналогичны тому, как проявляет себя неокортекс мозга. Природа может подражать подражателю и иногда даже смеяться над ним.

И вот тут профессор Гимзевски похоже пытается сделать самый большой шаг в соединении веры и логики: ментально добиться философских пропорций Бэббиджа. Продвигаясь в своих исследованиях, он попытался смоделировать то, что неврологи называют нейропилом — самую плотную коллекцию синапсов в мозге, соединяющую вместе бесчисленное количество нервных волокон. На одном из этапов он оценил плотность синтетических соединений в один миллиард на квадратный сантиметр - это плотнее, чем массивы транзисторов в современных полупроводниках.

Эта «нейро-ткань» химически выращивается в результате процесса, как его называет Гимзевски, «снизу-вверх». После этого она соединяется с электродной решеткой, которая представляет собой обычный пробор, состоящий из 64, или иногда 128, медные выходов. Этот интерфейс позволяет считывать данные с нескольких электродов, подобно тому, как неврологи сканируют активность мозга.

«В том типе схемы, которую мы производим, поведение отдельного элемента в атомном переключателе или отдельном соединении не так важно для нас. Объект нашего исследования это общесистемная активность всего устройства и то, как оно организовано в пространстве и по времени».

Дендритная сеть, образованная этими само-собранными атомными переключателями, утверждает Гимзевски, приняла свой стиль обучения – эта модель, которая во многом соответствует тому, что инженеры нейронных сетей (использующие симулированные нейроны) называют резервуарными вычислениями (reservoir computing, RC).

Не обязательно существует линейная корреляция между последовательностью входных сигналов и сигналами, записанными с выходов. Так, например, идеальная синусоидальная волна, используемая для входа, не даст синусоидальную волну ни в одном из выходов по отдельности.

Тем не менее, как утверждает профессор, по причинам, которые еще не вполне объяснимы, дендритные пути, по-видимому, работают сами по себе. «Когда они все объединяются, они начинают разговаривать друг с другом», - сказал он. «Похоже, что вся схема оживает, в том смысле, что каждая часть взаимодействует с каждой другой частью. И есть пути, по которым мы можем установить более сильные нейроморфные связи».

В сети веса регистрируются на выходном слое, где и фиксируются результаты. «Затем с помощью линейной регрессии, которая является рутинным математическим вычислением, мы восстанавливаем форму волны».

Это означает, что все выходные данные, собранные вместе, образуют матрицу, к которой может быть применена линейная регрессия, чтобы в итоге извлечь шаблон, восстановленный из входных данных. То есть, если бы синусоидальные волны были входными, результатом вычисления была бы синусоидальная волна; если бы в качестве входных данных использовался голос человека, на выходах появилась бы слышимая экстраполяция этого голоса.

Таким образом, сеть, возникшая в результате естественного явления, которая растет, а не программируется, может рассматриваться как нейронная сеть, и при этом, в ответ ведет себя не как обычная нейронная сеть, заметьте, но как один из самых сложных из реально существующих классов живых систем.

Экстраполяция на этом не заканчивается. Гимзевски продолжает соотносить поведение своей нейропильной сети с реальной психологией, c теорией человеческого познания. Так называемая «многоэтажная модель памяти» представляет собой теоретическую основу для понимания человеческой памяти, впервые предложенную в 1968 году почетным канцлером UCSD доктором Ричардом К. Аткинсоном (Richard C. Atkinson) и профессором когнитивных наук Университета Индианы доктором Ричардом М. Шиффриным (Richard M. Shiffrin). В ней память делится на три структурных компонента: кратковременную сенсорную задержку, относительно кратковременную "рабочую память" и долговременную, постоянную память. Информация, полученная от органов чувств, проходит через краткосрочные фазы к постоянному состоянию, иначе она может распасться и быть забыта.

Совсем не то как дендритные сети запоминают информацию, заставило Гимзевски искать аналогии с моделью Аткинсона-Шиффрина, а скорее то, как «по-человечески» система ее забывает.

«Опасное заблуждение напрямую соотносить похожие вещи, как и говорить «это мозг!», - признал профессор с одной стороны. «Он проявляет электрические характеристики, которые очень похожи на функциональную МРТ мозга, похожие на электрические характеристики нейрональных культур, а также модели ЭЭГ. Мы называем это самоорганизованной критичностью, то есть целой областью науки, которая более или менее принята. Некоторые люди могут не согласиться, но теперь общепризнано, что мозг действительно обладает электрической характеристикой аналогичной той, что мы получаем в наших схемах, [что] довольно уникально с точки зрения его функции. Мы не пытаемся создать детерминированную систему. Мы позволяем системе собраться самой, а затем наблюдаем за тем, что она делает, и пытаемся извлечь из этого урок».