Dunin-Barkowski, Osovets, 1995

О ПРЕДСТАВЛЕНИИ НЕПРЕРЫВНЫХ
ВЕЛИЧИН В МНОГОНЕЙРОННЫХ
СИСТЕМАХ
В.Л. Дунин-Барковский
Отдел нейроинформатики
Центра оптико-нейронных технологий,
Научно-исследовательский институт
системных исследований РАН, Москва
wldbar@gmail.com
Доклад на семинаре
«ПРОБЛЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА»,
Москва, Политехнический музей, 20 января 2011 г.
1
Основной тезис моего сообщения:
Человеческий мозг – это очень просто. Единственная
причина, по которой мы не понимаем, как мозг работает,
-этим никто всерьёз не занимается.
Команда из 20 профессионалов в состоянии представить
полную схему работы мозга за 2-3 года.
После того, лет за пять, максимум, можно будет создать
полностью функциональную технологическую модель мозга,
обладающую разумом не хуже человеческого.
К сожалению, команду из 20 профессионалов на сегодняшний
день организовать нереально. Сейчас в мире на эту проблему
тратятся довольно значительные ресурсы, но это – муравейник
одиночек. Сколько лет этот муравейник будет копошиться,
пока проблема не будет решена, предсказать трудно. Может
быть, лет двадцать. Кстати, это может значить и НИКОГДА,
поскольку за 20 лет могут произойти события, которые
решение «проблемы разума» может и не допустить, а они, в
свою очередь, точно исключают решение этой проблемы.
2
Несмотря на как бы нереальность желания
«собрать команду» для «атаки на разум», я всётаки оптимист и одна из причин того, что я
здесь выступаю, - надежда найти-таки способ
заняться реальным решением этой задачи.
Надежда на то, что кто-то из слушателей
подскажет, что делать.
В содержательной части выступления я покажу,
почему «проблема разума» представляется
сравнительно простой.
Заодно, это будет рассказ об относительно свежих
результатах в отрасли науки, которой я занимаюсь с
1961 года.
3
Нейронауки и нейроинформатика
Ежегодные съезды американского Society for
Neuroscience собирают сейчас около 30 000
участников. А общее число ежегодных
конференций и научных журналов по нейронаукам
очень велико. Возможно, нейронауки составляют
до 10% современной фундаментальной науки.
В нашей стране, сейчас даже относительный объём нейронаук
сильно меньше, чем в развитых странах. По абсолютному
уровню мы сильно уступаем таким, например, странам, как
Венгрия, Чехия, Финляндия.
Нейроинформатика – это термин, который в разных
контекстах понимается немного по-разному. Я буду
употреблять его в том смысле, в котором когда-то
употреблялся термин «нейрокибернетика» (~~~).
4
Нейронауки
В мировой нейронауке доля русскоговорящих –
около 2% и ни одного мирового лидера «из наших»
В нейроинформатике, в частности, в одном из важнейших её
разделов – COMPUTATIONAL NEUROSCIENCE
(Вычислительные Нейроисследования) доля
русскоговорящих существенно выше (точных цифр не знаю).
Во всяком случае, в десятку официальных лидеров
COMPUTATIONAL NEUROSCIENCE входят не меньше двух
«русских»
5
INCF (established in 2001)
International Neuroinformatics Coordination Facility
Межправительственная Комиссия при ОЭСР
(OECD) по координации в нейроинформатике
РАСНИ (основана в 1991 г.)
Российская Ассоциация Нейроинформтаки
6
7
taumNaP=150;
Nminf=1/(1+exp(-(v-Vm)/3));
function snail1
ENa=60;
Nhinf=1/(1+exp((v-Vh)/3));
EBK=EBK0+EBK1*Ca*Ca/(Ca*Ca+BKhalf*BKhalf);
tspan=[0 24000];
gN=gN_*Nm*Nh;
BKzinf=1/(1+exp(-(v-EBK)/5));
%tspan=0:0.02:3500;
iN=gN*(v-ECa);
gBK=gBK_*BKz;
y0=[-40; 0.01; 0.01; 0.015; 0.9; 0.136; 0; 0.999;NaPminf=1/(1+exp(-(v-vNaPm)/v1));
0; 0; 0.386;
NaPhinf=1/(1+exp((v-vNaPh)/v2));
iBK=gBK*(v-EK);
0; 0; 0.075; 0.089; 0.094; 0];
dNmdt=(Nminf-Nm)/taumN;
% v(0)=-40 NaPm(0)=0.01 NaPh(0)=0.01 m(0)=.015
% iOut - sum of K currents
gNaP=gNaP_*NaPm*NaPh;
dNhdt=(Nhinf-Nh)/tauhN;
dBKzdt=(BKzinf-BKz)/tauzBK;
h(0)=.9 n(0)=0.136 Nm(0)=0 Nh(0)=0.999
%iOut=iK+iSK+iA+iBK
iNaP=gNaP*(v-ENa);
% Pm(0)=0 Tm(0)=0.00 Th(0)=0.386 SKz(0)=0.00
iOut=iSK+iBK;
BKz(0)=0.00 Am(0)=0.075 Ah(0)=0.089
dNaPmdt
=
(NaPminf-NaPm)/taumNaP;
%
I_P
%
I_A
K
current
% Hm(0)=0.094 Ca(0)=0.0
dNaPhdt = (NaPhinf-NaPh)/tauhNaP;
taumP=10;
taumA=1;
% Total Current
%!!!!!!!!
tauhA=20;
options=odeset('OutputSel', [1],'RelTol',1e-6);
% iTot=iNa+iK+il+iN+iP+iT+iSK+iH+iA+iNaP-iStim
gP_=0.0;
gA_=0;
%ode15s(@pravaya,tspan, y0,options);
iTot=il+iNaP+iOut+iCa-iStim;
% Regular I_Na Channel
%ode23t(@pravaya,tspan, y0,options);
taumNa=0.1;
Pminf=1/(1+exp(-(v-10)/3));
Aminf
=
1/(1+exp(-(v+20)/10));
%ode23tb(@pravaya,tspan, y0,options);
tauhNa=2;
gP=gP_*Pm;
Ahinf=1/(1+exp((v+70)/10));
% Main Equation
gNa_=0;
iP=gP*(v-ECa);
gA=gA_*Am*Ah;
figure;
Cm=0.05;
minf=1/(1+exp(-(v+46)/4));
iA=gA*(v-EK);
[t,y]=ode15s(@pravaya,tspan, y0,options);
hinf=1/(1+exp((v+54)/4)); dPmdt = (Pminf-Pm)/taumP;
plot(t,y(:,1));
dvdt=-iTot/Cm;
gNa=gNa_*m*m*m*h;
dAmdt=(Aminf-Am)/taumA;
iNa=gNa*(v-ENa);
dAhdt=(Ahinf-Ah)/tauhA;
% Parameters
% I_T
% Note: current (nA), voltage (mV), conductances (uS),
dydt = [dvdt
dmdt=(minf-m)/taumNa; gT_=0.0;
time (msec), calcium (mM), cap (nF)
dNaPmdt
dhdt=(hinf-h)/tauhNa;
% I_H - hyperpolarization current
dNaPhdt
Tminf=1/(1+exp((v+38)/(-5))); gH_=0;
dmdt
Thinf=1/(1+exp((v+70.1)/7)); EH=-38.8;
dhdt
%
I_K
taumT=5/(exp((v+28)/25)+exp(-(v+28)/70))+2;
function dydt = pravaya(t,y)
dndt
tauK=5;
tauhT=20/(exp((v+70)/65)+exp(-(v+70)/65))+1;
Hminf=1/(1+exp((v+79.8)/5.3));
dNmdt
gK_=0;
gT=gT_*Tm*Th;
taumH=475/(exp((v+70)/11)+exp(-(v+70)/11))+50;
dNhdt
EK=-75;
iT=gT*(v-ECa);
gH=gH_*Hm;
v=y(1);
dPmdt
iH=gH*(v-EH);
NaPm=y(2);
dTmdt
ninf=1.0/(1.0+exp(-(v-20)/20));
dTmdt
=
(Tminf-Tm)/taumT;
NaPh=y(3);
dThdt
taun=tauK;
dThdt=(Thinf-Th)/tauhT;
dHmdt=(Hminf-Hm)/taumH;
m=y(4);
dSKzdt
gK=gK_*n*n*n*n;
h=y(5);
dBKzdt
iK=gK*(v-EK);
n=y(6);
dAmdt
% iCa - sum of Ca currents
Nm=y(7);
dAhdt
dndt=(ninf-n)/taun;
%
I_SK
%iCa=iN+iP+iT;
Nh=y(8);
dHmdt
SKhalf=0.008;
iCa
=
iN+iP;
Pm=y(9);
dCadt];
% I_leak
tauzSK=50;
Tm=y(10);
gl_=0.0064;
gSK_=0.046;
Th=y(11);
El=-50;
% Ca concentration [Ca++]i
SKz=y(12);
il=gl_*(v-El);
SKzinf=Ca*Ca/(Ca*Ca+SKhalf*SKhalf);
k1=-0.0005;
BKz=y(13);
gSK=gSK_*SKz*SKz;
k2=0.0024;
Am=y(14);
iSK=gSK*(v-EK);
Ah=y(15);
dCadt = k1*iCa-k2*Ca;
Hm=y(16);
% I_N
dSKzdt=(SKzinf-SKz)/tauzSK;
Ca=y(17);
Vm=-18;
Vh=-32;
taumN=0.8;
% I_BK
% STIMULATION
% I_NaP (Persistant Channel)
tauhN=15;
EBK0=20;
iamp=0.1;
v1=3;
gN_=0.09;
EBK1=-50;
ton=6000;
v2=5;
ECa=45;
BKhalf=0.01;
toff=9000;
vNaPm=-30;
tauzBK=20;
vNaPh=-45;
gBK_=0.0;
iStim=iamp*(((t-ton)>=0)-((t-toff)>=0));
gNaP_=0.1;
8
tauhNaP=150;
Прежде всего я хочу сказать,
что это была замечательно
качественная сессия. И я
сам многое почерпнул,
прослушав эти доклады. Я
только хотел бы, чтобы то, о
чем говорил профессор В.Л.
Дунин-Барковский, было бы
представлено более
подробно.
9
Речь пойдёт о методах и механизмах представлении непрерывно
изменяющихся величин в нейронных системах.
Один из таких механизмов известен давно – частотный код. В
отдельных рецепторах величина воздействия преобразуется в
частоту нервных импульсов.
Проблемы с кодированием возникли из-за того, что рецепторов, то есть
элементов, воспринимающих внешний мир , слишком много.
Часть из них, например рецепторы натяжения мышц работают «в
параллель», измеряя по существу одно и то же. Для таких систем
уже довольно давно получены важные результаты. Но не о них будет
речь в докладе.
Чаще всего, работа многих нервных элементов коррелированна, но
далеко не идентична.
10
Первая идея о том, как нервная система может поступать в подобных
случаях принадлежит Тейво Кохонену.
Эта идея описана во многих статьях и книгах как парадигма Кохонена
или система самоорганизующихся карт.
Суть идеи состоит в том, что с помощью довольно простых правил
обучения (правил формирования межнейронных связей) строится
топологически корректное отображение сигналов в пространстве
рецепторов на некоторые специфические нейронные цепочки.
Метод оказался полезным для многих практических приложений.
Единственный недостаток этого метода с точки зрения теоретической
нейрофизиологии в том, что таких нервных цепочек, которые нужны
Кохонену в нервных системах нет.
Альтернативой этим цепочкам как раз и являются бугорковые
аттракторы, или как их называет Е. Rolls «Нейронные сети с
непрерывным аттрактором (CANN) .
11
Похоже, что впервые эти объекты описаны в работе Н.Б. Осовец и моей,
опубликованной (и, по счастью, лично рассказанной великому
нейротеоретику современности Джону Джозефу Хопфилду) в 1995 г.
Эта конструкция стала популярной в последнее время под названием
«Бугорковые аттракторы» – Bump attractors .
Вот несколько ссылок на работы последних лет:
12
13
14
Тот факт, что эти аттракторы чуть ли не впервые описаны в наших
работах прошлых лет, cтал понятен (мне лично) совсем недавно.
Популярность же этого явления объясняется тем, что в последние годы
были обнаружены признаки наличия этих аттракторов в работе
реальных нервных систем.
Я расскажу о том, что такое эти аттракторы и о практических следствиях
того, как именно эти бугорковые аттракторы и другие важные свойства
нейронных систем были открыты.
15
16
17
Princeton, New Jersey,
USA, April 12, 2010. The
49-th Annivesary of the
Gagarin’s Flight 18
19
20
21
22
23
ГИПЕР
ГИПЕР
24
25
26
27
28
29
НЕ кольца: «Змея в ящике»
Определение кода, т.е.
набора состояний
(векторов) типа «Змея в
ящике».
31
[Dunin-Barkowski, Osovets, 1995]
32
[Dunin-Barkowski, Osovets, 1995]
33
[Dunin-Barkowski, Osovets, 1995]
34
Почему «бугорковый»? В интервалах времени за
N/4 тактов до моментов «2» и «3» в данной
нумерации нейронов активность выглядит как
бугорок:
В симметричной сети «бугорки»
представляют устойчивые состояния, а в
асимметричной – динамику активности сети.
36
До сих пор речь шла только об одномерных бугорковых аттракторах.
По аналогии с ними могут быть построены двумерные, трёхмерные и
т.д. олигомерные аттракторы. Размерность аттрактора должна быть
малой по сравнению с числом нейронов сети, обладающей данным
аттрактором.
Аккомодация нейронов в бугорковых аттракторах с размерностью,
превышающей единицу, вызывает блуждание активности в пределах
аттрактора. В одномерном аттракторе динамичность, обусловленная
аккомодацией, вызывает движение в одном из двух возможных
направлений. В двух-, трёх- и т.д. измерениях направлений дрейфа
активности – континуум.
Любопытно отметить, что дрейф состояния сети под влиянием
аккомодации в случае многомерного аттрактора очень похож на
интроспективное наблюдение за ходом собственной мысли.
37
Бугорковые аттракторы и соотношение аналоговых и
цифровых компонент в нейронных вычислениях
Одномерные бугорковые аттракторы (БА) удобны для
отображения числовой оси, то есть для представления чисел в
нейронной сети.
БА, полученные в сетях с асимметричным правилом
пластичности могут представлять числа только динамически.
БА, полученные за счёт симметричной пластичности, способны
представлять числа и в статике, и в динамике.
При отображении отрезка числовой оси на конечные множества с
одномерной топологией (в частности, одномерный БА) одним из
самых важных является вопрос о «кванте представления», или,
дополнительный к этому, вопрос о динамическом диапазоне
представляемых чисел.
В простейшем случае – вопрос о «числе чисел» в представлении,
то есть вопрос о числе различимых дискретных значений. В
компьютерах имеющиеся ресурсы для представления чисел
используются исчерпывающим образом. Ячейка размером n бит
используется для представления 2n значений чисел.
38
Такую предельную эффективность использования
вычислительных объектов естественно назвать цифровой.
Другая крайность – аналоговое представление состоит в том,
что каждый вычислительный объект представляет конкретное
число, как бы выступает физическим аналогом абстрактного
числа. При аналоговом представлении n вычислительных
объектов представляют не более n чисел.
Уже в нашем первом примере бугоркового аттрактора [ДунинБарковский, 1984] число использованных состояний нейронной
сети составляло около 2х n, то есть было существенно выше
аналогового нижнего предела. Из общих соображений ясно и было
обнаружено в вычислительных экспериментах, что с ростом
числа нейронов сети легче получить относительно большее
число различимых элементов аттрактора. Так, в сети из 256
нейронов, легко можно было записать 5 полных колец
активности (5х n различимых элементов), в то время как в сети
из 30 нейронов больше 2-х полных колец записать не удаётся.
39
Таким образом, бугорковые аттракторы
представляют природный гибрид аналогового и
цифрового представления информации в
информационно-вычислительных системах.
Важной и интересной является задача поиска
методов идентификации конкретных бугорковых
аттракторов в реальных физиологических
нейронных системах. Вероятно, может помочь
при этом метод визуализации многомерных
динамических данных – Л-картирование (L-plots)
[Dunin-Barkowski et al., 2010].
40
Постановка задачи поиска «Кода разума»
Существуют разные точки зрения на проблему того, когда и как
будет достигнуто достаточно полное понимание механизмов
мозга. Пессимисты говорят о будущих веках, оптимисты
ожидают получение решения в ближайшие годы. Я приведу
аргументы оптимистов.
Исторические аргументы
На протяжении жизни присутствующих произошло
немало великих событий. Например, в 1957-м году
мне было 15 лет, и я прекрасно помню в начале 1957го года статью в журнале «Техника-моложёжи» о том,
что близка космическая эра. Не пройдёт, мол, и 50-100
лет и человечество выйдет в космос.
41
О том, что событие то произойдёт прямо в том же, 1957-м году и
речи не было…
Так что 4 октября 1957-го года пришло совершенно неожиданно (и
совершенно таким же сюрпризом был полёт Гагарина в 1961-м
году).
Предшествующим выходу человека в космос безусловно
великим
событием была публикация в 1953 г. в журнале Nature Уотсона и Крика о
двойной спирали ДНК. Разумеется, я не читал Nature в 1953 году. Но я
помню некоторый ажиотаж в средствах массовой информации в 1960 году
по поводу того, что нашлись сумасшедшие, которые думают, что они могут
расшифровать код жизни – то есть понять, как мать-природа
записывает структуру белков с помощью последовательности
нуклеотидов. Совершенно немыслимо было представить себе, что за
каких-то пять лет, уже в 1965 году, работа будет сделана. А триумф
молекулярной биологии, начавшийся в то время, продолжается и сейчас.
Так что поиски кода жизни были отнюдь не напрасны и исследователи,
провозгласившие тогда великие цели, не были сумасшедшими…
42
43
Субъективные обстоятельства
…12 апреля 2010 г. (49-я годовщина полёта Гагарина) Джон Джозеф
Хопфилд принял меня в своём офисе почётного профессора
Принстонского университета. Мы обсуждали состояние дел в
нашей с ним сфере науки – понимании мозга. Хопфилд напомнил
мне, что сверхпроводимость была обнаружена в 1913 году.
Однако, до 1927 г. (рождение квантовой механики) не было никаких
шансов понять физические причины этого явления. И даже и
после того, понимание механизмов сверхпроводимости начало
приходить постепенно, с 1951 г. в теории Гинзбурга и Ландау и
последующих работ… Сейчас есть много признаков того, что
мы начинаем понимать отдельные, четко выделяемые
механизмы работы мозга. Я бы предложил несколько
расплывчатый, но полезный термин «код разума» в качестве
общего названия для множества элементарных информационных
или динамических операций, выполняемых в мозге, которые
коллективно обеспечивают нас тем, что называется разум.
44
Идентификация полного набора элементов кода разума
представляется одной из важнейших актуальных задач
современной науки. Я рискнул высказать Хопфилду
предположение, что решение этой задачи будет получено в
течение трёх лет. Отсчёт времени начат 12 апреля 2010 года.
Хотя я бы не удивился, если бы результат был получен к 12
апреля 2011 г.
Разумеется наша задача формулируется гораздо более туманно,
чем упомянутая выше задача поиска кода жизни (они знали, что
имеется в точности 64 триплета нуклеотидов!). Однако,
имеются серьёзные шансы на то, что проблема имеет решение.
Уже сейчас мы можем назвать конкретные элементы кода разума.
Бугорковые аттракторы заведомо являются таким элементом
или, скорее, семейством элементов (В принципе, существует
несколько достаточно чётко различимых форм бугорковых
аттракторов (БА). Например, кроме одномерных, возможны двухтрёх- и вообще олигомерные формы БА).
45
Очень предварительный, начальный список элементов кода
разума может включать следующие конкретные механизмы
или группы механизмов мозга:
1. Персептроны (во многих формах).
2. Коллатеральные сети Девида Марра [Marr, 1971], которые с
1982 года называют сетями Хопфилда, в честь функции
энергии Хопфилда, которая полезна при анализе таких сетей.
3. Генераторы центральных программ (Central Pattern Generators
or CPG) [Grillner, 2008].
4. Операция выявления множественного равенства (“Many Are
Equal” or MAE), существование которого было предположено
Хопфилдом [Hopfield, Brody 2000/2001]. Эта операция относится к
широкому классу операций, связанных с поимпульсной
синхронизацией нейронов, работающих с близкими частотами.
5. Стохастический резонанс. Многие нейронные конструкции
нуждаются для функционирования в оптимальной (очень во
многих случаях существенно не нулевой) величине случайного
шума.
6. Бугорковые аттракторы, как описано выше.
…список далеко не полный и может/должен быть продолжен…46
Дополнительные субъективные обстоятельства.
Следует отметить ещё одно обстоятельство. Не вызывает
сомнений тот факт, что до сих пор наиболее успешными
нейротеоретиками были Девид Марр и Джон Хопфилд. Период
работы Марра в области нейросетевых механизмов был очень
коротким (1969-1971) и необычайно продуктивным. Хопфилд
подключился к исследованиям операций в мозге уже в зрелом
возрасте и начал с «переоткрытия» коллатеральной сети Марра,
обнаружив, правда, рядом с этой конструкцией эффективный
аналитический «энергетический» подход, вытекающий из его
профессиональной работы в физике твёрдого тела. Новые
элементы реального понимания реальных механизмов мозга
пришли к нему позже, когда он, не последовав примеру своих
последователей в построении аналитических теорий
«нейромагнетиков», стал искать простые вопросы относительно
работы нейронных систем и получать простые естественные
ответы на них.
47
Естественно отметить две общие черты, которые, возможно, были
среди определяющих компонент, «ответственных» за успех этих
исследователей. Первое – это эффект новичка: успеха достигли
молодой, не отягощённый избытком знаний Девид Марр и
специалист в совершенно посторонней для мозга области науки
Джон Хопфилд. И второе (которое, быть может явилось следствием
первого) – смелость задаваться любыми разумными вопросами
относительно работы мозга и серьёзно искать ответ на
поставленные вопросы. Я бы рискнул сказать, что достигнутый
этими исследователями прогресс является скорее следствием того,
что сама задача выявления механизмов мозга не сложна, надо
только перестать её бояться.
И ещё одно обстоятельство. Изначальное понимание «двойной
спирали» пришло к Уотсону и Крику в процессе манипуляций с
проволочными моделями нуклеотидов, из которых они поняли, что
длины парных комбинаций нуклеотидов А-Г и Т-Ц одинаковы.
Именно это обстоятельство позволило объяснить рентгенограмму
кристаллов ДНК. А уже вслед за этим пришло понимание механизма
репликации ДНК и задача поиска кода жизни.
48
Нетрудно видеть, что детальный «теоретический» анализ
проблем сущности жизни, предпринятый незадолго до
открытия Уотсона и Крика Шредингером (в книге «Что такое
жизнь с точки зрения физики»), оказался продуктивным только
в одном отношении: и Уотсон, и Крик, и многие другие пионеры
молекулярной биологии восприняли книгу Шредингера как
призыв заняться самой важной, самой актуальной проблемой
науки того времени.
Начало понимания бугорковых аттракторов пришло примерно
в таких же, как у Уотсона и Крика, упражнениях с простыми
объектами («бумажно-проволочная» модель нейронной сети).
Не исключено, что и дальнейший поиск элементов кода разума
должен быть «не слишком заумным» и быть безбоязненно
нацеленным на достаточно быстрое и полное понимание
механизмов мозга.
49
Моё выступление, кажется, звучит как призыв отказаться от
математики в поисках механизмов работы мозга.
На самом деле, я не совсем это имел в виду.
Для тех же самых бугорковых аттракторов существует очень
сложная математическая проблема оптимальной упаковки
олигомерного многообразия в пространстве состояний
нейронной сети. Задачи такого рода известны в теории
кодирования сигналов, и отличаются очень большой
сложностью, и требуют сложной и очень объёмной
вычислительной работы.
Единственное, к чему действительно хотелось бы призвать – это
к смелости постановки задач и максимальной кооперативности в
проблемах поиска решения наших задач.
А их решение, похоже, уже «совсем не за горами».
СПАСИБО ЗА ВНИМАНИЕ!
50