Нейросетевой метод решения обратной задачи

ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
А.Г. ГУЖВА1, С.А. ДОЛЕНКО1, Е.А. ОБОРНЕВ2,
И.Г. ПЕРСИАНЦЕВ1, М.И. ШИМЕЛЕВИЧ2
1
НИИ ядерной физики им. Д.В. Скобельцына МГУ им. М.В. Ломоносова,
Москва
2
Российский государственный геологоразведочный университет
им. С. Орджоникидзе, Москва
[email protected]
НЕЙРОСЕТЕВОЙ МЕТОД РЕШЕНИЯ ОБРАТНОЙ ЗАДАЧИ
ГЕОЭЛЕКТРИЧЕСКОГО МОНИТОРИНГА ПАРАМЕТРОВ
В ТРЁХМЕРНЫХ СРЕДАХ
В данной работе сообщается о некоторых подходах к нейросетевому
решению обратной задачи (ОЗ) геоэлектрического мониторинга параметров в трёхмерных (3D) средах, на примере трёх модельных задач с возрастающей сложностью. Ввиду высокой размерности как по входу (количеству наблюдаемых переменных), так и по выходу (количество параметров,
описывающих распределение электропроводности), решение 3D ОЗ представляет собой сложную вычислительную задачу даже при использовании
НС методов. Использование аппаратной поддержки НС вычислений на
основе технологии NVIDIA CUDA позволило провести все необходимые
вычисления и продемонстрировать перспективность НС подхода.
Введение
Решение обратной задачи (ОЗ) электроразведки в геофизике представляет собой процесс построения оператора, отображающего вектор данных
о наблюдаемых на поверхности земли значениях характеристик электромагнитного поля в вектор искомых геофизических параметров, описывающих распределение электропроводности в исследуемой подземной области. Реальные распределения чрезвычайно сложны, и для их описания
требуется очень большое количество параметров, что приводит к известной неустойчивости (некорректности) ОЗ электроразведки [1].
Нейронные сети (НС) являются одним из инструментов, применяемых
для решения ОЗ, в том числе и для решения ОЗ электроразведки [2]. Однако одной из основных проблем при решении этой задачи, в том числе и
с помощью НС, является её весьма высокая размерность, как по входу, так
и по выходу. Количество определяемых параметров, описывающих распределение электропроводности, даже для двумерного (2D) случая может
УДК 004.032.26(06) Нейронные сети
112
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
составлять несколько сотен, а размерность входного вектора электромагнитных полей – несколько тысяч или десятков тысяч.
Рассматриваемая проблема имеет два аспекта. Первый из них – сложность и некорректность самой ОЗ, накладывающие естественные ограничения на возможную точность её решения. Второй – высокая вычислительная сложность и, соответственно, высокая вычислительная стоимость
решения, иногда делающие решение невозможным за приемлемое время.
Частично бороться с первой проблемой позволяет рассмотрение нескольких различных моделей распределения (разреза), каждая из которых
описывается меньшим количеством параметров, чем общая модель, и
описывает более узкий класс распределений, позволяя решать ОЗ с более
высокой точностью. Однако для определения наиболее адекватной модели необходимо научиться с достаточно высокой точностью решать задачу
классификации в достаточно сложной постановке – определять модель
распределения по вектору наблюдаемых полей [3].
Снижение вычислительной стоимости нейросетевого решения ОЗ может быть достигнуто путём компрессии входного вектора полей, причём
при правильном осуществлении такой компрессии качество решения ОЗ
также повышается [4]. Помимо этого, для ускорения нейросетевых вычислений может быть использована аппаратная поддержка с помощью
графических процессоров серийно выпускаемой видеокарты на основе
технологии NVIDIA CUDA. С помощью этой технологии авторам данной
работы удалось снизить эффективное время нейросетевых вычислений
при решении двумерной ОЗ электроразведки на два порядка [5].
При переходе от 2D к 3D задачам, позволяющим более адекватно описывать реальные распределения электропроводности, описанные проблемы обостряются. При этом если увеличение вычислительной стоимости
решения носит чисто количественный характер, и с ним можно бороться с
помощью аппаратной поддержки вычислений, то переход к 3D рассмотрению, вообще говоря, усиливает некорректность ОЗ и ставит под сомнение принципиальную достижимость приемлемой точности решения.
Наличие аппаратной поддержки позволяет проводить вычислительные
эксперименты с 3D моделями и ставит на повестку дня вопрос о достижимом качестве решения ОЗ в 3D случае для разных моделей распределения.
Данная работа посвящена рассмотрению трёх достаточно простых 3D
ОЗ с возрастающей сложностью, причём рассмотренные модели уже позволяют ставить и отчасти решать некоторые практические задачи – в
частности, задачу геоэлектрического мониторинга параметров, т.е. задачу
УДК 004.032.26(06) Нейронные сети
113
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
восстановления значения параметра с использованием минимального количества компонент вектора полей.
Задача 1: Неоднородная плита
В качестве первой и наиболее простой была исследована 3D модель
П-9 (Плита-9), представляющая собой неоднородную плиту, погруженную в однородное плохо проводящее пространство (рис.1). Плита состоит
из 9 прямоугольных блоков с различным удельным сопротивлением. Параметрами модели γ1, …, γ9 являются удельные сопротивления блоков.
Общий размер плиты 6х6 км, мощность (толщина) составляет 1500 м.
Верхняя граница плиты находится на глубине 2000 м, общие размеры разреза по горизонтали составляют Y=X=79657м, по вертикали –Z=37825 м.
При формировании модельного класса GП-9 на основе модели П-9 значения удельных сопротивлений девяти блоков, образующих аномальную
зону, варьировались в пределах от 1 до 100 Ом м, а удельное сопротивление вмещающей среды (ячейки с индексом 10 на рис. 1) оставалось неизменным и составляло 100 Ом·м.
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
1
1
1
1
1
4
4
4
4
7
7
7
7
7
10
10
10
10
1
1
1
1
1
4
4
4
4
7
7
7
7
7
10
10
10
10
1
1
1
1
1
4
4
4
4
7
7
7
7
7
10
10
10
10
1
1
1
1
1
4
4
4
4
7
7
7
7
7
10
10
10
10
1
1
1
1
1
4
4
4
4
7
7
7
7
7
10
10
10
10
2
2
2
2
2
5
5
5
5
8
8
8
8
8
10
10
10
10
2
2
2
2
2
5
5
5
5
8
8
8
8
8
10
10
10
10
2
2
2
2
2
5
5
5
5
8
8
8
8
8
10
10
10
10
2
2
2
2
2
5
5
5
5
8
8
8
8
8
10
10
10
10
3
3
3
3
3
6
6
6
6
9
9
9
9
9
10
10
10
10
3
3
3
3
3
6
6
6
6
9
9
9
9
9
10
10
10
10
3
3
3
3
3
6
6
6
6
9
9
9
9
9
10
10
10
10
3
3
3
3
3
6
6
6
6
9
9
9
9
9
10
10
10
10
3
3
3
3
3
6
6
6
6
9
9
9
9
9
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
10
X
Y
Рис. 1. Модель П-9. Пунктирным контуром показаны границы блоков,
конечно-разностная сетка прямой задачи обозначена тонкими линиями.
Цифры в ячейках конечно-разностной сетки (от 1 до 9) указывают на приУДК 004.032.26(06) Нейронные сети
114
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
надлежность микроячеек соответствующему блоку плиты. Ячейки с индексом 10 соответствуют вмещающей среде. Жирными черными сплошными линиями обозначена система профилей, на основе которых строится
решение обратной задачи
Размеры аномальной зоны модели П-9 по горизонтали составляли
7×7 км (18×18 ячеек). В процессе расчета прямой задачи (ПЗ) рассчитывались 4 компоненты электромагнитного поля Ex, Ey, Hx, Hy для двух поляризаций на 4-х периодах: 0.3, 1, 3, 10 с. Для области, находящейся непосредственно над аномальной зоной (плитой), общее число M компонент
входного вектора данных для решения ОЗ β=(β1, β2, …, βM) составило
18×18×4×4×2=10368 значений.
По имеющемуся опыту, невозможно эффективно провести обучение
НС с входными векторами такой размерности. Поэтому, даже для такой
сравнительно простой 3D модели, необходимо было осуществить сжатие
или прореживание входной информации. В данном примере обучение НС
для модели, представленной на рис. 1, производилось на основе данных
одной поляризации прореженного входного вектора, сформированного по
25 точкам наблюдения (по сети 5×5). Точки наблюдения расположены на
плоскости XY непосредственно над плитой в точках пересечения профилей (узлы жирной сетки на рис. 1). Размерность входного вектора β составила, таким образом, 5×5×4×4=400 значений.
Общая база данных (БД) эталонных примеров для модельного класса
GП-9 насчитывала 3000 решений прямых 3D задач. Имевшийся массив
данных из 3000 примеров был разбит на тренировочный (2100 примеров),
тестовый (600 примеров) и экзаменационный (300 примеров) наборы.
Для каждого из 9 определяемых параметров (проводимостей областей)
были натренированы по 2 НС – персептроны с 8 нейронами в единственном скрытом слое и с 4+3+2 нейронами в трёх скрытых слоях. Аппаратная
поддержка для данной задачи не использовалась.
Точность решения ОЗ во всех случаях оказалась очень высокой, причём обе архитектуры показали сравнимые результаты. В табл. 1 приведены результаты, показанные для каждого из определяемых параметров на
экзаменационном наборе: среднеквадратичное отклонение СКО и среднее
относительное отклонение СОО, выраженное в процентах. Коэффициент
множественной детерминации R2 во всех случаях превышал 0.9995.
Таблица 1
УДК 004.032.26(06) Нейронные сети
115
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Статистические показатели НС для модели П-9
(на экзаменационном наборе данных)
№ парам
1
2
3
4
5
6
7
8
9
СКО
0.42 0.47 0.51 0.51 0.64
0.55 0.43 0.50 0.54
СОО, % 0.82 1.16 1.05 1.01 1.49
1.15 1.21 1.37 0.97
Пример моделирования геоэлектрического мониторинга
При моделировании геоэлектрического мониторинга все параметры
плиты γ1, …, γ9 менялись, но объектом мониторинга являлся 5-ый параметр γ5, соответствующий центральному блоку неоднородной плиты
(ячейки с индексом 5 на рис. 1). Для применения НС был подготовлен
специальный экзаменационный набор эталонных примеров решений прямых задач, моделирующих около 100 геодинамических событий, при которых удельное сопротивление параметра γ5 сначала падает, а затем возрастает. При этом остальные параметры варьировались случайным образом. Таким образом, для мониторинга применялась НС, построенная при
условии изменения всех 9 параметров плиты. Данная постановка задачи
отвечает неопределенной ситуации, когда отсутствует достаточная априорная информация о характере изменения параметров изучаемой модели.
В эксперименте определялась минимальная сеть наблюдений (СН) над
центральным блоком плиты, позволяющая получать результаты решения
ОЗ с приемлемой погрешностью. Были протестированы СН с расположением непосредственно над блоком, являющимся объектом мониторинга:
первоначальная сеть (квадрат 5×5), уменьшенная сеть (квадрат 3×3), сеть
типа крест (5 точек), сеть типа ромб (4 точки, крест без центральной точки) и сеть типа центр (1 точка). Статистические показатели на специальном экзаменационном наборе для различных СН приведены в табл. 2.
Таблица 2
Статистические показатели НС для модели П-9
для различных сетей наблюдения
(на специальном экзаменационном наборе данных)
СН, точек
R2
СКО
СОО, %
25
0.999
0.85
1.02
9
0.999
0.67
1.03
5
0.999
0.65
0.98
4
0.868
8.24
14.81
УДК 004.032.26(06) Нейронные сети
1
0.461
16.66
32.51
116
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Из анализа результатов, приведенных в табл. 2, видно, что при данной
постановке задачи мониторинг значений удельного сопротивления параметра γ5 можно проводить с достаточной точностью по сети наблюдения
из 5 точек типа крест. При этом число точек наблюдения сокращается в 5
раз по сравнению с полной сетью типа квадрат 5×5. Отметим, что критичными для качества решения ОЗ являются как наличие наблюдения в центральной точке, расположенной непосредственно над объектом мониторинга, так и наличие наблюдений в нескольких других точках.
Задача 2: Неоднородный куб
Наиболее сложная из рассмотренных моделей – модель К-99, в которой аномальная зона представляет собой куб (точнее, параллелепипед) с
неоднородной проводимостью, погружённый в однородное плохо проводящее пространство (рис. 2).
УДК 004.032.26(06) Нейронные сети
117
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Рис. 2. Модель К-99. Жирными черными сплошными линиями показаны
границы блоков, имеющих различную проводимость, соответствующую
параметрам, определяемым в ходе решения ОЗ. Конечно-разностная сетка
прямой задачи обозначена тонкими линиями. Цифры в ячейках конечноразностной сетки (от 1 до 99) указывают на принадлежность микроячеек
соответствующему блоку куба. Ячейки с индексом 99 соответствуют
вмещающей среде
При формировании модельного класса GК-99 (Куб-99) была использована структура класса GП-9. Аналогично тому, как это было сделано для
модели П-9, значения удельных сопротивлений менялись для 99-ти блоков, образующих аномальную зону, и варьировались в пределах от 1 до
100 Ом·м. Значение удельного сопротивления вмещающей среды (ячейки
с индексом 99 на рис. 2) оставалось постоянным и составляло 100 Ом·м.
УДК 004.032.26(06) Нейронные сети
118
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Размеры блоков с глубиной увеличивались по координатам XY, образуя четыре яруса неравномерных блоков. Аномальная зона начинается с 6
слайса (среза) на глубине 2500 м. Мощность первого яруса 750 м, второго
500 м, третьего 250 м и четвертого 500 м.
Размеры аномальной зоны модели К-99 по горизонтали составляли
38×38 ячеек. В процессе расчета прямой задачи (ПЗ) рассчитывались 4
компоненты электромагнитного поля Ex, Ey, Hx, Hy для двух поляризаций на 4-х периодах: 0.3, 1, 3, 10 с. Для всей области расчёта ПЗ общее
число M компонент входного вектора данных для решения ОЗ
β=(β1, β2, …, βM) составило 38×38×4×4×2=46208 значений.
Обучение НС для модели, представленной на рис. 2, производилось на
основе данных одной поляризации входного вектора, сформированного
по 324 точкам наблюдения (по сети 18×18), лежащим в области, находящейся непосредственно над аномальной зоной (кубом). Прореживание
сетки наблюдений здесь не производилось, так как данная задача заведомо являлась более сложной, чем для модели П-9, уже ввиду наличия нескольких слоёв по глубине, и оценить заранее достаточное количество
точек в сетке наблюдения было невозможно. Размерность входного вектора β составила, таким образом, 18×18×4×4=5184 значения, т.е. оставалась достаточно велика. Отметим, что на данном этапе исследований
адаптивная компрессия данных не проводилась.
Результаты решения ОЗ для модели К-99 будут приведены ниже.
Задача 3: Неоднородно-слоистая среда
Промежуточная по сложности модель С-99 получена из модели К-99
путём её упрощения. Аномальная зона для данной модели представляет
собой совокупность трёх расположенных друг над другом неоднородных
плит, погружённую в однородное плохо проводящее пространство
(рис. 3).
При формировании модельного класса GС-99 (Слой-99) была использована структура класса GК-99. Аналогично предыдущему случаю, значения
удельных сопротивлений менялись для 99-ти блоков, образующих аномальную зону, и варьировались в пределах от 1 до 100 Ом·м. Значение
удельного сопротивления вмещающей среды (ячейки с индексом 99 на
рис. 3) оставалось постоянным и составляло 100 Ом·м.
УДК 004.032.26(06) Нейронные сети
119
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Рис. 3. Модель С-99. Жирными линиями показаны блоки, соответствующие макропараметрам, определяемым в ходе решения ОЗ. Разностная сетка прямой задачи обозначена тонкими линиями. Цифры в ячейках конечно-разностной сетки (от 1 до 99) указывают на принадлежность микроячеек соответствующему блоку слоистой структуры. Ячейки с индексом 99
соответствуют вмещающей среде
Размеры блоков с глубиной увеличивались по координатам XY, составляя 3 яруса неравномерных блоков, образующих сплошные плиты,
отделенные друг от друга вмещающей средой (ячейками с индексом 99).
Аномальная зона начинается с 6 слайса (среза) на глубине 2500 м. Мощность первого яруса 500 м, второго 250 м, третьего 500 м.
Размерность входного вектора β для данной модели рассчитывалась
полностью аналогично модели К-99 и составила 5184. На данном этапе
УДК 004.032.26(06) Нейронные сети
120
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
адаптивная компрессия данных для этой модели также не проводилась.
Результаты НС решения ОЗ для моделей К-99 и С-99
Базы данных (БД) эталонных примеров для модельных классов GК-99 и
GС-99 насчитывали по 6000 решений прямых 3D задач. Для каждого из
модельных классов имевшийся массив данных из 6000 примеров был разбит на тренировочный (4200 примеров), тестовый (1200 примеров) и экзаменационный (600 примеров) наборы.
Так как размерность ОЗ для обеих моделей была достаточно велика
(5184 входа, до 100 выходов), для ускорения вычислений была использована аппаратная поддержка на основе технологии NVIDIA CUDA [5]. Для
вычислений использовался серийно выпускаемый видеоадаптер NVIDIA
GTX 260. Для устранения влияния начальной инициализации весов и порядка случайного предъявления примеров, для каждой НС проводилось
по 5 запусков; их результаты усреднялись. Таким образом, для каждой
выходной переменной каждой из моделей были натренированы 500 персептронов с 8 нейронами в единственном скрытом слое. Тренировка каждой сети прекращалась через 150 эпох после достижения сетью минимума
ошибки на тестовом наборе данных. При этом общее время тренировки
для каждой модели составило около 3 часов.
В табл. 3 приведены полученные результаты на экзаменационном
наборе данных, усреднённые по пяти запускам для каждой НС и по всем
параметрам для каждого из слоёв. Приводятся среднеквадратичное отклонение СКО и коэффициент множественной детерминации R2. Нумерация
параметров приводится в соответствии с рис. 2, 3.
Таблица 3
Усреднённые статистические показатели НС для моделей К-99 и С-99
(на экзаменационном наборе данных)
Слой модели
1
2
3
Параметры
1-25 51-66
83-91
СКО, К-99
4.6
14.9
23.3
СКО, С-99
4.5
15.4
16.1
R2, К-99
0.97
0.65
0.17
R2, С-99
0.97
0.63
0.60
Обратим внимание на следующие особенности.
УДК 004.032.26(06) Нейронные сети
4
92-95
10.6
0.83
-
121
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
1. В целом качество решения рассмотренных модельных ОЗ является
приемлемым и свидетельствует о применимости НС подхода для решения
трёхмерных обратных задач электроразведки, в том числе уже и для достаточно сложных моделей, позволяющих описывать реально существующие геологические структуры.
2. Для верхнего слоя полученное качество решения ОЗ одинаково для
моделей К-99 и С-99 и немногим ниже, чем качество решения ОЗ для модели П-9. Последнее может быть связано со значительно большим числом
входных переменных в обеих многослойных задачах.
3. Для второго слоя качество решения становится заметно хуже. Это
явление может быть объяснено с физической точки зрения экранированием нижних слоёв верхними. Аналогичный эффект наблюдается для сложных 2D задач [4].
4. Для нижнего из имеющихся слоёв (четвёртый для модели К-99 и
третий для модели С-99) качество решения остаётся приемлемым (С-99)
или даже возрастает (К-99).
5. Наихудшие результаты получены при решении ОЗ для параметров
третьего слоя в модели К-99. Это связано с тем, что данный слой экранируется вышележащими слоями, и является следствием некорректности
решаемой ОЗ. Аналогичный эффект (деградация качества решения ОЗ при
увеличении глубины) наблюдается и для сложных 2D задач [4].
Заключение
В работе на примере трёх модельных задач с возрастающей сложностью показано, что НС могут успешно применяться для решения трёхмерных ОЗ электроразведки.
На примере решения задачи геоэлектрического мониторинга в рамках
простой модели показано, что количество пространственных точек
наблюдения для мониторинга проводимости в одной точке может быть
сильно сокращено. Необходимым является проведение измерений в точке
непосредственно над объектом мониторинга, а также всего в нескольких
других точках, обеспечивающих смещение по каждой из пространственных координат X, Y.
Рассмотрение более сложных моделей позволило обнаружить некоторые ограничения на точность решения ОЗ, накладываемые её некорректным характером, зависящие от глубины исследуемого блока и его экранирования вышележащими слоями.
УДК 004.032.26(06) Нейронные сети
122
ISBN 978-5-7262-1226-5. НЕЙРОИНФОРМАТИКА – 2010. Часть 2
Дальнейшие исследования могут развиваться в нескольких направлениях. Понижение размерности входного вектора НС с помощью адаптивных алгоритмов может позволить повысить точность решения ОЗ, как это
было продемонстрировано для 2D задачи в [4]. Для моделей К-99 и С-99
следует провести исследование по минимизации сети наблюдения для
целей геоэлектрического мониторинга, аналогично тому, как это было
проделано для модели П-9. Для обеспечения возможности практического
применения НС методов для решения трёхмерных ОЗ электроразведки
следует продвигаться по пути дальнейшего усложнения рассматриваемых
моделей, с определением как точности решения ОЗ в пространстве определяемых параметров разреза, так и невязки восстановленного поля при
решении прямой задачи на основе результатов решения обратной задачи.
Работа выполнена при поддержке РФФИ, проект № 07-07-00139-а.
Список литературы
1. Бердичевский М.Н., Дмитриев В.И. Обратные задачи магнитотеллурики в современной постановке. // Физика Земли. 2004. № 4. С. 12-29.
2. Шимелевич М.И., Оборнев Е.А., Гаврюшов С.А. Техника построения нейронных сетей для решения многопараметрических обратных задач
магнитотеллурического зондирования. Изв. вузов, Геология и разведка,
2001, №2, с.129-137.
3. Dolenko S.A., Obornev E.A., Persiantsev I.G., Shimelevich M.I.. Use of
Adaptive Neural Network Based Algorithms of Data Classification in the Solution of the Inverse Problem of Electrical Prospecting. // 9th International Conference "Pattern Recognition and Image Analysis: New Information Technologies" (PRIA-9-2008): Conference Proceedings. Nizhni Novgorod, 2008. Vol. 1.
P. 100-103.
4. Dolenko S., Guzhva A., Obornev E., Persiantsev I., Shimelevich M.
Comparison of Adaptive Algorithms for Significant Feature Selection in Neural
Network Based Solution of the Inverse Problem of Electrical Prospecting. // Lecture Notes in Computer Science. 2009. Vol. 5769. P. 397-405.
5. Guzhva A., Dolenko S., Persiantsev I. Multifold Acceleration of Neural
Network Computations Using GPU. // Lecture Notes in Computer Science.
2009. Vol. 5768. P. 373-380.
УДК 004.032.26(06) Нейронные сети
123