Информация как физическая реальность Термодинамика

А.Я. Бекшаев
Физические основы ЭВМ
Лекции для студентов 4-го курса
физического факультета ОНУ,
Специализация
"Компьютерная физика"
2007 – 2009
Информация как физическая реальность
Термодинамика вычислений
Информация: знание некоторых характеристик физической системы.
Физическая система объективно характеризуется значениями координат,
скоростей, масс, температур, электрических и магнитных полей, и т.д.
всех ее составляющих.
Но есть еще и внешний по отношению к системе наблюдатель
(познающий субъект), который может иметь или не иметь знание об этих
величинах.
Оказывается, объективное описание системы недостаточно. Мы должны
явно или неявно учитывать присутствие наблюдателя и его возможности.
Определение Вселенной (ФЭ, 1988):
окружающая часть материального мира, доступная наблюдению.
Принципиальное ограничение объема доступных знаний о системе
определяет фундаментальные законы ее поведения.
Статистическая термодинамика
Теория когерентности в оптике
Теория относительности
Квантовая механика
Представление информации – кодирование
Информация кодируется состояниями некоторых "стандартных" физических
систем, "приспособленных" для этой цели (носителей):
чернила на бумаге;
электромагнитное, звуковое и т.д. поле;
костяшки на счетах;
положение стрелки;
проницаемость мембран в нейронах;
электрический потенциал;
намагниченность;
пропускание (отражение) света;
и т.д.
Если информация кодируется непрерывным процессом (величина –
носитель может принимать непрерывный ряд значений), то представление
называется аналоговым
Если носитель принимает дискретный ряд значений, то представление
называется дискретным, или цифровым
Содержание информации не должно зависеть от специфики носителя.
Каждый носитель является физическим объектом и подчиняется общим
законам физики.
Информация, как совокупность знаний о физическом объекте и как
состояние некоторой физической системы, является элементом физической
реальности.
Двойственнная "физичность" информации:
она отражает свойства физической системы (объекта)
+ сама выражается через состояние физической системы (носителя)
Обработка информации подчиняется общим законам, вытекающим из
самой природы носителей как физических систем
Эти законы определяют реальное поведение и возможности любых
информационных устройств:
от человеческого мозга…
до искусственного мозга, в т.ч. компьютеров
Физические свойства каждого конкретного носителя накладывают свои
дополнительные требования, которые определяют особенности работы
конкретных систем
МЕРА ИНФОРМАЦИИ
Нет информации: незнание
Набор возможностей, между
которыми можно выбирать.
Неопределенность
Есть информация: знание
Выбор из набора возможностей
совершен.
Определенность
Извлечение информации: выбор из набора возможностей.
Элементарный выбор: из двух равновероятных возможностей (дихотомия).
Простейшая информационная ячейка:
бинарный элемент
Знание, полученное в результате элементарного выбора –
одна двоичная единица информации (binary unit = bit)
В общем случае: определить какую-либо величину значит указать способ
ее измерения.
Количество информации можно определить, указав способ устранения
начальной неопределенности. Его всегда можно свести к
последовательности элементарных выборов между двумя возможностями.
Последовательность вопросов, на которые можно ответить "да" или "нет"
Наименьшее количество таких вопросов – мера извлекаемой информации
Пример
Нужная ячейка находится за два шага
В случае N = 2n ячеек потребуется n = log2N шагов
Если N  2n , 2n–1 < N < 2n число шагов может быть то n – 1, то n; в среднем log2N
Если две возможности не равновероятны, то иногда можно угадать результат и без
всякого измерения, просто указывая на более вероятную ячейку.
Среднее число шагов < 1
Левая ячейка с вероятностью p1, правая p2 = 1 – p1: n = –(p1log2p1 + p2log2p2)
N
Общий случай: количество информации по Шеннону
При pi = 1/N
N
N
i 1
i 1
I   pi log 2 pi
I    1 N  log 2 1 N   1 N   log 2 N  log2 N
i 1
Любая информация может быть представлена в виде совокупности состояний
бинарных элементов: иначе говоря, нулей и единиц
Пример: числовая информация
a020 + a121 + a222 + … + an–12n–-1 = {an–1an–2 … a1a0}
5 = 120 + 021 + 122 = {101}
n разрядов
Физическая реализация бинарных элементов: любая система с двумя устойчивыми
состояниями
Потенциальная энергия
Модель: потенциальные
барьеры = стенки
молекула
Рассмотрим на примерах общие закономерности процессов обработки информации
Основные операции: запись (копирование) и стирание
Копирование (запись)
Частица движется бесконечно
медленно (обратимо)
Начинает испытывать силу
(например, дипольную)
Заготовка для копии
(пустая ячейка)
Копируемая ячейка (оригинал)
Состояние ячейки скопировано
Закрепление:
восстанавливаются перегородки
Все поля консервативны: суммарная работа всех сил равна нулю
Трение пропорционально скорости и может быть произвольно слабым
Копирование информации всегда возможно; оно может
происходить без диссипации энергии и без возрастания энтропии
Копирование = измерение. Измерение также всегда возможно и может
происходить бездиссипативно (обратимо)
Важное условие: заготовка для копии пустая (не требуется стирать ранее
записанную информацию).
Копирование (запись)
Стирание
1
0
Битовая ячейка
в одном из двух состояний
Удаляется перегородка,
вставляется поршень
Поршень сдвигается так, что
независимо от начального
состояния молекула оказывается
в левой половине (0)
Перегородка восстанавливается
Узнать, где была молекула раньше,
невозможно
Информация потеряна!
В процессе стирания поршень совершает работу;
в изотермическом процессе E = kT ln(V1/V2) = kT ln2
Соответствующее количество теплоты передается окружению
Энтропия окружающей среды возрастает на S =E/T = k ln2
Энтропия однобитовой ячейки уменьшается на ту же величину S =E/T = k ln2
Принцип Ландауэра
Стирание одного бита информации сопровождается затратой по крайней мере kT ln2
= 0.693kT энергии и увеличением энтропии окружающей среды на k ln2 = 0.9610–23Дж/К.
Эти количества не могут быть уменьшены, какие бы способы кодирования и стирания
информации ни применялись
•
•
•
Замечание 1 (теоретическое). Принцип Ландауэра связывает
информацию с физическими концепциями энергии и энтропии.
Замечание 2 (практическое). Хотя в реальности затраты энергии на
элементарные операции намного больше ландауэровского предела
(2.8710–21Дж = 0.018 эВ при 300 К), принцип подсказывает возможные
пути и пределы минимизации энергопотребления компьютеров
Замечание 3. Принцип есть следствие логической необратимости
стирания. Аналогичные выводы справедливы и в отношении других
логически необратимых операций, например, И, ИЛИ: диссипация
энергии составляет kT ln2 на каждый потерянный бит
Вход Выход
0 0
0
0 1
0
1 0
0
1 1
1
На входе: 4 равновероятных возможности
Iin = 2 бита
На выходе: 0 с вероятностью ¾ и 1 с вероятностью ¼
Iout = – (¾)log2(¾) – (¼)log2(¼) =
= – (¾)log23 + (¾) log24 + (¼)log24 = – (¾)log23 + 2
Потерянная информация (Iin – Iout) = (¾)log23 = 1.1887 бит
E = kT ln2(Iin – Iout) = kT ln2(¾)log23 = 0.824 kT
Принцип Ландауэра и демон Максвелла
Ящик с "одномолекулярным" газом
М
Демон (Д) – интеллектуальное устройство, способное
измерять, хранить и использовать информацию
Сначала положение молекулы неизвестно.
Д ставит перегородку, делящую ящик пополам, и
определяет, в какой половине находится молекула
В зависимости от результата измерения,
Д размещает в ящике поршень с грузом таким
образом, чтобы удары молекулы его поднимали
"Газ" расширяется и совершает работу.
При постоянной температуре A = kT ln(V2/V1) = kT ln2
После того, как поршень сдвинулся и груз был поднят, его удаляют.
Система вернулась к исходному состоянию…
и совершена работа за счет теплового резервуара при постоянной температуре
Нарушено второе начало термодинамики?
Упущено: Д, точнее, его память.
В памяти осталась информация о состоянии ячейки, которой в начале цикла не было.
Вернуть к исходному состоянию – стереть информацию: затратить энергию kT ln2
Демон Максвелла, гипотетическое "всемогущее" устройство, способное
различать и сортировать молекулы газа, было придумано на заре
статистической физики для демонстрации пределов применимости
второго начала.
Оказывается, включение его "памяти" в состав системы "спасает" второе
начало термодинамики от нарушения даже в случае "интеллектуального"
вмешательства в систему
• Информация оказалась включенной в общее описание состояния
системы наравне с ее физическими параметрами: это тоже физическая
характеристика, а не просто математическая концепция
• Одна и та же система имеет различные физические свойства в
зависимости от имеющейся информации (в одном случае она способна
совершить работу, в другом – нет)
• Устройства хранения информации ("память демона") – физические
объекты и должны рассматриваться в одном контексте с "явными"
объектами системы
• Введенная мера информации оказывается согласованной с
общефизическими понятиями энергии и энтропии
• Обращение принципа Ландауэра: любая неслучайная комбинация
битов может быть использована для производства работы за счет
рандомизации (адиабатическое размагничивание, … )
Информационная энтропия
Возможен и другой подход: не включать память "демона" явно в состав
сиcтемы, но учесть "знание" о системе в описании ее состояния.
Полученное от резервуара количество теплоты
Произведенная механическая работа A = kT ln2 =Q = TS
Изменение обычной термодинамической энтропии ячейки
Работа, затраченная на стирание информации Ae = – kT ln2
Полная совершенная в процессе работа A + Ae = TS – kT ln2 = TSg
Sg = S – k ln2 = 0
Можно сохранить обычное выражение второго закона термодинамики
(TS  0 в замкнутом цикле), если ввести
эффективную энтропию системы Sg = S – k ln2 = (S + Si)
S – обычная термодинамическая энтропия, зависящая только от ее состояния
Si зависит от того, что знает о системе наблюдатель:
Si = – k ln2 (на один бит)
информационная энтропия
В общем случае, если есть I бит информации: Si = – I k ln2
Наличие информации о системе может быть учтено, если "подправить"
значение ее энтропии.
В определении энтропии как суммы термодинамической и информационной
еще раз подчеркивается физическое значение информации.
Через информационную энтропию информация напрямую включается в
формулировку второго начала термодинамики.
Оказывается, если мы имеем два физически тождественных состояния системы,
но в одном случае мы ничего не знаем о ее состоянии, а во втором имеем какуюто информацию, то эти состояния различаются фундаментально.
В одном случае мы можем получить работу, в другом – нет!
Информация материальна: всегда связана с физическими объектами (носителями)
Материя информационна: знания о системе придают ей дополнительные свойства.
По некоторым предположениям, объективные характеристики физического
мира неразрывно связаны с существованием наблюдателя
(антропный принцип)
Взаимосвязь энтропии и информации
Информационная энтропия Si = – I kln2 отличается от количества информации I
только множителем – kln2
Фактически это одна и та же величина, но измеренная в других единицах.
По Больцману
S = – kpilnpi = kln2(– pilog2pi) = kln2IT
количество "отсутствующей" информации о термодинамическом состоянии
(то, что можно было бы извлечь, если знать состояние точно)
Отличие в знаке. Информация о системе уменьшает ее энтропию.
Обычная энтропия есть мера нашего незнания точного микросостояния системы
Система может совершать работу, если ее энтропия не максимальна.
Информация  меньше энтропия  больше возможности совершать работу
За каждый бит можно получить до kTln2 полезной работы
Обратимые вычисления
Обычные алгоритмы широко используют необратимые операции (например,
И, ИЛИ, стирание…). С каждой такой операцией связана диссипация энергии.
Можно ли создать компьютер без необратимых операций?
Нужно ли это делать?
• В любом реальном случае диссипация энергии значительно превышает
предел Ландауэра. Однако при дальнейшем уменьшении размеров и
энергопотребления теоретически неизбежная диссипация начинает влиять
все сильнее. Выход: логически обратимый компьютер?
• Вариант: запоминать все промежуточные результаты в специальном ЗУ.
Неудобно, требуется много лишней памяти, проблема не решается, а
только откладывается.
• Важность физической необратимости: она позволяет нивелировать
небольшие ошибки (если |1 - это 5 В, то 4.5 или 5.6 В тоже |1).
• Тем не менее, полезно иметь возможность снизить диссипацию до
произвольно малого уровня и не зависеть от термодинамических
ограничений.
• Логически обратимые операции важны и для квантового компьютера,
потому что в квантовой механике возможны только обратимые операции.
• Это привело к поиску логически обратимых алгоритмов.
Квантовый, баллистический, брауновский компьютер
Обратимые вентили
Вентили – это устройства, которые выполняют заданные операции над
логическими (бинарными) данными
Другое название – логические элементы: И, ИЛИ, НЕ, …
Из обычных операций обратимы только отрицание (НЕ) и
исключительное ИЛИ (XOR). Но они не образуют полного набора. Надо
ввести еще хотя бы один стандартный элемент, например Toffoli gate
(вентиль Тоффоли, 1980).
Число входов = числу выходов
INPUT
0
0
0
0
1
1
1
1
0
0
1
1
0
0
1
1
OUTPUT
0
1
0
1
0
1
0
1
0
0
0
0
1
1
1
1
0
0
1
1
0
0
1
1
0
1
0
1
0
1
1
0
3-битовый вход и выход, если 2 первых бита
оба равны 1, то третий бит инвертируется.
выход = вход
(тождество)
3-й бит
инвертируется
Когда третий вход = 0, между
двумя первыми входами и третьим
выходом реализуется И
Эта 2-битовая операция
«встроена» в 3-битовую.
Можно считать, что «лишние»
входы и выходы обеспечивают
логическую обратимость.
x
f(x)
Этот вентиль может быть
моделирован биллиардными шарами
(баллистический компьютер).
Входные шары влетают
одновременно слева, сталкиваются с
«зеркалами» и друг с другом.
Механическая обратимость
движения шаров соответствует
логической обратимости.
Входные данные являются частью
выходных, два различающихся бита
кодируют операцию.
x  x, f(x)
Динамическая нестабильность: малейшие возмущения "уводят" компьютер
от заданной программы (система шаров становится хаотической).
Хаотизация: основной недостаток классических обратимых компьютеров.
Можно восстанавливать "правильные" сигналы, но это сопряжено с
диссипацией.
Иначе – хаотизация. Можно ли ее использовать?
Брауновский компьютер
Тепловой шум влияет настолько сильно, что все движения похожи на случайные
блуждания. Траектории удерживаются в желаемых пределах потенциальными
барьерами, дрейф в требуемом направлении обеспечивается «движущей силой»
(в термодинамическом смысле). Примеры в биохимии (обратимые реакции).
Барьеры в несколько kT преодолеваются в ходе
проб и ошибок, барьеры ~100kT (covalent bond)
предотвращают нежелательные реакции.
Мера движущей силы – высвобождаемая
энергия, т.е. диссипация:
Вероятность шага вперед
Вероятность шага назад
  
 exp 

kT


В нормальных условиях редупликация ДНК
идет со скоростью около 30 нуклеотидов в
секунду, на каждый шаг тратится ~20kT,
вероятность ошибки < 0.0001.
В условиях близких к равновесию (11 шагов
вперед и 10 назад  диссипация kT ln(11/10)
~ 0.1kT на нуклеотид).
Может ли брауновский компьютер
выполнять необратимые операции?
Необратимость возникает при
ветвящихся процессах:
В точках ветвления движущая сила
должна быть достаточно большой
Если у текущего состояния есть m
«предшественников», вероятность
обратного шага возрастает в m раз:
Вероятность шага вперед
Вероятность шага назад
1
  
 exp 

m
kT


Для того, чтобы процесс продвигался,
необходимо  > kTlnm.
Чаще всего m = 2. Это еще одно
обоснование принципа Ландауэра:
Диссипация энергии при логически необратимых операциях гарантирует, что
процесс вычислений идет в нужном направлении