Энтропия
![](http://upload.wikimedia.org/wikipedia/commons/e/e5/Entropia.png)
Энтропи́я (от
В
Хотя понятия термодинамической и информационной энтропии вводятся в рамках различных формализмов, они имеют общий физический смысл — логарифм числа доступных состояний системы. Взаимосвязь этих понятий впервые установил Людвиг Больцман. В неравновесных (необратимых) процессах энтропия также служит мерой близости состояния системы к равновесному: чем больше энтропия, тем ближе система к равновесию (в состоянии термодинамического равновесия энтропия системы максимальна).
Величина,
Употребление в различных дисциплинах
- Термодинамическая энтропия — термодинамическая функция, характеризующая меру необратимой диссипации энергиив ней.
- В статистической физике — характеризует вероятность осуществления некоторого макроскопического состояния системы.
- В математической статистике — мера неопределённости распределения вероятностей.
- Информационная энтропия — в теории информации мера неопределённости источника сообщений, определяемая вероятностями появления тех или иных символов при их передаче.
- Энтропия динамической системы — в теории динамических систем мера хаотичности в поведении траекторий системы.
- Дифференциальная энтропия — формальное обобщение понятия энтропии для непрерывных распределений.
- Энтропия отражения — часть информации о дискретной системе, которая не воспроизводится при отражении системы через совокупность своих частей.
- Энтропия в теории управления — мера неопределённости состояния или поведения системы в данных условиях.
- Технологическая энтропия — «количественная мера отставания данной технологии от наивысшего в мире уровня, принимаемого за единицу. Основным параметром, характеризующим меру технологической энтропии, является степень неопределённости получения конечного результата, а именно: объёма выпуска инновационной продукции, который может быть получен при данных объёмах вовлечённых в производство ресурсов»[2].
В термодинамике
![](http://upload.wikimedia.org/wikipedia/commons/thumb/a/a2/Portrait_of_Clausius.jpg/220px-Portrait_of_Clausius.jpg)
Понятие энтропии впервые было введено
Математически энтропия определяется как функция состояния системы, определённая с точностью до произвольного постоянного слагаемого. Разность энтропий в двух равновесных состояниях 1 и 2 по определению равна приведённому количеству тепла (), которое надо сообщить системе, чтобы перевести её из состояния 1 в состояние 2 по любому квазистатическому пути[4]:
. | (1) |
Так как энтропия определена с точностью до произвольной аддитивной постоянной, то можно условно принять состояние 1 за начальное и положить . Тогда
, | (2) |
Здесь интеграл берется для произвольного квазистатического процесса. Дифференциал функции имеет вид
. | (3) |
Энтропия устанавливает связь между макро- и микросостояниями. Особенность данной характеристики заключается в том, что это единственная функция в физике, которая показывает направленность процессов. Поскольку энтропия является функцией состояния, то она не зависит от того, как осуществлён переход из одного состояния системы в другое, а определяется только начальным и конечным состояниями системы.
Физический смысл энтропии
Термодинамическая энтропия как физическая величина отличается своей абстрактностью, физический смысл энтропии непосредственно не вытекает из её математического выражения и не поддаётся простому интуитивному восприятию.
С физической точки зрения энтропия характеризует степень необратимости, неидеальности реального термодинамического процесса. Она является мерой диссипации (рассеивания) энергии, а также мерой оценки энергии в плане её пригодности (или эффективности) использования для превращения теплоты в работу. [5] Два последних утверждения не относятся к необычным системам с отрицательной абсолютной температурой, в которых теплота самопроизвольно может полностью превращаться в работу.
В теории информации
Для энтропии (чаще в математике) встречается также название шенноновская информация или количество информации по Шеннону[6].
Энтропия может интерпретироваться как мера
Понятие
Пусть состояния системы равновероятны и имеют вероятность , тогда число состояний , а . В случае разных вероятностей состояний рассмотрим средневзвешенную величину
где — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона:
Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы. Энтропии Реньи соответствует эффективное количество состояний, определяемое[12] как среднее степенное взвешенное с параметром от величин .
Следует заметить, что интерпретация формулы Шеннона на основе взвешенного среднего не является её обоснованием. Строгий вывод этой формулы может быть получен из комбинаторных соображений с помощью асимптотической формулы Стирлинга и заключается в том, что комбинаторность распределения (то есть число способов, которыми оно может быть реализовано) после взятия логарифма и нормировки в пределе совпадает с выражением для энтропии в виде, предложенном Шенноном[13][14][15].
Аксиоматическое определение энтропии
Выражение для информационной энтропии может быть выведено на основе некоторой системы аксиом. Одним из подходов является следующая система аксиом, известная как система аксиом Хинчина:[16].
- 1. Пусть некоторая система может пребывать в каждом из доступных состояний с вероятностью , где . Энтропия является функцией только вероятностей : .
- 2. Для любой системы справедливо , где — система с равномерным распределением вероятностей: .
- 3. Если добавить в систему состояние , то энтропия системы не изменится.
- 4. Энтропия совокупности двух систем и имеет вид , где — средняя по ансамблю условная энтропия.
Указанный набор аксиом однозначно приводит к формуле для энтропии Шеннона.
Некоторые авторы[17] обращают внимание на неестественность последней аксиомы Хинчина. И действительно, более простым и очевидным является требование аддитивности энтропии для независимых систем. Таким образом, последняя аксиома может быть заменена следующим условием.
- 4'. Энтропия совокупности двух независимых систем и имеет вид .
Оказывается, система аксиом с пунктом 4' приводит не только к энтропии Шеннона, но и к энтропии Реньи.
f-энтропия
Кроме энтропии Реньи, известны и другие обобщения стандартной энтропии Шеннона, например класс f-энтропий, предложенный[18] И. Чисаром в 1972 г. Также С. Аримото в 1971 г. предложил[19] концепцию f-энтропии, задающую иной класс функционалов. Далее рассматривается концепция И. Чисара. Понятие f-энтропии связано[20] с понятием f-дивергенции. Элементы этих классов образуют парное соответствие, причём каждая такая пара функционалов определяется некоторой выпуклой функцией при , удовлетворяющей условию .
Для заданной функции f-энтропия дискретного распределения определяется как
Наиболее известными частными случаями f-энтропии являются:
- энтропия Шеннона для ;
- энтропия Берга для ;
- энтропия Цаллиса для , , ;
- альфа-энтропия для , , .
Энтропия Шеннона является единственной аддитивной энтропией в классе f-энтропий.
Понятие f-энтропии определяют в общем виде следующим образом. Пусть — распределение вероятностей и — любая мера на , для которой существует абсолютно непрерывная относительно функция . Тогда
Однако непрерывные версии f-энтропий могут не иметь смысла по причине расходимости интеграла.
f-энтропия является вогнутым функционалом от распределения вероятностей.
Можно заметить, что функция может быть задана с точностью до слагаемого , где — произвольная константа. Независимо от выбора функция порождает единственный функционал f-дивергенции. А функционал f-энтропии оказывается определённым с точностью до произвольной аддитивной постоянной, то есть выбором константы можно задать начало отсчёта энтропии. При этом возникает следующий нюанс: в случае константа должна выбираться так, чтобы подынтегральное выражение не содержало ненулевых постоянных слагаемых, иначе интеграл будет всегда расходиться, то есть перестаёт быть произвольной. В частности, в дискретной версии энтропии константа должна фиксироваться при . Поэтому для f-энтропии, чтобы не уменьшать общность определения, можно явно указывать аддитивную константу. Например, если — лебегова мера на , тогда — плотность распределения вероятности и
где — произвольная константа.
Функция может также задаваться с точностью до произвольного положительного сомножителя, выбор которого равносилен выбору единицы измерения соответствующей f-энтропии или f-дивергенции.
Сравнивая выражения для f-энтропии и f-дивергенции в общем виде, можно записать следующее связывающее их соотношение[21]:
где — равномерное на распределение. Если положить, что аргументами энтропии и дивергенции выступают производные распределений по мере (то есть плотности распределений), имеет место формальная запись
Данная связь носит фундаментальный характер и играет важную роль не только в классах f-энтропии и f-дивергенции. Так, данное соотношение справедливо для энтропии и дивергенции Реньи и, в частности, для энтропии Шеннона и дивергенции Кульбака—Лейблера. Обусловлено это тем, что согласно общепринятой аксиоматике энтропия достигает максимума на равномерном распределении вероятностей.
В биологии
Вводимая обычно как «мера неупорядоченности или неопределенности системы» энтропия часто используется в рассуждениях о направленности эволюционных процессов. Согласно этой точке зрения, биосфера — сверхсложная самоорганизующаяся структура, «питающаяся» неограниченной энтропией солнечного излучения[22][23]. Бактериородопсин выполняет ту же функцию, что и хлорофилл (туннельный эффект) — обеспечивает преобразование электромагнитного облучения в энергию химических связей. Если говорить о порядке, то упорядочивание расположения элементов фотосинтетической электрон-транспортной цепи обеспечивается фотосинтетической мембраной (структурной единицей хлоропластов), которая определяет направленный перенос электронов и протонов, создавая и поддерживая разность электрохимических потенциалов ионов, разделяя окисленные и восстановленные продукты и препятствуя их рекомбинации[24].
Считается, что сложность организации по-разному влияет на устойчивость в живой и неживой природе[25][26]. В неживой природе увеличение сложности приводит к понижению устойчивости живого вещества. В противоположность этому в живой природе сложные (социальные) организации устойчивее (в смысле способности к выживанию), нежели устойчивость каждого элемента в отдельности. Например, численность организмов, состоящих из малого числа клеток (например, москитов), значительно больше численности организмов, состоящих из большого числа клеток (например, слонов). Однако это ничего не говорит об устойчивости, отнесенной к элементарной составляющей. Если бы цитолог пожелал заняться статистикой и собрал случайным образом коллекцию клеток, то он нашел бы в ней больше всего клеток, принадлежащих млекопитающим. Это говорит о том, что с усложнением живых организмов устойчивость их элементарных составляющих (клеток) значительно увеличивается[27].
По аналогии с шенноновским определением энтропии в качестве меры организованности можно рассматривать величину
где — отношение числа связей имеющихся у элемента в данный момент, к числу всех возможных связей этого элемента. Здесь, как и в случае определения энтропии источника информации, справедливо условие однако условие выполняющееся для случая определения энтропии, здесь уже не имеет места и заменяется неравенством Для элемента не имеющего ни одной связи с любым другим элементом, Напротив, когда элемент соединен со всеми другими элементами, и
Выражение для меры относительной организованности запишется следующим образом:
Максимальная организованность находится приравниванием по всем нулю, в результате чего получается система из уравнений:
Для любого из этих уравнений справедливо
Таким образом, для достижения максимума организованности отношение связи должно быть равно (где — число Эйлера),
Данное нестохастическое толкование организованности обладает и тем преимуществом, что позволяет сделать ряд интересных выводов. Для учета в степени связи наличия связи между двумя элементами через промежуточные элементы нужно будет использовать не число связей, подходящих к элементу а число, которое определяется из выражения
где — степень родства (сила связи) между элементами и В этом случае будет представлять в формуле относительную общую силу связи (вместо числа связей, как было ранее) для элемента [28]
См. также
Примечания
- ↑ Spectrum 1976.
- ↑ Саночкина Ю. В. Совершенствование методов управления инновационными процессами в экономических системах. — СПб.: [[ПЕТРОПОЛИС (издательство)|]], 2020. — С. 54—55. — 160 с. — ISBN 978-5-9676-1219-0.
- Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.
- ↑ Сивухин Д. В. Общий курс физики. — М., 1979. — Т. II. Термодинамика и молекулярная физика. — С. 127.
- ↑ Шамбадаль П. Развитие и приложение энтропии, 1967, с. 61—64.
- ↑ Цыпкин Я. З., 1995, с. 77.
- Советская энциклопедия (т. 1—2); Большая Российская энциклопедия (т. 3—5), 1988—1999. — ISBN 5-85270-034-7.
- ↑ Энтропия // Большая советская энциклопедия : [в 30 т.] / гл. ред. А. М. Прохоров. — 3-е изд. — М. : Советская энциклопедия, 1969—1978.
- ↑ Источник . Дата обращения: 1 марта 2017. Архивировано из оригинала 1 марта 2017 года.
- ↑ Источник . Дата обращения: 19 марта 2017. Архивировано 19 марта 2017 года.
- ↑ Вентцель Е. С., 1969, с. 468—475.
- ↑ Зарипов Р. Г., 2005, с. 13—22, 108-125.
- ↑ Джейнс Э. Т. О логическом обосновании методов максимальной энтропии // ТИИЭР. — 1982. — Т. 70, вып. 9. — С. 33—51.
- ↑ Колмогоров, 1987, с. 29—39.
- ↑ Amritansu Ray, S. K. Majumder. A Note on Burg’s Modified Entropy in Statistical Mechanics // Mathematics. — 2016. — Т. 10, вып. 4.
- ↑ Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20. Архивировано 10 сентября 2009 года.
- ↑ Plastino A., Plastino A. R. Tsallis Entropy and Jaynes' Information Theory Formalism // Brazilian Journal of Physics. — 1999. — Т. 29, вып. 1. — С. 53. Архивировано 12 мая 2021 года.
- ↑ Csiszár I. A class of measures of informativity of observation channels. // Periodica Math. Hungar. — 1972. — Т. 2. — С. 191–213.
- ↑ Arimoto S. Information-theoretical considerations on estimation problems // Information and Control. — 1971. — Т. 19, вып. 3. — С. 181–194. Архивировано 6 декабря 2021 года.
- ↑ Csiszár I. Axiomatic Characterizations of Information Measures. // Entropy. — 2008. — Вып. 10. — С. 261—273. Архивировано 22 сентября 2017 года.
- ↑ Cichocki A., Amari S.-I. Families of Alpha- Beta- and Gamma divergences: Flexible and robust measures of similarities. // Entropy. — 2010. — Т. 12, вып. 6. — С. 1532–1568. Архивировано 23 сентября 2017 года.
- ↑ Рапапорт А. — Математические аспекты абстрактного анализа систем // Исследования по общей теории систем. М.: Прогресс. 1969. С. 83-105.
- ↑ Н. Н. Брушлинская, Фактор-инвариантность уравнений химической кинетики вдоль одномерного множества в пространстве параметров, УМН, 1975, том 30, выпуск 6(186), 161—162.
- ↑ Кадошников С. И. — Фотоэлектрические и спектральные свойства искусственных хлорофилл-липидных мембран.
- ↑ Усков А. А., Круглов В. В. — Устойчивость больших систем.
- ↑ George J.Klir — Architecture of systems problem solving.
- ↑ Г.Фёрстер — Био-логика // «Проблемы бионики: Биологические прототипы и синтетические системы», изд. «Мир», М., 1965.
- ↑ Р.Бойелл — Память с семантическими связями // «Проблемы бионики: Биологические прототипы и синтетические системы», изд. «Мир», М., 1965.
Литература
- к.т.н. Деменок С. Л. Просто Энтропия. — Цикл изданий "Фракталы и Хаос". — СПб.: «СТРАТА», 2019.
- Шамбадаль П. Развитие и приложение понятия энтропии. — М.: Наука, 1967. — 280 с.
- Мартин Н., Ингленд Дж. Математическая теория энтропии. — М.: Мир, 1988. — 350 с.
- Хинчин А. Я. Понятие энтропии в теории вероятностей // Успехи математических наук. — 1953. — Т. 8, вып. 3(55). — С. 3—20.
- Гленсдорф П., Пригожин И. Термодинамическая теория структуры, устойчивости и флуктуаций. — М., 1973.
- Пригожин И., Стенгерс И. Порядок из хаоса. Новый диалог человека с природой. — М., 1986.
- Брюллюэн Л. Наука и теория информации. — М., 1960.
- Винер Н. Кибернетика и общество. — М., 1958.
- Винер Н. Кибернетика или управление и связь в животном и машине. — М., 1968.
- Де Гроот С., Мазур П. Неравновесная термодинамика. — М., 1964.
- Зоммерфельд А. Термодинамика и статистическая физика. — М., 1955.
- Петрушенко Л. А. Самодвижение материи в свете кибернетики. — М., 1974.
- Эшби У. Р. Введение в кибернетику. — М., 1965.
- Яглом А. М., Яглом И. М. Вероятность и информация. — М., 1973.
- Волькенштейн М. В. Энтропия и информация. — М.: Наука, 1986. — 192 с.
- Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969. — 576 с.
- Зарипов Р. Г. Новые меры и методы в теории информации. — Казань: Изд-во Казан. гос. техн. ун-та, 2005. — 364 с.
- Цыпкин Я. З. Информационная теория идентификации. — М.: Наука. Физматлит, 1995. — 336 с.
- Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987. — 304 с.
Ссылки
- Фракталы и Хаос — Проект издательства научно-популярной литературы «СТРАТА», СПб
Для улучшения этой статьи желательно:
|