В работе представлена модель определения логарифмической меры информации. Из структуры технической системы выделяется объект, и рассматриваются его вероятностные состояния отказа и работы. Когда состояния равновероятны, предлагается использовать меру Хартли, а для неравновероятных – меру Шеннона для одного и многих объектов, если они взаимонезависимы. Модель учитывает возможности определения меры информации только для одного объекта. Все состояния объекта разбиты на два класса. Каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого класса состояний объекта определены суммарные и обобщенные вероятности работоспособности и отказа. Данные вероятности нашли применение в полученных математических выражениях для определения меры неопределенности информации. Показано, что полученные формулы идентичны и применимы как при использовании суммарной вероятности, так и обобщенной вероятности.
LOGARITHMIC MEASURE OF INFORMATION OF THE CONDITION OF TECHNICAL OBJECT
Dulesov A.S. 1 Kabaeva E.V. 11 Khakass State University n.a. N.F. Katanov
Abstract:
The article presents the modifier of logarithmic measure of information model. An object is picked out from the technical system, and its probabilistic states of failure and work are analyzed. When the states are equiprobable it is recommended to use Hartley’s measure, and when they are not equiprobable Shanon’s measure is preferable for one or more interindependent objects. The model considers the capability of modifying the measure of information only for one object. All states of the object are divided into two classes. Each class is based on data of the flow of the inequiprobable events. The total and generalized probabilities of efficiency and failure are determined for the object’s states of each class. The studied probabilities are used in the mathematical formulas for modifying the measure of the uncertainty of information. It is shown that the formulas are identical and may be applied both for the total and generalized probability.
Keywords:
Аддитивная мера (мера Хартли) использует понятия глубины А и длины n числа.
Глубина числа - количество символов (элементов), принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.
Длина n числа - количество позиций, необходимых и достаточных для представления чисел заданной величины.
Эти понятия могут быть распространены и на вариант нечислового сообщения. В этом случае глубина числа тождественна размеру алфавита, а длина числа - разрядности слова при передаче символьного сообщения.
Если сообщение - число, понятие глубины числа будет трансформировано в понятие основания системы счисления. При заданных глубине и длине числа количество чисел, которое можно представить, N = А n . Очевидно, что N однозначно характеризует степень исходной неопределенности. Исходная неопределенность по Хартли определяется
H 1 = log a N . (4)
Неопределенность после получения сообщения, остаточная неопределенность,
H 2 = log a N* , (5)
где N* - число возможных значений принятого слова после получения сообщения.
Основание логарифма в (5) определяет только единицы измерения неопределенности. При a=2 это двоичная единица информации, называемая бит. При a = 10 десятичная (дит ), при a =e натуральная (нат ). Далее мы будем всегда пользоваться двоичной единицей.
N* равно единице, если после получения информации нет неопределенности, т.е. получатель гарантировано получил то сообщение, которое было передано. Если получателю приходится после приема информации выбирать сообщения из некоторого множества, а это происходит тогда, когда в канале связи за счет влияния помех возникают искажения переданного сигнала, то характеризует число возможных сообщений при выборе. Таким образом, если передается символ некоторого алфавита, N* определяет возможную неоднозначность приема символа за счет искажений в канале связи. В случае измерительного опыта, число N* - характеризует число возможных значений величины после измерения и определяет погрешность измерения.
Очевидно, что должно быть N* < N, а N* = 1 только в идеальном случае передачи сообщения без потери информации или, что то же самое, измерения некоторой физической величины без ошибок. Количество информации по Хартли оценивается как
I=H 1 – H 2 = log a N - loga N* n = log a N/ N* . (6)
Логарифмическая мера, позволяющая, вычислять количество информации, содержащейся в сообщении, переданном числом длиной n и глубиной А :
I(q) =log 2 N=n log 2 А , бит . (7)
Следовательно, 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она обеспечивает возможность оперировать мерой как числом. Из сравнения (7) и (2) следует, что численное значение неопределенности определяет число двоичных разрядов, необходимое для кодирования символа алфавита А .
Логарифмическая мера для неопределенности и информации выбрана не случайно. Она оказывается удобной при описании сложных опытов. Допустим, что задача состоит в одновременном приеме информации от двух источников, не зависящих друг от друга. При этом N 1 и n 1 - число возможных сообщений до и после приема информации от первого источника, а - N 2 и n 2 от второго. Пусть H 11 и H 12 - исходная неопределенность знания первого и второго сообщения, соответственно, первого и второго источника. Естественно потребовать, чтобы общая неопределенность знания о двух сообщениях определялась суммой неопределенностей каждого, т.е. мера должна обладать свойством аддитивности
H = H 11 + H 12 .
Число возможных сочетаний двух независимых величин из множеств N 1 N 2 N = N 1 N 2 .
Тогда исходная неопределенность H =H 11 + H 12 , аналогично остаточная неопределенность H=H 21 +H 22 .
При наличии нескольких источников информации общее количество информации
I(q 1 , q 2 , ...,q n)= I(q 1)+ I(q 2)+...+I(q k) , (8)
где I(q k) - количество информации от источника k .
Логарифмическая мера информации позволяет измерять количество информации и широко используется на практике. Однако всегда надо учитывать, что все сообщения в этой мере полагаются равновероятными и независимыми. Эти допущения приводит на практике к существенно завышенным оценкам.
Примечание. Для рассмотрения дальнейшего материала необходимо использовать понятие «вероятность события» . Под вероятностью события (см., например, Лютикас В.С. Факультативный курс по математике. Теория вероятностей. М.: Просвещение, 1990.) принимается постоянная величина, около которой группируются значения частоты появление некоторого события, например, передачи одного из символов алфавита. Если частота появления любого символа алфавита при передаче длинной последовательности символов одинакова, то говорят о равновероятных событиях, символах, сообщениях и т.п. Независимыми сообщения полагают, если вероятности их передачи не зависят от того, какие сообщения были переданы ранее.
©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-12-29
Интуитивно ясно, что количество информации, которое может быть запасено в физической системе, возрастает с числом различимых состояний, в которые она может переводиться. Это число будет N = m n , если система состоит из n ячеек (элементов) с одинаковым числом m возможных состояний. В более сложном случае, если бы система состояла из определенным образом расположенных n1 ячеек, имеющих m1 возможных состояний, n2 ячеек, имеющих m2 возможных состояний, и т. д., это число было бы N = m1n1 · m2n2....
Для встречающихся в практике случаев N исключительно велико. Так, например, на небольшом фототелеграфном бланке размерами 50 см 2 и разрешающей способностью 50 элементов на 1 см может быть запасено любое из 2 125000 различных двухградационных изображений (мы отвлекаемся пока от того, что подавляющее большинство этих изображений не будет иметь смысла). Это число невозможно себе представить, настолько оно велико.
Число возможных состояний N нецелесообразно принимать за количественную меру для сравнения способности различных систем хранить или передавать информацию. Причина однако, не в том, что пришлось бы иметь дело со столь большими числами. Такая мера была бы практически неудобна и не соответствовала нашим интуитивным представлениям. Кажется очевидным, например, что удвоение площади фототелеграфного бланка приведет к удвоению количества информации, которое может быть запасено там. Между тем количество возможных изображений возрастает при этом не в два раза, а во второй степени.
Хартли в цитированной работе предложил выбрать в качестве количественной меры для сравнения способности различных систем хранить или передавать информацию логарифм числа различимых состояний N
Основание логарифмов определяет единицы, в которых выражена информационная емкость. Наиболее употребительны в этих случаях двоичные логарифмы. Величина
будет при этом выражена в двоичных единицах.*
Очевидно, что если N = mn, то
Информационная емкость одной ячейки, имеющей m различимых состояний, будет log 2 m дв. ед. Из (29) видно, что информационная емкость системы, составленной из n ячеек, равна сумме элементарных информационных емкостей этих ячеек. В частности, для рассмотренного ранее примера получится, что информационная емкость бланка log 2 2n = n равна сумме информационных емкостей двух его половин,
Таким образом, логарифмическая мера информационной емкости соответствует нашим интуитивным представлениям.
Из формулы (29) видно, что информационная емкость быстро - по линейному закону - возрастает с увеличением числа накопительных ячеек п и гораздо медленнее - по логарифмическому закону - возрастает с увеличением числа различимых состояний (градаций) т каждой ячейки.
Оказывается проще для получения той же информационной емкости создавать накопители с большим числом ячеек, имеющих малое число различимых состояний, чем накопители с меньшим числом ячеек, но имеющих соответственно большее число различимых состояний. Иными словами, обмен числа градаций на число накопительных ячеек обычно бывает выгоден. Информационная емкость четырехэлементного двухградационного изображения C=41og 2 2=4 равна информационной емкости одного элемента, имеющего 16 градаций, C=1log 2 16=4. Но сделать накопитель с ячейками, имеющими 16 различимых состояний, гораздо труднее, чем накопитель с вчетверо большим числом ячеек, каждая из которых имеет лишь два различимых состояния.
* Иногда вместо «двоичная единица» пишут «бит» (от английского binary digit - двоичная единица).
1В работе представлена модель определения логарифмической меры информации. Из структуры технической системы выделяется объект, и рассматриваются его вероятностные состояния отказа и работы. Когда состояния равновероятны, предлагается использовать меру Хартли, а для неравновероятных – меру Шеннона для одного и многих объектов, если они взаимонезависимы. Модель учитывает возможности определения меры информации только для одного объекта. Все состояния объекта разбиты на два класса. Каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого класса состояний объекта определены суммарные и обобщенные вероятности работоспособности и отказа. Данные вероятности нашли применение в полученных математических выражениях для определения меры неопределенности информации. Показано, что полученные формулы идентичны и применимы как при использовании суммарной вероятности, так и обобщенной вероятности.
состояние технического объекта
энтропия
логарифмическая мера информации
1. Вильчинская О.О., Гатауллин И.Н., Головинов С.О. и др. Определение количества информации в структуре технической системы // Информационные технологии: приоритетные направления развития. Кн. 5: монография. – Новосибирск: ЦРНС – Изд-во «Сибпринт», 2010. – 261 с.
2. Дулесов А.С., Семенова М.Ю., Хрусталев В.И. Свойства энтропии технической системы // Фундаментальные исследования. – 2011. – № 8 (часть 3). – С. 631-636.
3. Дулесов А.С., Ускова Е.А. Применение подходов Хартли и Шеннона к задачам определения количества информации технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 2 (16). – С. 46-50.
4. Дулесов А.С., Ускова Е.А. Применение формулы Хартли для оценки структурных связей элементов в задаче обеспечения надежного функционирования технических систем // Вопросы современной науки и практики. Университет им. В.И. Вернадского. – 2009. – № 6 (20). – С. 37-41.
5. Кузнецов Н.А. Информационное взаимодействие в технических и живых системах // Информационные процессы. – 2001. – Т. 1. – № 1. – С. 1-9.
Введение. К сложным техническим системам предъявляется ряд требований, среди которых выделяют поддержание высокого уровня надежности (работоспособности). Высоконадежные системы, как правило, подлежат контролю и диагностике с целью своевременного устранения возможных неполадок, появление которых имеет вероятностную природу. В целом систематический контроль позволяет получить общую картину состояния системы. Имея её на руках, можно вырабатывать решения, направленные на сохранение устойчивого поведения системы, сохранение уровня надежности, тем самым решая задачу кибернетики. Кроме этого, отслеживая «движение» системы во времени и пространстве, можно судить о её эволюции или старении, но уже с позиции синергетики.
Естественным процессом в технических системах является старение, которое неразрывно связано с таким понятием, как «неопределенность». Существует множество методологических подходов к анализу процессов и поддержанию работоспособности систем. Один из них основан на использовании теории информации и касается решения задачи получения меры неопределенности информации (энтропии) . В свою очередь значение информационной энтропии служит мерой выбора из возможных альтернатив.
В теории информации нашли свое практическое применение мера Хартли, позволяющая измерять детерминированные процессы конечной длины, и мера Шеннона - процессы любой длительности, анализ которых использует вероятностно-статистические методы. Обе меры входят в структурное и статистическое направления теория информации.
При эксплуатации технического объекта подсистема контроля передает сигналы или сообщения о состоянии системы, из которых формируется набор статистических данных. Их применение и направления теории информации могут быть положены в основу информационного анализа.
Модель определения меры информации. Техническую систему можно представить в виде структурной схемы с наличием элементов и связей между ними. С позиции оценки надежности в структуру вводят показатели: продолжительность восстановления элемента, частота отказов и др. На их основе определяют вероятность отказа и безотказной работы элемента. Большинство показателей носят вероятностный характер, обусловленный наличием неопределенности поведения системы. Применение меры неопределенности информации может послужить эффективным средством для оценки состояния технической системы, её элементов и структуры. С возможностями применения данной меры в технических системах можно ознакомиться в работах . Изменение состояния влияет на выполнение функций, одна из которых связана с передачей энергии (ресурсов) в системе. Исходя из функциональных особенностей системы возможны, по крайней мере, два варианта оценки состояния (изменения структуры). Первый не связан с учетом потокового процесса, второй учитывает направление потоков в структурной схеме системы. Далее при построении модели примем к рассмотрению первый вариант.
Простейшей моделью количественной оценки структурного содержания системы является подход Хартли, который предложил вычислять количество информации, содержащейся в сообщении. Для нашего случая будем предполагать, что система и каждый из её элементов могут находиться в одном из двух независимых дискретных состояний: работоспособное и неработоспособное. Тогда можно предположить, что от элементов в систему контроля и управления информация поступает в виде сигналов дискретного вида: 0 - элемент системы не работает (находится в неработоспособном состоянии); 1 - элемент работает (находится в работоспособном состоянии). Если предположить, что нас не интересует время пребывания элемента в том или ином состоянии, то общее число всевозможных состояний элементов будет выражаться формулой:
где: k = 2 - число возможных состояний элемента или системы; п - количество элементов в рассматриваемой системе.
В формуле (1) общее число состояний (комбинаций) N - это количество сообщений, сформированных из равно-вероятных и независимых сигналов идущих от элементов. С ростом количества элементов п число комбинаций N увеличивается. Поэтому величину N Хартли использовал в качестве основы для определения меры количества информации. По (1) определяется максимальное количество состояний системы. В реальной обстановке (за определенный промежуток времени, например год) количество состояний всегда будет меньше N. Поскольку нас может интересовать состояние системы на отдельных интервалах времени, то такая мера количества информации, по (1), не удобна для практического использования. Хартли нашел решение, предположив: количество информации I, содержащееся в сообщениях, должно быть функцией от N, то есть I = f(N). Так как число элементов п является показателем степени, то для определения I применяют логарифмическую функцию:
Поскольку число состояний k и основание логарифма приняты равными 2, то количество информации при таких условиях принимается за единицу, которая называется «бит» (двоичная единица).
Появление факторов в системе приводит к возникновению того или иного её состояния, которое по отношению к противоположному состоянию независимо. Условие о независимости состояний указывает на то, что общая информация, по (2), будет равна сумме отдельных информаций и . Здесь и - количество состояний, относящихся к работе и отказу элементов системы соответственно. Их общее количество
Например, если рассматривать два элемента в системе, каждый из которых может находиться в каком-либо из двух состояний, то а для 3-х элементов - N = 8.
Прологарифмировав выражение (3), получим:
которое доказывает свойство аддитивности меры информации Хартли. Данная мера справедлива при условии наличия в системе равновероятных состояний, образующих конечное множество .
Расширим возможности меры Хартли применительно к задачам поиска дискретного содержания структуры системы, при условии конечности исходного множества .
Поскольку рассматриваются только два состояния системы - работоспособное и отказ, то они образуют два класса эквивалентности состояний (см. выражение (4)). Полагаем далее, что каждый из элементов технической системы генерирует состояния, относящиеся только к двум классам эквивалентности.
Если принять во внимание количество элементов , то согласно (1) полученная мера совпадет с логарифмической мерой Хартли:
Из (5) видно, что количество информации в битах равно количеству элементов системы. Следовательно, для равновероятных и взаимонезависимых друг от друга состояний элементов количество информации может выразиться через формулу:
Таким образом, при наличии в системе элементов и при равновероятных состояниях выражение (6) представляет собой логарифмическую меру информации Хартли.
В (6) состояния (работа и отказ) слиты воедино. Однако противоположные состояния желательно разделять, поскольку при их слиянии утрачивается смысл оценки уровня надежности через меру информации. Кроме этого, вероятности нахождения элемента в каждом из состояний неравнозначны. Поскольку важнейшей задачей является сохранение высокого уровня надежности элемента или системы, то на практике вероятность работоспособного состояния всегда будет выше противоположной вероятности. Во избежание слияния информаций (противоположных по своей сути при оценке надежности системы) нужно каждый класс эквивалентности рассматривать в отдельности.
Неравновероятность наличия состояний для элемента или системы вынуждает использовать формулу Шеннона. Последняя является мерой неопределенности наличия или вероятностного присутствия состояния элемента в том или ином классе эквивалентности. Рассмотрим получение формулы на следующем примере.
Например, оценивая надежность технической системы, состояния её элементов рассматриваются на длительных интервалах времени (год и более). На выделенном участке времени состояния перемежаются, следуя друг за другом, образуя поток событий. В этом потоке каждое из событий характеризуется видом (отказ или работа), временем появления и окончания, а также иными показателями. Эти состояния фиксируются в органе управления, одной из задач которого является сохранение высокого уровня работоспособности системы. Решая эту задачу (в нашем случае через определение количества информации), имеющийся поток событий классифицируют, относя события к конкретному i-му элементу либо к самой системе. Так, для одного из элементов, имея поток событий, можно определить вероятности появления каждого из них: pi и qi - вероятность нахождения i-го элемента в работоспособном и неработоспособном состоянии. Вероятности появления событий одного вида образуют суммарную вероятность, pi + qi = 1. Тогда количество информации при неравновероятных и взаимонезависимых событиях, содержащееся в одном элементе, определяется по формуле Шеннона:
Если рассматривать элементы системы как независимо функционирующие, тогда по формуле Шеннона можно определить информацию как
(8)
Вероятности в (8), стоящие перед логарифмом, усредняют значение самого логарифма. Если не разделять состояния по виду, то данное выражение можно переписать как
(9)
при условии В (9) 
- среднее значение вероятности появления событий всех n элементов.
Однако (8) малопригодно из-за наличия взаимосвязей между элементами, и по этой причине состояния элементов будут определять состояния самой системы. Если ставится задача определить количество информации, содержащейся в системе, то она потребует выполнения некоторых условий: 1) следует иметь совокупные данные о состояниях системы за длительный промежуток времени; 2) иметь данные по каждому из элементов. Например, исходя из второго условия, решение задачи можно получить, опираясь на результаты, представленные в работе . Далее будем рассматривать возможности определения меры информации лишь для одного элемента, исключив из рассмотрения систему.
Далее рассмотрим возможности в определении меры информации лишь для одного элемента (объекта). В данном случае будет справедливым использование выражения (7) при условии p + q = 1. Тогда максимум информации достигается при p = q и будет равен 1.
В выражениях для определения меры информации справедливость применения логарифма по основанию 2 объясняется разбиением всего множества состояний элемента на два класса эквивалентности: работоспособные состояния и их вероятности отнесем к первому классу k1, неработоспособные - ко второму классу k2. Оба класса эквивалентности включают в себя целое число состояний m = G + L, где G - число состояний работоспособности, L - неработоспособности элемента системы. В первом классе присутствует множество G состояний с суммарной вероятностью , во втором - L с суммарной вероятностью Тем самым каждый класс разбит на отдельные неравновероятные состояния.
Выделив 2 эквивалентных класса, где каждому из них принадлежит собственное множество неравновероятных состояний, информацию согласно (7) можно определить по выражению:
при условии 
, (11)
где pg и ql - вероятность g-го работоспособного и l-го неработоспособного состояний соответственно, (m = G + L) - полное количество состояний элемента. Выражения (7) и (10) совпадают и могут быть применены тогда, когда получены данные путем отслеживания потока событий либо ранее обобщенные статистические данные. При равенстве вероятностей состояний элемента - рg = ql, (например рg = ql = 0,125 и G = L = 4) по выражению (10) и при соблюдении условия (11) получим максимальное значение информации I* = 1, тогда как по (8) - I = 3. Тем самым при равенстве вероятностей первая величина означает максимальное значение информации, содержащейся в одном элементе, вторая - в 3-х независимо функционирующих элементах. В последнем случае использование (8) неправомерно.
Часто в практике расчетов уровня надежности аналитик опирается на наличие статистических данных. При этом он может взять уже готовые обобщенные значения либо, накапливая опыт эксплуатации, рассматривает поток событий, получая тем самым серию вероятностей, и на основе теоремы сложения вероятностей находит суммарное значение и соответственно суммарное q. Подставив эти значения в (7), можно определить количество информации, содержащееся в одном элементе.
Таким образом, выражение (10) представляет собой логарифмическую меру неопределенности информации, содержащуюся в одном элементе, с учетом разделения на работоспособное и неработоспособное состояния.
Отметим еще одну особенность в получении меры неопределенности. Она связана с тем, что формула Шеннона согласуется с формулами Хартли (3)-(6) для равновероятных событий. Если рассматривать поток неравновероятных состояний (событий), то принимая во внимание (3), обобщенные вероятности каждого из классов находятся по Шеннону как
и (12)
При их определении работает теорема умножения вероятностей, поскольку предполагается, что уровень надежности элемента можно представить в виде последовательно протекающих независимых событий . Имея обобщенные вероятности по (12), можно сделать вывод о том, что мера информации для каждого из классов эквивалентности обладает свойством аддитивности. Тогда меру информации можно определить по формуле:
В (13) величины pср и qср усредняют значение информации.
Если в данном выражении будут известны pср и qср, то оно будет соответствовать формуле (10). По сути выражения для определения усредненных значений должны учитывать факт того, что в каждом эквивалентном классе события не являются однородными по характеру появления и содержанию причин, их породивших. Следовательно, основание логарифма при определении информации для одного класса событий должно отличаться от уже принятого основания, равного 2.
В теории о логарифмах известно выражение 
, которое в нашем случае (например, для k1 класса) выглядит как
Из выражения (14) вытекает следующее:
(15)
Отношение в (15) может быть рассмотрено как плотность информации. Тогда (например, для класса k1) можно записать соотношение:
где 
Тогда (13) с учетом средних величин можно записать в виде:
(17)
Примем условие: G = L = 4; рg = ql = 0,125. Тогда по выражению (17) и при соблюдении условия (11) максимальное значение меры информации что подтверждает соответствие выражению (10).
Заключение. Из рассмотренного выше следует, что структура технической системы, состоящая из элементов и связей между ними, подлежит информационному анализу и оценке с позиции надежности. Каждый из элементов может находиться в одном из двух состояний: работа или отказ. Количество состояний, если они равновероятны, определяет значение меры Хартли согласно (6) и разделяется на два класса эквивалентности: класс работоспособных и класс неработоспособных состояний элемента системы. Если события неравновероятны, то мера информации для одного элемента может быть определена по формуле (7). Когда элементы взаимонезависимы, то по формуле Шеннона (8) и (9) можно определить меру информации для системы в целом.
Рассматривая состояния лишь для одного элемента или объекта, каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого из классов эквивалентности можно определить суммарные и обобщенные вероятности работоспособности и отказа элемента. Эти показатели применимы для определения меры неопределенности информации элемента по полученным выражениям (10) и (17) с разделением на класс работоспособных и неработоспособных состояний. Показано, что (10) и (17) идентичны и применимы: первое выражение - при наличии суммарной вероятности, второе - при обобщенной вероятности.
На основе использования вышеупомянутых формул можно для однотипных элементов определить меру неопределенности и на основе полученных величин выделить менее надежный из них.
Рецензенты:
Нагрузова Любовь Петровна, д.т.н., профессор кафедры «Строительство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.
Булакина Елена Николаевна, д.т.н., профессор кафедры «Автомобили и автомобильное хозяйство» Хакасского технического института - филиала ФГАОУ ВПО «Сибирский федеральный университет», г. Абакан.
