Теория информации

Теория информации
Т

еория информации, также известная первоначально как математическая теория коммуникаций, впервые была явно сформулирована в середине двадцатого века. Почти сразу же она стала основной. Во-первых, для более систематической разработки и использования многочисленных телекоммуникационных и информационных технологий, а во-вторых, для решения парадокса в термодинамике. Наконец, теория информации способствовала новым интерпретациям широкого круга биологических и культурных явлений, из органической физиологии и генетики поведения в когнитивную, человеческого языка, экономики и политических решений.

   Отражая симбиоз теории и практики типичные технологии двадцатого века, технические вопросы в начале телеграфии и телефонии привели к прото-теории информации разработанной Гарри Найквистом в Bell Labs в 1924 году и Ральфом Хартли, также в Bell Labs в 1928 году. Эта теория, в свою очередь способствовала достижению в области телекоммуникаций, которые стимулировали развитие теории информации как таковой, Клод Шеннон и Уоррен Уивер в своей книге «Математическая теория связи», опубликованной в 1949 году. Как говорит Клода Шеннона, исследователь Bell Labs, техническое понятие информации определяется вероятностью того, что конкретное сообщение или сигнал, выбранный из ряда возможностей передается от А до B. Информация в этом смысле является математической количественной оценкой. Количество информации, я передал по сигналу, S, обратно пропорционально его вероятности, P. То есть, чем невероятнее сообщение, тем больше информации оно содержит. Для облегчения математического анализа сообщений, мера удобно определяется как I = log2 1 / P (S), и называется двоичной цифрой или «битом» для краткости. Теория информации открывает этот концептуальный анализ, она стала основой для построения и анализа цифровых вычислительных устройств и целого ряда информационных технологий (технологий, включая телекоммуникации и обработку данных), от телефонов до компьютерных сетей.

   Информация в этом техническом смысле является противоположностью энтропии. Согласно второму закону термодинамики, энтропия или нарушением любой замкнутой системы стремится естественно увеличиваться, так что вероятность энергии дифференциалов в нем приближается к 0. Тепловой двигатель, например, зависит от наличия невероятной или анти-энтропийной дифференциальной энергии, созданной, как правило, вводом энергии из ограниченного источника тепла, так что энергия течет в соответствии со вторым законом от одной части системы к другой (как в цикле Карно с паровым двигателем). Но в конце девятнадцатого века мысленный эксперимент, физик Джеймс Клерк Максвелл создает парадокс. Представьте себе, Максвелл предложил, закрытый контейнер с газом при температуре равновесия или высокой энтропии, без какой-либо дифференциальной энергии. В таком случае, некоторые молекулы газа обладают несколько более высокой энергией, чем другие. Ввести в контейнере разделы с небольшой дверью, которая управляется «демоном», который позволяет случайным выше энергиям молекул двигаться в одну сторону и случайно нижним молекулам энергии двигаться. Демон, таким образом, имеет тенденцию постепенно создавать энергетический дифференциал в системе, тем самым уменьшая энтропию и создание потенциального теплового двигателя, без каких-либо затрат энергии. До разработки теории информации, демон Максвелла, казалось, получил что-то ни за что, в то время как на самом деле он представляет информацию (об энергии молекул) в систему.

  Информация, таким образом, действует как отрицательная энтропия или «негэнтропия» (термин, придуманный Эрвином Шредин-Шредингером). Расширяя связи между теорией информации и термодинамики, Норберт Винер разработал тесно связанную теорию с теорией кибернетики (1948) для анализа информации в качестве средства управления и связи в животных и машинах. В теории Винера, демон Максвелла становится kubernetes (греческое слово рулевой), который использует некоторые небольшие части системы, выводится как информация и энергия обратной связи, которая регулирует себя для того, чтобы достичь или поддержать предопределение состояния. Чтобы машина теории информации не была применена с большей интенсивностью, чем цифровой компьютер. Действительно, как ученый, Голдстайн, отметил в 1972 году, несмотря на последствия, компьютеру не просто работать над числами, а скорее он превращает информацию. Информация, как и в телекоммуникационных сетях, превращается в сложную информацию для хранения и обработки кода. Можно подумать, передовые компьютеры состоят из миллионов дифференциально запрограммированных демонов Максвелла, встроенных в кремнии микросхемы так, чтобы получить структурированный выход, который, в соответствующем контексте конфигурации, отображает того, что введено (после проведенного компьютерного ученого Марвина Мински) в искусственный интеллект.

  Чтобы справиться с такими сложностями, теория информации была пересмотрена как математический анализ, передача и обработка информации. По словам Винера, что организмы, функционирующие как местные антиэнтропийные системы, зависят от демона Максвелла. Действительно, вполне может быть, что ферменты являются метастабильными демонами Максвелла, уменьшение энтропии, может быть, не от расстояния между быстрыми и медленными частицами, но некоторый эквивалент процесса. Для Винера самая сущность живого организма является то, что ввод-вывод физиологических функций (например, производство энергии) дополняются многочисленными петлями обратной связи, из которой выходят, становясь регулирующей информацией дальнейшего вывода. Когда статические организации неживой материи стоят на месте, это создает динамический гомеостаз, через который организм остается той же форме, даже когда он подвергается непрерывным изменениям в материале, из которого его форма состоит. Это кибернетическое зрения биологии углубило с открытием ДНК и генетического кода, на который теория информации снова применяется, и ДНК задумано как средство для передачи анатомии и физиологии от одного поколения к другому. Когнитивных психологов особенно привлекло идея о том, что теория информации и кибернетики могли бы служить основой для общей интерпретации не только органических физиологий, но и для гораздо открытых поведений человека. В ХХ века с помощью компьютера ученые, психологи разработали более сложные модели сознания, некоторые пытаются повторить психические выходы с помощью любых технических средств, другие сосредоточены на тиражирование известных или предположенных структур мозга и процессов мышления. Независимо от степени, в которой сам мозг на самом деле функционирует в качестве технической информации о процессоре, эта двойная стратегия исследования оказались весьма плодотворной для исследования человеческого познания и дизайну современных машин обработки информации. Примеры в последнем случае относятся к теории параллельной обработки информации, нейронных сетей и возникающих сложностях.

  В отличие от теории информации и технической концепции информации понятие информации в семантическом или природном лингвистическом смысле. Информационная теория, принимает языковое значение любого сообщения, и стремится определить наиболее эффективный способ кодирования, а затем передать этот код, который затем может быть снова расшифрован и опознан. Семантическая информация, сигнал, передаваемый между А и В, но три или четыре перспективные соотношение: сигнал передается между А и В и говорил что-то о C (возможно, до D). Тем не менее, несмотря на трудности установления однозначной связи между техническими и семантическими понятиями информации (независимо от того, какова вероятность некоторых особенностей сигнал или сообщение может иметь любое количество различных смысловых значений). Теория информации была сильной тенденцией влияния на идеи о естественном языке.

Похожие статьи

Последние публикации
Последние комментарии