Перейти к содержанию

Какое отношение имеет клод шеннон к информатике. Клод шеннон краткая биография и интересные факты

Содержание статьи
Какое отношение имеет клод шеннон к информатике. Клод шеннон краткая биография и интересные факты
Фото: usbotschaftberlin, Wikimedia Commons · Public domain

Клод Элвуд Шеннон – ведущий американский учёный в сфере математики, инженерии, криптоаналитики.

Он приобрёл мировую известность, благодаря своим открытиям в области информационных технологий и изобретению «бит» (1948 г.), как самой маленькой информационной единицы. Его считают основоположником информационной теории, основные положения которой до сих пор актуальны в разделе высокотехнологичной связи и современных коммуникаций.

Шенноном также было впервые введено понятие «энторопия» , что говорит о неопределённой мере передаваемой информации.

Этот учёный первым применил научный подход для информационной идей и законов криптографии, обосновав свои мысли в работах о математической теории связи, а также о теории связи в секретных системах.

Большой вклад внёс он и в развитие кибернетики, обосновав такие ключевые моменты, как вероятностность схемы, игровую научную концепцию, а также мысли о создании автоматов и управленческой системы.

Детские и юношеские годы

Клод Шеннон появился на свет в американском Петоски, что в штате Мичиган. Это радостное событие случилось 30.04.1916-го.

Отец будущего учёного занимался бизнесом в сфере адвокатуры, а затем был назначент судьёй. Мать – преподавала иняз и со временем получила должность директора школы в Гэйлорде.

Математические наклонности были присущи Шеннону-старшему. Ключевую роль в формировании склонности к научной деятельности у внука сыграл дедушка – фермер и изобретатель.

В его арсенале создание стиральной машинки и некоторых видов прикладной сельхозтехники. Примечательно, что Эдисон имеет родственные связи с этой семьёй.

В 16-летнем возрасте Клод закончил среднюю школу, где преподавала его мать. Успел поработать курьером в Western Union, занимался конструированием различных устройств.

Его интересовало моделирование самолётов и радиотехники, ремонт небольших радиостанций. Он своими руками сделал лодку с радиоуправлением, телеграф для связи с другом.

Как уверяет сам Клод, его абсолютно не интересовали только политика и вера в Бога.

Студенческие годы

Университет Мичигана распахнул перед Шенноном свои двери в 1932 году. Учёба здесь открыла для него труды Дж. Буля. Диплом бакалавра по математике и электротехнике Клод получил в 1936 г.

Его первым местом работы стала должность ассистента-исследователя в технологическом университете Массачусета. Научную деятельность Клод вёл в качестве оператора механического компьютерного устройства, созданного его учителем В.Бушем.

Глубоко вникнув в концептуальные научные разработки Буля, Шеннон понял возможность их практического применения. Защитив магистерскую диссертацию в 1937 г., которую курировал Фрэнк Л. Хичкок, он перешёл в известную Bell Telephone Laboratories, где выпустил материал по символическому анализу в схемах переключения и с задействованием реле.

Он был размещён на страницах специального журнала институтом инженеров-электриков в США (1938 г.).

Основные положения статьи раскрыли усовершенствование маршрутного посыла телефонного вызова, благодаря замене реле электромеханического типа на переключающую схему. Молодой учёный обосновал концепцию о возможности решения применением схем всех задач Булевой алгебры.

Эта работа Шеннона получила Нобелевскую премию в области электрической инженерии (1940 г.) и стала основой для создания логических цифровых схем в электрических цепях. Этот магистерский труд стал настоящим научным прорывом ХХ века, положив начало созданию электронной вычислительной техники современного поколения.

Буш рекомендовал Шеннону заняться диссертацией на получение степени доктора математических наук. Серьёзное внимание им было уделено математическим исследованиям в тесной связи с генетическими законами наследственности известного Менделя. Но эта работа так и не получила должного признания и впервые была опубликована только в 1993 г.

Немало сил учёным было отдано построению математического фундамента для различных дисциплин, особенно информационных технологий. Этому способствовало его общение с видным математиком Г. Вейлем, а также Дж. Фон Нейманом, Энштейном, Гёделем.

Военный период

С весны 1941 г. до 1956 г. Клод Шеннон работает на оборону США, разрабатывая управление огнём и обнаружение врага при ведении противовоздушной обороны. Он создал устойчивую межправительственную связь президента США с английским премьером.

Национальной премии в области научных исследований он был удостоен за свой доклад об организации двухполюсных переключающих цепей (1942 г.).

Учёный заинтересовался идеями англичанина Тьюринга по шифрованию речи (1943 г.), и уже в 1945-м выпустил работу об усреднении данных и прогнозировании для систем управления огнём. Его соавторами стали Ральф Б. Блэкмен и Х. Боде. Смоделировав специальную систему, обрабатывающую информацию и спецсигналы, они положили начало информационному веку.

Секретный меморандум К. Шеннона в области математической теории криптографии (1945 г.) доказал, что криптография и теория связи – неразделимы.

Послевоенный период

Это время ознаменовано его меморандумом о теории связи с математической точки зрения (1948 г.) в части кодировки передаваемых текстов.

Дальнейшая работа Шеннона вплотную связана с информационной теорией в области разработки игр, в частности колеса рулетки, машины, читающей мысли, а также машины по сбору кубика Рубика.

Учёный воплотил идею, позволяющую сжать информацию, которая позволяет избежать её потерю при распаковке.

Учёный создал школу, где периодически вёл семинары, где учил студентов находить новые подходы к решению тех или иных задач.

Известны его научные исследования в области финансовой математики. Среди них, электрическая цепь денежного течения в американских пенсионных фондах и обоснование выбора портфеля инвестиций при распределении денежных активов.

Многие сравнивают популярность Клода Шеннона с Исааком Ньютоном.

После 1978 г., на пенсии он занялся теорией жонглирования и сконструировал специальную машину.

Сборник своих статей Клод Шеннон выпустил в 1993 году, куда вошли 127 его научных работ.

Завершающий жизненный этап

Последние годы он провёл в Массачусетском доме-интернате из-за болезни Альцгеймера . Здесь, по заверению его жены Мэри Элизабет, Клод участвовал в исследованиях по изучению способов её лечения.

Вся семья постоянно находилась рядом с ним. Смерть наступила 24.02.2001 г.

У Шеннона остались единственная жена, брак с которой продлился с марта 1949 г. У них родились трое детей Роберт, Андрю, Маргарита.

Клод Шеннон краткая биография и интересные факты из жизни американского инженера, криптоаналитика и математика, отца информационного века, изложены в этой статье.

Клод Шеннон краткая биография

Клод Элвуд Шеннон появился на свет 30 апреля 1916 года в городке Петоцки, штат Мичиган. Его отец был юристом, а мать преподавала иностранные языки. В 1932 году юноша окончил среднюю школу и параллельно обучался на дому. Отец Клода постоянно покупал сыну радиолюбительские наборы и конструкторы, содействуя его техническому творчеству. А старшая сестра проводила ему углубленные занятия математикой. Поэтому любовь к технике и математике была очевидной.

В 1932 году будущий ученый поступает в университет Мичигана. Окончил учебное заведение в 1936 году со степенью бакалавра по математике и электротехнике. В университете он прочитал работы «Логическое исчисление» и «Математический анализ логики» автора Джорджа Буля, которые во многом определили его будущие научные интересы.

Вскоре его пригласили на работу в Массачусетский технологический институт на должность ассистента-исследователя в лаборатории электротехники. Шеннон работал над модернизацией аналогового компьютера, дифференциального анализатора Ванневара Буша.

В 1936 году Клод решил поступать в магистратуру, и годом позже написал диссертацию. На ее основе выдает статью под названием «Символьный анализ реле и переключательных схем», опубликовал ее 1938 году в журнале Американского института инженеров-электриков. Его статья заинтересовала научное электротехническое сообщество и в 1939 году ему присудили Премию им. Альфреда Нобеля. Не окончив магистерскую диссертацию, Шеннон начал работу над докторской работой по математике, затрагивая задачи генетики. Она называлась «Алгебра для теоретической генетики».

В 1941 году, в возрасте 25 лет, он стал работать в математическом отделении научно-исследовательского центра «Bell Laboratories». В Европе в это время начались военные действия. Америка финансировала исследования Шеннона в области криптографии. Он являлся автором анализа зашифрованных текстов при помощи информационно-теоретических методов. Ученый в 1945 году завершает большой секретный отчет «Математическая теория криптографии».

Какой вклад внес Клод Шеннон в информатику?

В своих исследованиях ученый подготовил концепции по теории информации. В 1948 году Шеннон опубликовал труд «Математическая теория связи», в которой математическая теория предстала как приемник информации и канал связи для ее передачи. Осталось только все перевести на более простой язык и донести свои наработки человечеству. Клод Шеннон ввел такое понятие информационной энтропии, которое обозначает величину, единицу информации. Ученый рассказывал, что данный термин ему посоветовал использовать математик . Клод Шеннон создал 6 концептуальных теорем, которые являются фундаментом его теории информации:

  • Теорема количественной оценки информации.
  • Теорема рациональной упаковки символов при первичном кодировании.
  • Теорема согласования потока информации с пропускной способностью канала связи без помех.
  • Теорема согласования потока информации с пропускной способностью двоичного канала связи с помехами.
  • Теорема оценки пропускной способности непрерывного канала связи.
  • Теорема безошибочного восстановления непрерывного сигнал.

В 1956 году ученый прекращает работу в «Bell Laboratories» и занимает должность профессора сразу на двух факультетах технологического института в Массачусетсе: электротехническом и математическом.

Когда ему исполнилось 50 лет, он перестает заниматься преподавательской деятельностью и всего себя посвящает любимым хобби. Он создал одноколесный велосипед с 2-мя седлами, роботов, которые собирают кубик Рубик и жонглируют шарами, складной нож с большим количеством лезвий. В 1965 году он посетил СССР. А в последнее время Клод Шеннон сильно болел и умер в феврале 2001 году от недуга Альцгеймера в массачусетском доме престарелых.

Клод Шеннон интересные факты

Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрёл стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой

Подростком он работал посыльным в Western Union.

Он увлекался игрой на кларнете , слушал музыку и читал поэзию.

Шеннон женился 27 марта 1949 года, на Мэри Элизабет Мур Шеннон, с которой познакомился в «Bell Labs». Она работала там аналитиком. У супругов родилось трое детей: Андрю Мур, Роберт Джеймс и Маргарита Катерина.

Клод Шеннон на выходных любил сгонять в Лас-Вегас вместе со своей женой Бетти и коллегой, дабы поиграть в блэкджек. Шеннон со своим другом даже спроектировали первый в мире wearable-компьютер, занимающийся «подсчетом карт».

Занимался разработкой устройств, которые обнаруживали самолеты противника и наводили на них зенитные установки. Также он создал криптографическую систему для правительства США, обеспечивающею тайность переговоров Рузвельта и Черчилля.

Любил играть в шахматы и жонглировать. Свидетели его молодости в Bell Laboratories вспоминали, как он разъезжал по коридорам фирмы на одноколесном велосипеде, при этом жонглируя мячами.

Он создал одноколесный велосипед с двумя седлами, складной нож с сотней лезвий, роботов, собирающих кубик Рубика, и робота, жонглирующего шарами.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; 30 апреля 1916, Петоцки, Мичиган, США - 24 февраля 2001, Медфорд, Массачусетс, США) - американский инженер, криптоаналитик и математик. Cчитается «отцом информационного века».

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введенная им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии. Клод Шеннон был одним из первых, кто подошел к криптографии с научной точки зрения, он первым сформулировал ее теоретические основы и ввел в рассмотрение многие основные понятия. Шеннон внес ключевой вклад в теорию вероятностных схем; теорию игр; теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика».

Биография

Детство и юность

Клод Шеннон родился 30 апреля 1916 года в городе Петоцки (штат Мичиган, США). Отец его, Клод-старший (1862-1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьей. Мать Шеннона, Мейбел Вулф Шеннон (1890-1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума и давал себе отчёт в своих словах. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрел стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой. Томас Эдисон был дальним родственником Шеннонов.

Первые шестнадцать лет своей жизни Клод провел в Гэйлорде (Мичиган), где в 1932 году закончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером службы Western Union. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Университетские годы

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». Необходимо отметить, что Фрэнк Лорен Хичкок контролировал магистерскую диссертацию, давал полезную критику и советы. Сама статья была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). В этой работе он показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи - это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

Кто такой Клод Шеннон и чем он занимался, Вы узнаете из этой статьи.

Клод Шеннон и чем он знаменит? кратко

(годы жизни: 20 апреля 1916 – 24 февраля 2001) – это выдающийся американский ученый, который является создателем теории информации . Будучи молодым, ученый увлеченно конструировал различные автоматические и механические устройства, собирал модели самолетов и радиотехнические цепи. Он имеет много научных ступеней: бакалавр математики и электротехники, доктор наук по математики, магистр в электротехнике.

Клод Шеннон и его вклад в информатику

Достижения Клода Шеннона определили будущее информационного пространства. Он разработал фундаментальные законы передачи информации и теорию информации, которая складывалась с 6 концептуальных теорем:

  • Теорема количественной оценки информации.
  • Теорема рациональной упаковки символов при первичном кодировании.
  • Теорема согласования потока информации с пропускной способностью канала связи без помех.
  • Теорема согласования потока информации с пропускной способностью двоичного канала связи с помехами.
  • Теорема оценки пропускной способности непрерывного канала связи.
  • Теорема безошибочного восстановления непрерывного сигнал.

Кроме этого, ученый создал в 1950 году мышку робота с зачатками искусственного интеллекта . Она могла ходить в лабиринте и находить выход.

Именно Шеннон в 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации.

Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введённая им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии.

Клод Шеннон был одним из первых, кто подошёл к криптографии с научной точки зрения , он первым сформулировал её теоретические основы и ввёл в рассмотрение многие основные понятия. Шеннон внёс ключевой вклад в теорию вероятностных схем, теорию игр, теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика».

Также он оставил по себе богатое философское и прикладное наследие. Клод Шеннон создал общую теорию устройств вычислительной техники и дискретной автоматики, технологию эффективного использования канальной среды. Все современные архиваторы, которые используются в мире компьютера, функционируют благодаря теореме ученого про эффективное кодирование.

Что касается философского наследия, то ему принадлежит две идеи:

  • Цель любого вида управления – это уменьшение энтропии, как некой меры беспорядка и неопределенности в системной среде. А поскольку управление не может решить эту задачу до конца, то оно является избыточным, то есть ненужным.
  • Все, что есть в этом мире, представляет собой «канал связи». В его роли выступает и коллектив, и человек, и промышленность, и целая функциональная среда, и страна в целом, и транспортная структура. И чтобы добиться хороших результатов, необходимо согласовывать информационные, технические, правительственные и гуманитарные решения с пропускной способностью связной канальной среды, с которой они взаимодействуют.

Надеемся, прочтя эту статью, Вы узнали, что сделал Клод Шеннон для развития информационной науки.

Он является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Шеннон внес огромный вклад в теорию вероятностных схем, теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика». В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»).

Биография

Клод Шеннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.

По совету Буша Шеннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шеннон получает докторскую степень по математике и степень магистра по электротехнике.

В период с 1941 по 1956 гг. Шеннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шеннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

С 1950 по 1956 Шеннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.

Шеннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.

Теория связи в секретных системах

Работа Шеннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Статья «Математическая теория связи»

Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили огромное число исследований по всему миру. Шеннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию. Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шенноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.

Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шенноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.

Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.

Теорема о пропускной способности канала.

Любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале.