Клод Шеннон и теория информации
Клод Элвуд Шеннон (Shannon) (1916 - 2001) - американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.
Этот удивительный человек однажды заявил: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи". Его "Математическую теорию связи" назвали "величайшей работой в анналах технической мысли". Его интуицию первооткрывателя сравнивали с гением Эйнштейна. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs.
Клод Шеннон родился в 1916 году в городе Гэйлорде штата Мичиган. Еще
в детские годы Клод познакомился как с детальностью технических конструкций, так
и с общностью математических принципов. Он постоянно возился с детекторными
приемниками и радиоконструкторами, которые приносил ему отец, помощник судьи, и
решал математические задачки и головоломки, которыми снабжала его старшая сестра
Кэтрин, ставшая впоследствии профессором математики. Клод полюбил эти два мира,
столь несхожие между собой, — технику и математику.
Будучи студентом Мичиганского университета, который он окончил в 1936 году, Клод
специализировался одновременно и в математике, и в электротехнике. Эта
двусторонность интересов и образования определила первый крупный успех, которого
Клод Шеннон достиг в свои аспирантские годы в Массачусетском технологическом
институте. В своей диссертации, защищенной в 1940 году, он доказал, что работу
переключателей и реле в электрических схемах можно представить посредством
алгебры, изобретенной в середине XIX века английским математиком Джорджем Булем.
"Просто случилось так, что никто другой не был знаком с этими обеими областями
одновременно!" — так скромно Шеннон объяснил причину своего открытия.
В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories. В годы
войны он занимался разработкой криптографических систем, и позже это помогло ему
открыть методы кодирования с коррекцией ошибок. А в свободное время он начал
развивать идеи, которые потом вылились в теорию информации. Исходная цель
Шеннона заключалась в улучшении передачи информации по телеграфному или
телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро
пришел к выводу, что наилучшее решение проблемы заключается в более эффективной
упаковке информации.
Но что же такое информация? Чем измерять ее количество? Шеннону пришлось
ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной
способности каналов связи. В своих работах 1948-49 годов он определил количество
информации через энтропию — величину, известную в термодинамике и статистической
физике как мера хаоса в системе, а за единицу информации принял то, что
впоследствии окрестили "битом", то есть выбор одного из двух равновероятных
вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему
посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет
тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит
Шеннону большое преимущество в неизбежных спорах.
На прочном фундаменте своего определения количества информации Клод Шеннон
доказал удивительную теорему о пропускной способности зашумленных каналов связи.
Во всей полноте эта теорема была опубликована в его работах 1957-61 годов и
теперь носит его имя. В чем суть теоремы Шеннона? Всякий зашумленный канал связи
характеризуется своей предельной скоростью передачи информации, называемой
пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в
передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно
близко, обеспечивая соответствующим кодированием информации сколь угодно малую
вероятность ошибки при любой зашумленности канала.
Эти идеи Шеннона опередили свое время и не смогли найти применения в годы
медленной ламповой электроники. Но в наше время высокоскоростных микросхем они
работают повсюду, где хранится, обрабатывается и передается информация: в
компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы
не замечаем теорему Шеннона, как не замечаем воздух.
Кроме теории информации, Шеннон проявил себя во многих других областях. Одним из
первых он высказал мысль о том, что машины могут играть в игры и самообучаться.
В 1950 году он сделал механическую мышку Тесей, дистанционно управляемую сложной
электронной схемой. Эта мышка училась находить выход из лабиринта. В честь его
изобретения IEEE учредил международный конкурс "Микромышь", в котором до сих пор
принимают участие тысячи студентов технических вузов. В те же 50-е годы Шеннон
создал машину, которая "читала мысли" при игре в "монетку": человек загадывал
"орел" или "решку", а машина по большей части выигрывала у него, т.к. отгадывала
закономерности человеческого выбора.
В 1956 году Шеннон покинул Bell Labs и со следующего года стал профессором
Массачусетского технологического института, откуда ушел на пенсию в 1978 году. В
числе его студентов был, в частности, Марвин Мински и другие известные ученые,
работавшие в области искусственного интеллекта.
Труды Шеннона, заложившие фундамент новой науки, столь же интересны и для
специалистов, решающих сугубо прикладные задачи. Шеннон создал основы
современного кодирования с коррекцией ошибок, без которого не обходится сейчас
ни один дисковод для жестких дисков или система потокового видео, и, возможно,
многие продукты, которым еще только предстоит увидеть свет.
В МТИ и на пенсии им полностью завладело его давнее увлечение жонглированием.
Шеннон построил несколько жонглирующих машин и даже создал общую теорию
жонглирования, которая, впрочем, не помогла ему побить личный рекорд —
жонглирование четырьмя мячиками. Еще он испытал свои силы в поэзии, а также
разработал разнообразные модели биржи акций и опробовал их (по его словам —
успешно) на собственных акциях.
Но с начала 60-х годов Шеннон не сделал в теории информации практически больше
ничего. Это выглядело так, как будто ему всего за 20 лет надоела созданная им же
теория. Такое явление — не редкость в мире науки, и в этом случае об ученом
говорят одно слово: перегорел. Самые мощные звезды светят не долго, около ста
миллионов лет, и кончают свою творческую жизнь вспышкой сверхновой, в процессе
которой происходит нуклеосинтез: из водорода и гелия рождается вся таблица
Менделеева. Мы с вами состоим из пепла этих звезд, и также наша цивилизация
состоит из продуктов быстрого сгорания самых мощных умов. Есть звезды второго
типа: они горят ровно и долго и миллиарды лет дарят свет и тепло населенным
планетам (по крайней мере, одной). Исследователи такого типа тоже очень нужны
науке и человечеству: они сообщают цивилизации энергию развития. А звезды
третьего сорта — красные и коричневые карлики — светят и греют чуть-чуть, лишь
себе под нос. Таких ученых тоже хватает...
В 1985 году Клод Шеннон и его жена Бетти неожиданно посетили Международный
симпозиум по теории информации в английском городе Брайтоне. Почти целое
поколение Шеннон не появлялся на конференциях, и поначалу его никто не узнал.
Затем участники симпозиума начали перешептываться: вон тот скромный седой
джентльмен — это Клод Элвуд Шеннон, тот самый! На банкете Шеннон сказал
несколько слов, немного пожонглировал тремя (увы, только тремя) мячиками, а
затем подписал сотни автографов ошеломленным инженерам и ученым, выстроившимся в
длиннейшую очередь. Стоящие в очереди говорили, что испытывают такие же чувства,
какие испытали бы физики, явись на их конференцию сам сэр Исаак Ньютон.
Клод Шеннон скончался в 2001 году в массачусетском доме для престарелых от
болезни Альцгеймера на 84 году жизни.
По материалам статьи Сергея Серого в газете "Компьютерные Вести"
Вот и всё пока... Вопросы и замечания mailto:feod@narod.ru
До новых встреч!
Юлий Феодоритов