Information theory is a discipline

Information theory is a discipline in applied mathematics involving the quantification
of data with the goal of enabling as much data as possible to be reliably stored on a
medium or communicated over a channel. The measure of information, known as information
entropy, is usually expressed by the average number of bits needed for storage or communication.
For example, if a daily weather description has an entropy of 3 bits, then, over enough
days, we can describe daily weather with an average of approximately 3 bits per day.
Applications of fundamental topics of information theory include lossless data
compression (e.g. ZIP files), lossy data compression (e.g. MP3s), and channel
coding (e.g. for DSL lines). The field is at the crossroads of mathematics, statistics,
computer science, physics, neurobiology, and electrical engineering. Its impact has been
crucial to success of the Voyager missions to deep space, the invention of the CD,
the feasibility of mobile phones, the development of the Internet, the study of linguistics
and of human perception, the understanding of black holes, and numerous other fields.

The main concepts of information theory can be understood by considering
the most widespread means of human communication: language. Two important
aspects of a language are as follows: First, the most common words (e.g., “a”,
“the”) should be shorter than less common words (e.g., “benefit”, “generation”,
“mediocre”), so that sentences will not be too long. Such a trade-off in word length
is analogous to data compression and is the essential aspect of source coding.
Second, if part of a sentence is unheard or misheard due to noise (may be from a
passing car) the listener should still be able to glean the meaning of the underlying
message. Such robustness is as essential for an electronic communication system
as it is for a language; properly building such robustness into communications is
done by channel coding. Source coding and channel coding are the fundamental
concerns of information theory.

Information theory is generally considered to have been founded in
1948 by Claude E Shannon in his seminal work, “A Mathematical Theory of
Communication”. The central paradigm of classical information theory is the
engineering problem of the transmission of information over a noisy channel.

Information theory is closely associated with a collection of pure and applied disciplines
at have been investigated and reduced to engineering practice under a variety of rubrics
throughout the world over the past half century or more: adaptive systems, anticipatory
systems, artificial intelligence, complex systems, complexity science, cybernetics, informatics,
machine learning, along with systems sciences of many descriptions. Information theory is a
broad and deep mathematical theory, with equally broad and deep applications, amongst which
is the vital field of coding theory.

Coding theory is concerned with finding explicit methods, called codes, of increasing the efficiency and
reducing the net error rate of data communication over a noisy channel to near the limit that Shannon proved
is the maximum possible for that channel. These codes can be roughly subdivided into data compression
(source coding) and error-correction (channel coding) techniques.

Результаты (русский) 1:

Теория информации является дисциплина в прикладной математике, с участием количественная оценка данных с целью включения столько данных как можно надежно храниться на Средний или общался по каналу. Мера информации, известный как информация Энтропия, обычно выражается в среднее число бит, необходимых для хранения или связи.Например, если ежедневно Погода описание энтропии 3 бита, затем над достаточно дней, мы можем описать ежедневные Погода с в среднем приблизительно 3 бита в день. Применение основных разделов теории информации включает в себя без потерь данных сжатие (например, ZIP-файлы), сжатие с потерями данных (например, файлов MP3) и канал кодирование (например, для линий DSL). Поле находится на перекрестке математики, статистики, Компьютерные науки, физика, нейробиологии и электротехники. Его воздействие было решающее значение для успеха миссий Voyager в глубокий космос, изобретение CD, возможности мобильных телефонов, развитие Интернета, изучение лингвистики и человеческого восприятия, понимания черных дыр и многих других областях.Основные понятия теории информации можно понять, учитываянаиболее распространенным средством человеческого общения: язык. Два важныхаспекты языка, заключаются в следующем: во-первых, наиболее распространенные слова (например, «»«») должно быть короче, чем менее распространенные слова (например, «пользу», «поколение»,«заурядный»), так что предложения не будет слишком долго. Такой компромисс в длина словаявляется аналогом сжатия данных и является важным аспектом кодирования источника.Во-вторых, если часть предложения неслыханное или расслышал из-за шума (может быть отмимо автомобиля) слушатель по-прежнему должен иметь возможность подбирать смысл основногоСообщение. Такая надежность так же важна для системы электронной связикак это для языка; должным образом строительство такой надежности в связисделать канал кодирования. Кодирование источника и кодирование канала являются фундаментальныепроблемы теории информации.Теория информации, как правило, считается был основан в1948, Клод Шеннон E в своей основополагающей работе, «математическая теорияСвязь». Центральный парадигмы классической теории информацииинженерные проблемы передачи информации по каналу шумной. Теория информации тесно связан с коллекцией чистой и прикладной дисциплины на расследование и сводится к инженерной практики в различных рубриках во всем мире за последние полвека или более: адаптивных систем, досрочная системы, искусственный интеллект, сложных систем, сложности науки, кибернетики, информатики, машина обучения, наряду с системами наук много описаний. Теория информации широкие и глубокие математическая теория, с столь же широкой и глубокой приложений, среди которых Это жизненно важной области теории кодирования.Теория кодирования связана с поиском явные методы, называемые коды, повышения эффективности иснижение чистых ошибок передачи данных шумной каналу почти до предела, что Шеннонявляется максимально возможным для этого канала. Эти коды можно подразделить примерно сжатие данных(источник кодирования) и методы коррекции ошибок (кодирование канала).

Результаты (русский) 2:

Теория информации является дисциплиной в области прикладной математики, связанных с количественной
данных с целью включения столько данных, сколько возможно, чтобы быть надежно хранится на
носителе или передаваться по каналу. Мера информации, известный как информации
энтропии, как правило, выражается средним числом битов, необходимых для хранения или передачи.
Например, если в день Описание погоды имеет энтропию 3 бита, то, в течение достаточно
дней, можно описать в день Погода в среднем около 3 бит в день.
Применение фундаментальных тем теории информации включают в себя данные без потерь
сжатия (например, файлы ZIP), сжатие с потерями данных (например, файлов MP3), и канал
кодирования (например, для DSL линии). Поле находится на перекрестке математики, статистики,
информатики, физики, нейробиологии и электротехники. Его влияние было
решающим для успеха миссии Voyager в глубоком космосе, изобретение компакт-диска,
технико-экономическое обоснование мобильных телефонов, развитие Интернета, изучение лингвистики
и человеческого восприятия, понимание черных дыр, а также многочисленные . другие поля Основные понятия теории информации можно понять, рассматривая наиболее распространенные средства человеческого общения: язык. Два важных аспекта языка являются: во-первых, наиболее распространенные слова (например, "а", "К"), должны быть короче, чем меньше общих слов (например, "выгода", "поколение", "посредственно"), таким образом, что предложения не будет слишком долго. Такой компромисс в длину слова аналогично сжатию данных и является важным аспектом кодирования источника. Во-вторых, если часть приговора неслыханное или ослышался из-за шума (может быть из проезжавшего мимо автомобиля) слушатель должен еще быть в состоянии подбирать значение базового сообщении. Такое надежность как важно для электронной системы связи, как и для языка; правильно строить такую ​​надежность в коммуникаций сделано канального кодирования. Источник кодирования и канального кодирования являются основными озабоченность теории информации. Теория информации, как правило, считается, был основан в 1948 году Клод Шеннон E в своей фундаментальной работе ", Математическая теория связи». Центральный парадигма классической теории информации является инженерная проблема передачи информации через канал с шумом. Теория информации тесно связана с коллекцией чистой и прикладной дисциплины на были исследованы и сводится к инженерной практике при различных рубрикам протяжении всей Мир за последние полвека или более: адаптивные системы, упреждающие системы, искусственный интеллект, сложных систем, сложность науки, кибернетика, информатика, машинного обучения, наряду с системами наук многих описаниях. Теория информации является широкая и глубокая математическая теория, с одинаково широкими и глубокими приложений, среди которых есть жизненно области теории кодирования. Теория кодирования обеспокоен поисками явные методы, называемые коды, повышения эффективности и снижения чистой частоту ошибок Передача данных по каналу с шумом, чтобы вблизи границы, что Шеннон доказал является максимально возможным для данного канала. Эти коды могут быть примерно разделена на сжатие данных (кодирования источника) и исправления ошибок (кодирование канала) методов.