Выбор кодировки текста при открытии и сохранении файлов

В данной статье вы рассмотрите особенности установки шрифтов, работы с ними в стандартных программах, а также особенности работы с таблицей символов.

Общий подход

Поскольку в современных компьютерах информация всех видов представлена в двоичном коде, нужно разобраться, как закодировать символы в виде цепочек нулей и единиц. Например, можно предложить способ, основанный на системе Брайля для незрячих людей. В нём каждый символ кодируется с помощью 6 точек, расположенных в два столбца. В каждой точке может быть выпуклость, которая чувствуется на ощупь. Обозначив выпуклость единицей, а её отсутствие — нулём, можно закодировать первые буквы русского алфавита следующим образом:

Здесь двоичный код строится так: строки полученной таблицы, состоящей из цифр 0 и 1, выписываются одна за другой в строчку. Так как используются всего 6 точек, количество символов, которые можно закодировать, равно 2 6 = 64 (в реальной системе Брайля 63 символа, потому что символ, в коде которого нет ни одной выпуклости, невозможно обнаружить на ощупь).

Понятно, что совершенно не обязательно использовать код Брайля. Главное — каждому используемому символу как-то сопоставить цепочку нулей и единиц, например составить таблицу «символ — код». На практике поступают следующим образом:

1) определяют, сколько символов нужно использовать (обозначим это число через N);
2) определяют нужное количество k двоичных разрядов так, чтобы с их помощью можно было закодировать не менее N разных последовательностей (т. е. 2 k ≥ N);
3) составляют таблицу, в которой каждому символу сопоставляют код (номер) — целое число в интервале от 0 до 2 k – 1;
4) коды символов переводят в двоичную систему счисления.

В текстовых файлах (которые не содержат оформления, например, в файлах с расширением txt) хранятся не изображения символов, а их коды. Откуда же компьютер берет изображения символов, когда выводит текст на экран? Оказывается, при этом с диска загружается шрифтовой файл (он может иметь, например, расширение fon, ttf, otf), в котором хранятся изображения, соответствующие кодам 1 . Именно эти изображения и выводятся на экран. Это значит, что при изменении шрифта текст, показанный на экране, может выглядеть совсем по-другому. Например, многие шрифты не содержат изображений русских букв. Поэтому, когда вы передаёте (или пересылаете) кому-то текстовый файл, нужно убедиться, что у адресата есть использованный вами шрифт. Современные текстовые процессоры умеют внедрять шрифты в файл; в этом случае файл содержит не только коды символов, но и шрифтовые файлы. Хотя файл увеличивается в объёме, адресат гарантированно увидит его в таком же виде, что и вы.

1 Существуют специальные программы, позволяющие создавать и редактировать шрифты, например Fontlab Studio:
http://www.fontlab.com/font-editor/fontlab-studio/

Следующая страница Кодировка ASCII и её расширения

Cкачать материалы урока

Материал для самостоятельного изучения по теме Лекции 2

Кодировочная таблица ASCII (ASCII – American Standard Code for Information Interchange – Американский стандартный код для обмена информацией).

Всего с помощью таблицы кодирования ASCII (рисунок 1) можно закодировать 256 различных символов. Эта таблица разделена на две части: основную (с кодами от OOh до 7Fh) и дополнительную (от 80h до FFh, где буква h обозначает принадлежность кода к шестнадцатеричной системе счисления).

Для кодировки одного символа из таблицы отводится 8 бит (1 байт). При обработке текстовой информации один байт может содержать код некоторого символа – буквы, цифры, знака пунктуации, знака действия и т.д. Каждому символу соответствует свой код в виде целого числа. При этом все коды собираются в специальные таблицы, называемые кодировочными. С их помощью производится преобразование кода символа в его видимое представление на экране монитора. В результате любой текст в памяти компьютера представляется как последовательность байтов с кодами символов.

Например, слово hello! будет закодировано следующим образом (таблица 1).

Символ	h	e	I	I	o	!
Код двоичный
Код десятичный

На рисунке 1 представлены символы, входящие в стандартную (английскую) и расширенную (русскую) кодировку ASCII.

Первая половина таблицы ASCII стандартизована. Она содержит управляющие коды (от 00h до 20h и 77h). Эти коды из таблицы изъяты, так как они не относятся к текстовым элементам. Здесь же размещаются знаки пунктуации и математические знаки: 2lh – !, 26h – &, 28h – (, 2Bh -+. большие и малые латинские буквы: 41h – A, 61h – а.

Вторая половина таблицы содержит национальные шрифты, символы псевдографики, из которых могут быть построены таблицы, специальные математические знаки. Нижнюю часть таблицы кодировок можно заменять, используя соответствующие драйверы – управляющие вспомогательные программы. Этот прием позволяет применять несколько шрифтов и их гарнитур.

Дисплей по каждому коду символа должен вывести на экран изображение символа – не просто цифровой код, а соответствующую ему картинку, так как каждый символ имеет свою форму. Описание формы каждого символа хранится в специальной памяти дисплея – знакогенераторе. Высвечивание символа на экране дисплея IBМ PC, например, осуществляется с помощью точек, образующих символьную матрицу. Каждый пиксел в такой матрице является элементом изображения и может быть ярким или темным. Темная точка кодируется цифрой 0, светлая (яркая)- 1. Если изображать в матричном поле знака темные пикселы точкой, а светлые – звездочкой, то можно графически изобразить форму символа.

Люди в разных странах используют символы для записи слов их родных зыков. В наши дни большинство приложений, включая системы электронной почты и вэб-браузеры, являются чисто 8-битными, то есть они могут показывать и корректно воспринимать лишь 8-битные символы, согласно стандарту ISO-8859-1.

Существует более 256 символов в мире (если учесть кириллицу, арабский, китайский, японский, корейский и тайский языки), а также появляются все новые и новые символы. И это создает следующие пробелы для многих пользователей:

Невозможно использовать символы различных наборов кодировок в одном и том же документе. Так как каждый текстовый документ использует свой собственный набор кодировок, то возникают большие трудности с автоматическим распознаванием текста.

Появляются новые символы (например: Евро), вследствие чего ISO разрабатывает новый стандарт ISO-8859-15, который весьма схож со стандартом ISO-8859-1. Разница состоит в следующем: из таблицы кодировки старого стандарта ISO-8859-1 были убраны символы обозначения старых валют, которые не используются в настоящее время, для того, чтобы освободить место под вновь появившиеся символы (такие, как Евро). В результате у пользователей на дисках могут лежать одни и те же документы, но в разных кодировках. Решением этих проблем является принятие единого международного набора кодировок, который называется универсальным кодированием или Unicode.

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Как то на паре, один преподаватель сказал, когда лекция заканчивалась – это был конец пары: «Что-то тут концом пахнет». 8413 –

| 8030 –

или читать все.

78.85.5.224 © studopedia.ru Не является автором материалов, которые размещены. Но предоставляет возможность бесплатного использования. Есть нарушение авторского права? Напишите нам | Обратная связь.

Отключите adBlock!
и обновите страницу (F5)
очень нужно

Источник: http://rg-gaming.ru/kompjutery/izobrazhenija-simvolov-hranjatsja-v-specialnyh

Какие символы входят в Стандарт Юникод?

Стандарт Юникод определяет коды для символов основных современных языков. Это европейские алфавитные письменности, ближневосточные письменности справа налево и многие письменности Азии.

Стандарт также содержит знаки пунктуации, диакритические знаки, математические символы, технические символы, стрелки, дингбаты, эмодзи и т. д. Он предоставляет коды для диакритических знаков, изменяющих знаки символов, такие как тильда (~). Они используются в сочетании с основными для представления акцентированных символов (например, ñ). В целом, Юникод версии 9.0 предоставляет коды для 128 172 символов из мировых алфавитов, наборов идеограмм и коллекций символов.

Большинство символов общего пользования помещаются в первые 64K кодовых точек, область кодового пространства, которая называется основной многоязычной плоскостью, или BMP для краткости. Есть ещё шестнадцать других дополнительных плоскостей, доступных для кодирования других символов, с более чем 850 000 неиспользуемых кодовых точек. Они могут пригодиться для добавления новых символов в будущие версии стандарта.

Стандарт Юникод также резервирует кодовые точки для частного использования. Вендоры или конечные пользователи могут назначать их в своих собственных системах для своих символов или использовать со специализированными шрифтами. На BMP находится 6400 кодовых точек для частного использования и ещё 131 068 дополнительных кодовых точек частного использования, если 6400 недостаточно для конкретных приложений.

Источник: http://habr.com/ru/post/485148/

ASCII-арт

Творческие люди для реализации своего таланта во все времена использовали любые подручные инструменты и материалы. И угольком на стенах пещер рисовали, и глиной, и даже камень вырубали. Если говорить о текстовой графике вообще, то к рисованию символами можно отнести и японскую каллиграфию, и древнерусскую вязь, и вообще любые виды леттеринга. Но я хочу подробнее поговорить именно о таком виде текстовой графики, как ASCII-арт.

Возникло это искусство не сразу. Предтечами аски-арта были машинистки конца XIX. Уже в 1890-х годах проводились конкурсы на картинки, напечатанные на пишущих машинках. Один из сохранившихся шедевров — рисунок бабочки, созданный в 1898 г. Флорой Стэйсси. Изображения, выполненные на печатной машинке (так называемый «typewriter art»), – безусловно очень кропотливая и сложная работа, причём практически было нельзя ошибаться, и работа получалась в одном единственном экземпляре, как настоящая картина.

Появившиеся через несколько десятков лет электронные печатные машинки унаследовали от обычных механических печатных машинок в качестве устройства ввода клавиатуру с набором символов. Результат ввода строки с клавиатуры можно было наблюдать на небольшом экране и ошибку можно было скорректировать непосредственно перед печатью.

С появлением компьютеров всё стало ещё проще. Теперь весь текст набирался при помощи клавиатуры, а проверялся на экране. И его можно было не только напечатать на бумаге, но и сохранить в файле. Пользователи вздохнули свободнее – стало можно проверять результат набора, корректировать его, делать многократную печать, хранить и передавать копии текста. Инструменты работы с текстами стали более гибкими.

В качестве набора символов на компьютерах использовалась ASCII-таблица, поэтому картинки, нарисованные при помощи набора символов из этой таблицы стали называть ASCII-графикой или аски-артом (от англ. ASCII artwork). Под каждый символ на экране выделялось одно знакоместо, поэтому символы не могли «наезжать» друг на друга (в отличие от классических печатных машинок). К тому же они были моноширинными. Разных текстовых режимов было довольно много, но наиболее часто используемой была ширина в 80 символов.

Вначале компьютерщики рисовали простые, контурные картинки, используя слэши, минусы и подчёркивания. В основном это были надписи.

Но затем художественная мысль пошла дальше. Художники либо заново открыли, либо вспомнили, что и другие знаки из ASCII-таблицы можно использовать как заливку. Разными символами стали передавать интенсивность фона, ступенчатые линии стали сглаживать, более точно подбирая символы по краям. По сравнению со старыми контурными изображениями это была уже совсем новая техника, поэтому её назвали «новая школа» — «newschool» style. А старую технику назвали «старая школа» («oldschool» или «amiga-style», потому что такие аски-картинки были популярны среди владельцев компьютеров Amiga).

Наиболее продвинутые художники применяли такие великолепные техники заливки и сглаживания символами, что отдельные символы уже не замечались. Картинка воспринималось полноценным полутоновым изображением. Несмотря на то, что изобразительные средства были сильно ограничены, ascii-художникам удавалось создавать шедевры.

Компьютерная техника быстро эволюционировала, и вскоре появились графические терминалы, которые позволяли отображать цвета и картинки. Но это не мешало развиваться аски-арту как отдельному искусству. Конечно же, программисты не сидели, сложа руки, и написали сотни различных конвертеров, которые из графических файлов (bmp, pcx, gif, png, jpg и пр.) могли делать текстовые картинки. И теперь любой пользователь при помощи такого конвертера мог себя почувствовать аски-художником. Конечно же, «сконверченные» изображения не идут ни в какое сравнение с теми, которые рисуются руками. В 80 символов ширины красиво сконвертировать не получится ни у какого, даже самого умного конвертера (хотя, если привлечь нейронные сети, то можно и не такое сделать; но мне про использование нейросетей для конвертирования графики в текст не известно).

Технику рисования ASCII применяли не только в статичных текстовых файлах, но и при создании интро и демок, что добавляло им определённого шарма и ламповости.

Источник: http://nozdr.ru/design/cyber/ansi

Установка шрифтов

Шрифтом называются графические изображения букв и других символов выполненные в единой стилистической манере. Практически все программы так или иначе используют это понятие. Шрифты нужны и для текстовых редакторов, и для программ просмотра текста, и в компьютерных играх, и в электронных таблицах, и для интернет-браузеров. Трудно даже придумать для каких программ шрифты не используются. Большинство Windows-приложений используют шрифты, которые установлены на уровне самой операционной системы. Для этого в системе есть специальная папка, где шрифты хранятся в виде файлов. Открыть ее можно либо через меню «Пуск», выбрав в нем «Панель управления»-> «Оформление и персонализация» -> Шрифты. Либо просто открыть папку С:WindowsFonts.

Рисунок 1.

В мире растет число пользователей самых различных операционных систем. Потому важнейшим свойством современных шрифтов является их кроссплатформенность, то есть возможность использовать одни и те же шрифты под разными операционными системами и техническими платформами. Самые распространенные расширения файлов со шрифтами могут быть такими:

.ttc – коллекция шрифтов True Type.
.ttf — новые шрифты True Type, поддерживающие кроссплатформенность.
.otf — кроссплатформенные шрифты Open Type.

Замечание 1

Иногда возникает необходимость в установке дополнительных шрифтов. Например, в некоторых версиях Windows требовалась установка специальных шрифтов для отображения иероглифов. Без нужных шрифтов иероглифы отображались квадратиками. Файлы шрифтов можно скачивать из различных источников, если есть уверенность в безопасности этих источников. После скачивания файла со шрифтом нужно открыть его контекстное меню и выбрать пункт «Установить».

Рисунок 2.

Источник: http://spravochnick.ru/informatika/os_windows_osnovnye_ponyatiya/osnovy_raboty_so_shriftom_v_graficheskoy_srede/

Заберите ссылку на статью к себе, чтобы потом легко её найти

Выберите, то, чем пользуетесь чаще всего:

Спасибо за внимание, оставайтесь на связи! Ниже ссылка на форум и обсуждение ; )

Источник: http://mb4.ru/18-text-editors/notepad/131-windows-encoding-txt-file-notepad.html

Суррогатные пары UTF-16

Символы вне основной плоскости, как тетраграмматон, означающий центр (U+1D306), можно закодировать в UTF-16 только двумя 16-битными кодовыми единицами: 0xD834 0xDF06. Это называется суррогатной парой. Обратите внимание, что суррогатная пара представляет только один символ.

Первая кодовая единица суррогатной пары всегда находится в диапазоне от 0xD800 до 0xDBFF и называется верхней частью пары.

Вторая кодовая единица суррогатной пары всегда находится в диапазоне от 0xDC00 до 0xDFFF и называется нижней частью пары.

Матиас Байненс

Суррогатная пара: представление одного абстрактного символа, состоящего из последовательности двух 16-разрядных кодовых единиц, где первое значение пары является верхней суррогатной кодовой единицей, а второе — нижней суррогатной кодовой единицей. Суррогатные пары используются только в UTF-16.

Unicode 8.0 Глава 3.8 − Суррогаты

Источник: http://habr.com/ru/post/485148/

Вычисление суррогатных пар

Юникодовский символ «Куча дерьма» (U+1F4A9) в UTF-16 придётся кодировать как суррогатную пару, т. е. два суррогата. Чтобы преобразовать любую кодовую точку в суррогатную пару, используйте такой алгоритм (на JavaScript). Имейте в виду, что мы используем шестнадцатеричную нотацию.

Источник: http://habr.com/ru/post/485148/

Сейчас

Почти полное исчезновение BBS, MS-DOS и вообще пользовательских программ с текстовым интерфейсом резко уменьшило популярность ANSI-графики. Windows по умолчанию уже не поддерживает ANSI графику в консоли. Не работают с текстовыми форматами и популярные просмотрщики. Поэтому даже чтобы просто посмотреть ANSI-картинку нужно использовать специальную программу, например, AcidView. А вот в Linux графика ANSI по-прежнему поддерживается консольным текстовым драйвером.

В общем, с точки зрения основного компьютерного сообщества, ASCII и ANSI вымерли, как динозавры. Но иногда эти ископаемые, как кистепёрые рыбы, всё же выплывают подышать воздухом из глубин времён.

Например, возникло целое направление игр жанра Roguelike, в которых для изображения игровых объектов используются символы ASCII и цвета ANSI.

Время от времени на волне ностальгии по старым временам появляются различные проекты, выполненные либо в чистой технике ASCII, либо сильно на неё похожей.

К примеру, довольно известен анимационный ролик, реализованный посредством протокола telnet. Если в telnet-клиенте зайти по адресу towel.blinkenlights.nl, то можно увидеть 20-минутную версию фильма :). Если телнета нет, то можно посмотреть вот тут: ASCII-версия IV эпизода космической саги «Звёздные войны» или готовый ролик на ютубе:

Одно время можно было смотреть гугловские улицы в аски-виде.

Некоторые доходили до того, что перегоняли в аски целые фильмы (хотя это уже скорее искусство программирования, а не рисования):

А недавно пользователь Пикабу Cyberslav объявил о создании под Андроид игры-платформера Unsigned Character в полном духе олдскульного ASCII (с небольшими оговорками):

А вот вообще просто прекрасная олдскульная anscii-игрушка-платформер ASCIIDENT:

В общем, ASCII и ANSI графика продолжает своё существование и даже развитие, несмотря на.

Источник: http://nozdr.ru/design/cyber/ansi

Как начать работу с библиотекой?

Встроить ее в ваше приложение несложно. Для этого следует добавить ascii_art.c и заголовочный файл в ваше дерево исходного кода, а также загрузить шестнадцатеричную модель. Далее выполняются следующие API-вызовы:1. Для инициализации структуры ascii_render, определенной в заголовочном файле ascii_art.h, сначала вызывается AsciiArtInit.2. Подготавливается изображение, которое следует обработать. Это делается путем перевода этого изображения в оттенки серого. Тут подойдет библиотека типа cvtColor из OpenCV либо встроенный интерфейс AsciiArtLoadImage.3. Выделяется буфер, который должен быть достаточно большим для хранения всех выходных данных. Число нужных байтов можно получить посредством интерфейса AsciiArtTextBufSize. Данный шаг не обязателен, если вы не хотите выводить текст, а желаете вместо этого получить двоичное изображение из символов ASCII.4. Входное изображение преобразуется в ASCII-символы посредством AsciiArtRender.

Типичное применение интерфейсов можно посмотреть на простейшей программе, код которой размещен ниже:

Ознакомиться с этим проектом подробнее можно здесь.

Источник: http://otus.ru/nest/post/1872/

Рендеринг

При открытии текстовым редактором удобочитаемое содержимое отображается в Пользователь. Часто это простой текст файла, видимый пользователю. В зависимости от приложения управляющие коды могут отображаться либо как буквальные инструкции, выполняемые редактором, либо как видимые escape-символы , которые можно редактировать как обычный текст. Хотя в текстовом файле может быть простой текст, управляющие символы в файле (особенно символ конца файла) могут отображать простой текст, невидимый определенным методом.

Источник: http://ru.wikichi.ru/wiki/Text_file

Исходный код

Совместный доступ к документу может быстро превратить редактирование в письменную рэп-битву, ведущуюся все более запутанной расстановкой управляющих от U+202a до U+202e

Источник: http://habr.com/ru/post/485148/