OberonCore

Библиотека  Wiki  Форум  BlackBox  Компоненты  Проекты
Текущее время: Воскресенье, 17 Ноябрь, 2019 03:11

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 105 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.
Автор Сообщение
СообщениеДобавлено: Воскресенье, 03 Февраль, 2019 18:41 

Зарегистрирован: Пятница, 11 Январь, 2019 19:26
Сообщения: 80
Откуда: Russia
Я думаю, что его и ascii устроило бы в контроллерах. Мы спорили с ним на эту тему и он не против utf16. Как я помню, он работал в этом направлении, пока с китаяночкой не пересекся))) какие уж теперь кодировки))


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 03 Февраль, 2019 18:45 

Зарегистрирован: Пятница, 11 Январь, 2019 19:26
Сообщения: 80
Откуда: Russia
budden писал(а):
Baikal писал(а):
Допилил бы уже, а?

Сначала переход к определению, потом можно и за это взяться.
это я Серёге писал, но в принципе, не важно, кто это сделает


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 03 Февраль, 2019 19:09 

Зарегистрирован: Пятница, 13 Март, 2015 16:40
Сообщения: 357
budden писал(а):
Но тут опять же - какова цель. Моя цель - хорошая поддержка РЯ, а не всех языков. Причём РЯ должен быть в приоритете. Все проблемы должны быть сброшены на иные языке. Ведь именно так и поступили американцы с utf-8. Не вылезаешь за ASCII - и всё вообще прекрасно. Это у других народов будут проблемы с отображением, поиском, и т.п. Причём совершенно конкретные: https://habr.com/ru/post/262679/ ...

Что-то сдаётся мне: "хабра" - шарлатанский притон: в смысле, надписи на заборе иногда приличнее цитировать ;-)
Цитата:
Если вы из тех счастливчиков, у кого буква «й» выглядит так же, как и «настоящая» «й», вот вам фокус: скопируйте ее (букву «й») в блокнот, поставьте курсор в конец буквы и нажмите backspace. Магия, отвал башки просто!
Как же так получается?

Сделал точно по инструкции. й тупо исчезла (вся! совсем!)- требую вернуть деньги!!! (шутка)
Фокусник пьян - фокус не удался!


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 03 Февраль, 2019 19:57 

Зарегистрирован: Пятница, 11 Январь, 2019 19:26
Сообщения: 80
Откуда: Russia
Да, такая проблема может быть, если не проведена нормализация


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 18 Февраль, 2019 19:57 

Зарегистрирован: Понедельник, 11 Сентябрь, 2017 13:23
Сообщения: 621
Я в своё время завёл вики по A2, там несколько статеек есть. Там используется рабочее название моего форка - ч115.

http://вики-ч115.программирование-по-русски.рф/Ч115/Ч115

Она сделана на PmWiki, т.е. ей не нужна база данных. Я в детали не вникал, а просто поставил её у своего хостера. Если вы хотите поддерживать, есть разные варианты:

а) я кому-нибудь дам доступ
б) могу отдать в виде файлового архива и вы поставите её у себя и будете дальше развивать.

Я сейчас буду использовать эту вики просто как свою записную книжку. Раздел про ч115 трогать не собираюсь.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 07 Апрель, 2019 14:19 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
Не надо никакие KOI пихать в ядро. Там достаточно присутствия UTF-8/UCS-32. В том числе и китайцы довольны.
А наличие выбора кириллических кодировок в редакторе А2, - это я в своё время прикрутил. И надо оно мне было вообще для HTML вёрстки. Да, использовал А2 в качестве Блокнота когда-то :lol:
А сейчас уже и в HTML вёрстке UTF-8 - стандарт де факто. Т.е. различные кодировщики кодировок, - исторически сложившийся багаж так-сказать. Если мозолят глаза, можно в Configuration.XML отключить


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 08 Апрель, 2019 16:59 

Зарегистрирован: Понедельник, 11 Сентябрь, 2017 13:23
Сообщения: 621
Вопрос не вполне однозначный. Для каких-то приложений критичен размер, для каких-то скорость. Счастье китайцев не для всех приложений является наивысшим приоритетом. Если приложение русскоязычное и в нём критичен размер и скорость, то 8-битная кодировка - это ровно то, что надо. А если и поддерживать юникод, то не на базе utf-8, а на базе какой-то иной кодировки, которая дружественна к паре русский-английский, а не только к одному английскому. По идее, это должно быть параметром конфигурации при сборке системы - только так можно достичь высокого качества по широкому фронту приложений. Учитывая, что A2 используется во встроенных системах, ни utf-8, ни ucs-32, ни их сочетание не обязательно являются годным решением.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 08 Апрель, 2019 17:08 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
Так вроде ж весь прогрессивный мир ушёл на UTF-8 :wink:
В А2 в файлах всё в UTF-8, а внутри текстовой подсистемы для скорости UCS-32
В 8-ми битные кодировки никак не всунешь эмоджи, вот это проблема, всем проблемам проблема :D


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 08 Апрель, 2019 21:35 

Зарегистрирован: Понедельник, 11 Сентябрь, 2017 13:23
Сообщения: 621
> Так вроде ж весь прогрессивный мир ушёл на UTF-8
А мы не в прогрессивном мире, а в России. У нас, как известно, авторитарный режим и т.п. Но всё это чистая теория, всё равно я в обозримом будущем ничего делать не собираюсь.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 08 Апрель, 2019 21:47 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
budden писал(а):
А мы не в прогрессивном мире, а в России. У нас, как известно, авторитарный режим и т.п. Но всё это чистая теория, всё равно я в обозримом будущем ничего делать не собираюсь.
Я за какой-то единый стандарт. Кто-то соберёт А2 с KOI, кто-то CP866, кто-то с 1251. В итоге 3 системы друг друга не поймут. Зоопарк какой-то получится. Как и в винде побочные эффекты реализации многоязыковости постоянно вылазили. Почему-то постоянно возникали проблемы с украинскими буквами при работе по сети или с архивами. Вам легко говорить в России, у вас только русский а у нас некоторые конторы документооборот на украинском ещё в 90-е начали вести :)
Я с тех пор взял себе за правило, что файлы по-русски или по-английски называть... Мало-ли, кому-то стукнет в голову документ по сети открывать или не дай бог в архив паковать :lol:


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Четверг, 11 Апрель, 2019 14:17 

Зарегистрирован: Понедельник, 11 Сентябрь, 2017 13:23
Сообщения: 621
Я говорю о внутреннем представлении, в качестве внешнего UTF-8 пока стандарт, ждём, пока Китай скажет своё слово.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Четверг, 11 Апрель, 2019 14:38 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
budden писал(а):
Я говорю о внутреннем представлении, в качестве внешнего UTF-8 пока стандарт, ждём, пока Китай скажет своё слово.
В принципе, при желании реализуемо. Только всё-равно непонятна выгода. Память ведь будет заметно заниматься только если наоткрывать кучу текстовых документов. Что это за embedded система тогда, на которой одновременно открыта куча документов?
А что китайцам? По-любому им два байта мало, а 4 много. Им UTF-8 идеально подходит :D


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Четверг, 11 Апрель, 2019 17:22 

Зарегистрирован: Понедельник, 11 Сентябрь, 2017 13:23
Сообщения: 621
Да, при желании - это ключевое слово здесь, или при возможности. У китайцев есть свои кодировки, например, GB2312. Я уже не помню деталей, но там лучше представлена русская кириллица. В utf-8 то ли ё не на месте, то ли ещё какая-то мелкая пакость заложена. Соответственно, если не установить ещё отдельно порядок сортировки, то будет сортироваться неправильно. Это усложнение программирования и замедление программ, т.к. лишний поиск в таблице. Также неприятными для utf-8 являются буквы й и ё, которые имеют неоднозначное представление. Я понимаю, что тема представления знаков в компьютере сложна, но для английского-то она проста. Это и оправдывает использование 8-битных кодировок там, где это уместно: получится не только меньше памяти, но и асимптотически быстрее обработка. Например, из 8-битного текста можно извлечь энный элемент за O(1), а из текста переменной ширины - за О(N). Пришедший извне текст вообще нужно проверять на валидность, а для 8-битного просто читаем его до первого \0 и он заведомо валиден. Всё это может стать огромной проблемой во многих приложениях.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Четверг, 11 Апрель, 2019 22:35 

Зарегистрирован: Воскресенье, 09 Декабрь, 2018 15:14
Сообщения: 54
Откуда: Equestria
Безобразие называемое юникодом надо выкорчёвывать любыми способами всегда и везде, когда это возможно. Конкретно для внутреннего представления юникод приводит к затруднению реализации UpperCase, LowerCase, сортировки, а также банального доступа к рандоной букве в строке.
Почему не надо юникод:
Вложение:
uni_vs_code.pdf [150.55 КБ]
Скачиваний: 30
ПС: Кои для внутреннего представления точно так же хреново подходит как и юникод, если говорить про сортировку, хотя и решается куда меньшими усилиями.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пятница, 12 Апрель, 2019 07:06 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
budden писал(а):
Да, при желании - это ключевое слово здесь, или при возможности.
Вот, вы вынули шашку и размахиваете тут... А KOI-8 вообще не решает проблему сортировки и буква ё, кстати, тоже на отшибе где-то торчит. Так зачем всё-таки KOI-8???


Вложения:
koi8-r.gif
koi8-r.gif [ 5.14 КБ | Просмотров: 456 ]
Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пятница, 12 Апрель, 2019 07:18 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
Нормальный порядок букв наблюдается только в CP1251 и ISO-8859-5, но буква Ё тоже улетела в другую часть таблицы.
Т.е. если уж речь про нормальную поддержку UpperCase, LowerCase и сортировки - про KOI8 и CP866 забудьте как о страшном сне и навсегда! :D


Вложения:
cp1251.gif
cp1251.gif [ 5.01 КБ | Просмотров: 455 ]
iso8859-5.gif
iso8859-5.gif [ 3.97 КБ | Просмотров: 455 ]
Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пятница, 12 Апрель, 2019 07:33 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
Тоже хорошая статья для вдумчивого чтения, там тоже в конце про Юникод есть http://czyborra.com/charsets/cyrillic.html
В частности там говорится что кириллическая страница Юникода соответствует по расположению букв таблице ISO-8859-5


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пятница, 12 Апрель, 2019 08:52 
Аватара пользователя

Зарегистрирован: Пятница, 11 Май, 2007 21:57
Сообщения: 1283
Откуда: Украина, Киев
SovietPony писал(а):
Почему не надо юникод:
Вложение:
uni_vs_code.pdf
Статья хорошая, но слегка веет каким-то максимализмом "вот, прямо, взять и всё выбросить", и некоторые заявления даже весьма спорные... А альтернатива вразумительная Юникоду есть?
Для внутреннего представления наилучший кандидат, похоже, ISO-8859-5.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пятница, 12 Апрель, 2019 09:38 

Зарегистрирован: Вторник, 29 Ноябрь, 2005 21:41
Сообщения: 1026
На безответственные больше похоже.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пятница, 12 Апрель, 2019 10:08 

Зарегистрирован: Пятница, 13 Март, 2009 16:36
Сообщения: 832
Откуда: Казань
Ярослав Романченко писал(а):
Для внутреннего представления наилучший кандидат, похоже, ISO-8859-5.

Мне кажется, что все равно всем не угодишь. Даже, если ё будет стоять на своём месте, возникнет вопрос о расположении разных специальных символов и о том, в каком порядке должны сортироваться строки: "aaa", "a_a", "a.a", "a a", "a-a" и т.д. Все равно нужно будет использовать специальную функцию, которая будет задавать определенную очередность (возможно, не совпадающую с номером символа в таблице) для сортировки в соответствие с нашими требованиями.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 105 ]  На страницу Пред.  1, 2, 3, 4, 5, 6  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron
Вся информация, размещаемая участниками на конференции (тексты сообщений, вложения и пр.) © 2005-2019, участники конференции «OberonCore», если специально не оговорено иное.
Администрация не несет ответственности за мнения, стиль и достоверность высказываний участников, равно как и за безопасность материалов, предоставляемых участниками во вложениях.
Без разрешения участников и ссылки на конференцию «OberonCore» любое воспроизведение и/или копирование высказываний полностью и/или по частям запрещено.
Powered by phpBB® Forum Software © phpBB Group
Русская поддержка phpBB