OberonCore :: - А нужен ли юникод?

Александр Ильин писал(а):

Ярослав Романченко писал(а):

И чего это Бутылку никто не изучает?

Работала бы под VMWare - я бы изучал.

Запускаться запускается... но, согласен, работой это назвать сложно... тормозит.
Я на отдельный раздел сначала поставил... А потом вообще отдельный системник собрал из б/у комплектующих :mrgreen:

Celeron 1 GHz 128 Mb памяти -- на сегодняшний день копейки...

Работала бы под VMWare - я бы изучал.

Запускаться запускается... но, согласен, работой это назвать сложно... тормозит.

Системник старый у меня есть P-II 200MHz 64Mb, но монитора лишнего нету : )

Может, и чушь. Интуитивно кажется, что так :-)

Задумался, а как можно сделать так, чтобы система "знала" что есть слово в арабском языке и в русском, какие знаки пунктуации используются и т.п. И выходит, что нужен, все таки, модуль National, в котором будут реализованы процедуры обрабоки строк естественного языка. И самое пожалуй тяжолое - научить систему понимать с каким естественным языком она работает.

Например, есть текст о китайской письменности на руссском языке. Естественно в таком тексте фразы на русском будут перемежаться с фразами на китайском. Получается, что система при обработке КАЖДОГО символа должна задаваться вопросом: какой естественный язык используется. А что делать если система не знает к какому естественному языку относится символ?

Есть идеи?

Борис Рюмшин писал(а):

Спокойно, товарищи. Юникод это уже не "как решение проблемы", а свершившийся факт.

И относится к нему надо как к осознанной необходимости. :-)

Так разрешать Юникод в идентификаторах?

Info21 писал(а):

Так разрешать Юникод в идентификаторах?

А что вызывает опасения? Повторение ситуации с вавилонской башней?

А почему все пишут "юникод"? Ведь это универсальный код, значит, следует читать "уникод".

Автор:	Борис Рюмшин [ Пятница, 14 Сентябрь, 2007 16:49 ]
Заголовок сообщения:	Re: Re:
Ярослав Романченко писал(а): Александр Ильин писал(а): Ярослав Романченко писал(а): И чего это Бутылку никто не изучает? Работала бы под VMWare - я бы изучал. Запускаться запускается... но, согласен, работой это назвать сложно... тормозит. Я на отдельный раздел сначала поставил... А потом вообще отдельный системник собрал из б/у комплектующих Celeron 1 GHz 128 Mb памяти -- на сегодняшний день копейки... VNC?

Автор:	Ярослав Романченко [ Пятница, 14 Сентябрь, 2007 16:52 ]
Заголовок сообщения:	Re: Re:
Александр Ильин писал(а): Работала бы под VMWare - я бы изучал. Кстати, в WinAos много чего исправили (версия 3.05), и сайт новый: http://www.jg.inf.ethz.ch/wiki/Fof/WinAos

Автор:	Александр Ильин [ Пятница, 14 Сентябрь, 2007 16:57 ]
Заголовок сообщения:	Re: Re:
Ярослав Романченко писал(а): Запускаться запускается... но, согласен, работой это назвать сложно... тормозит. Я на P4 3GHz 1Gb не смог даже главным меню воспользоваться, чтобы текстовый редактор запустить. Какая уж тут работа : ) Системник старый у меня есть P-II 200MHz 64Mb, но монитора лишнего нету : )

Автор:	Ярослав Романченко [ Пятница, 14 Сентябрь, 2007 17:02 ]
Заголовок сообщения:	Re: Re:
Борис Рюмшин писал(а): VNC? Можно и через VNC... Но я всё-же подключил к тому системнику отдельный монитор, а что-бы перекидывать файлы между машинами завожу FTP аккаунты на нужные разделы. Мне так удобно (в основном компе карточка TV-тюнера а рядом цифровой кабельный декодер)...

Автор:	Ярослав Романченко [ Пятница, 14 Сентябрь, 2007 17:05 ]
Заголовок сообщения:	Re: Re:
Александр Ильин писал(а): Системник старый у меня есть P-II 200MHz 64Mb, но монитора лишнего нету : ) VNC! По идее должно быстрее работать чем в VMWare, но памяти пожалуй маловато... PS. Да и частота 200MHz... Я по-началу купил Cel 433. Вполне комфортно можно работать. Я бы рекомендовал где-то не ниже этой планки.

OberonCore https://forum.oberoncore.ru/

А нужен ли юникод? https://forum.oberoncore.ru/viewtopic.php?f=3&t=31	Страница 3 из 3

Автор:	CheshireCat [ Понедельник, 29 Октябрь, 2007 04:50 ]
Заголовок сообщения:	Re: А нужен ли юникод?
Илья Ермаков писал(а): Может, и чушь. Интуитивно кажется, что так интуиция тут Вас обманывает. просто терминология снова отстает от реальности)). как Вам известно, сейчас приходится различать единицы доступа к памяти и единицы обработки информации. безусловно, ДОСТУП К ПАМЯТИ должен быть всегда 32 или 64 бит, однако 8-бит символов в такую ЯЧЕЙКУ можно запихать больше а значит вся ИХ ОБРАБОТКА потребует меньшей пропускной способности памяти (команд конечно больше но они кэшируются). 32 и 64 это единицы доступа а 8 это единицы обработки. видимо Вы просто не использовали эту двухуровневую идеологию а сравнивали 8 и 16 бит как единицы доступа а не обработки. Я же за 8 бит единицы обработки голосую. зы. поэтому я и за явное отражение ммх в языке. чтоб путаницы не было.

Автор:	hothing [ Среда, 13 Февраль, 2008 16:35 ]
Заголовок сообщения:	Re: А нужен ли юникод?
У меня после просмотра простынь кода модулей Text* возникло стойкое чувство, что заявленнная поддержка Unicode не более, чем рекламный шаг. Точнее, ребята взялись перевести ЧЯ на Уникод, но на пол-дороги опустили руки, и не стали доводить фреймворк до нормального рабочего состояния. Хотя я их понимаю, поддержка естественных языков - это совсем не то же самое, что поддержка кодовых страниц. Задумался, а как можно сделать так, чтобы система "знала" что есть слово в арабском языке и в русском, какие знаки пунктуации используются и т.п. И выходит, что нужен, все таки, модуль National, в котором будут реализованы процедуры обрабоки строк естественного языка. И самое пожалуй тяжолое - научить систему понимать с каким естественным языком она работает. Например, есть текст о китайской письменности на руссском языке. Естественно в таком тексте фразы на русском будут перемежаться с фразами на китайском. Получается, что система при обработке КАЖДОГО символа должна задаваться вопросом: какой естественный язык используется. А что делать если система не знает к какому естественному языку относится символ? Есть идеи?

Автор:	Иван Горячев [ Четверг, 14 Февраль, 2008 05:42 ]
Заголовок сообщения:	Re: А нужен ли юникод?
Теоретически именно для этого и создавался Unicode. На практике дела со смесью языков не имел. В любом случае полноценная обработка текстов - весьма сложная задача и с наскока да без реальной потребности её не решить

Автор:	Trurl [ Четверг, 14 Февраль, 2008 15:01 ]
Заголовок сообщения:	Re: А нужен ли юникод?
Вы смешиваете поддержку Unicode и поддержку естественных языков. Общего у них практически нет.

Автор:	CheshireCat [ Понедельник, 15 Ноябрь, 2010 17:59 ]
Заголовок сообщения:	Re: А нужен ли юникод?
hothing писал(а): Задумался, а как можно сделать так, чтобы система "знала" что есть слово в арабском языке и в русском, какие знаки пунктуации используются и т.п. И выходит, что нужен, все таки, модуль National, в котором будут реализованы процедуры обрабоки строк естественного языка. И самое пожалуй тяжолое - научить систему понимать с каким естественным языком она работает. Например, есть текст о китайской письменности на руссском языке. Естественно в таком тексте фразы на русском будут перемежаться с фразами на китайском. Получается, что система при обработке КАЖДОГО символа должна задаваться вопросом: какой естественный язык используется. А что делать если система не знает к какому естественному языку относится символ? Есть идеи? уникод таки видимо придется использовать. по факту(( но розетта все равно красивше - все символы восьмибитные независимо от языка. слова и алгоритмы обработки тоже одинаковы - для _любого_ языка. возможно потребуется только пропарсить слово до ближайшего слева пробела (а пробелов в розетте много - любой символ больше 127 обозначает тот-же пробел и одновременно задает язык следующего слова, состояшего из символов меньших 128, вроде так) но и то не всегда если язык-помнится. таким образом, даже розеттизация в отличие от уникодизации была бы проще - заменились бы проверки ==32 на >127 вот и вся переделка)) ну на самом деле это не все конечно но все равно -проще было бы. а поддержку многоязычности даже работающая с уникодом программа как видите все равно иметь должна, понимать, структурировать текст. вот и получается что сменили шило на мыло - солидные переделки алгоритмов пришлось делать? ветвления вводить? или лишнюю ПСП памяти тратить?...да! а взамен получили сомнительную возможность чередовать в одном слове китайские иероглифы и русские буквы... пшик... эх жава,жава, сколько гадостей смог натворить твой маркетинг... впрочем уникод вроде раньше появился, в план9 или инферно...эх давно было,не помню... жава его только слямзила... как и все остальное...

Автор:	Info21 [ Суббота, 10 Декабрь, 2011 15:18 ]
Заголовок сообщения:	не разрешить ли Юникод в идентификаторах?
Trurl писал(а): Борис Рюмшин писал(а): Спокойно, товарищи. Юникод это уже не "как решение проблемы", а свершившийся факт. И относится к нему надо как к осознанной необходимости. Так разрешать Юникод в идентификаторах?

Автор:	Евгений Темиргалеев [ Суббота, 10 Декабрь, 2011 16:19 ]
Заголовок сообщения:	Re: не разрешить ли Юникод в идентификаторах?
Info21 писал(а): Так разрешать Юникод в идентификаторах? А что вызывает опасения? Повторение ситуации с вавилонской башней?

Автор:	Info21 [ Суббота, 10 Декабрь, 2011 20:37 ]
Заголовок сообщения:	Re: не разрешить ли Юникод в идентификаторах?
Евгений Темиргалеев писал(а): Info21 писал(а): Так разрешать Юникод в идентификаторах? А что вызывает опасения? Повторение ситуации с вавилонской башней? Не знаю. Боязно. Но переделывая школьный ББ под грядущий перенос на разные языки, упростил National (руководствуясь своими собственными вчерашними нотациями байтикам) так, что теперь разрешить любые символы верхней половины расширенного ASCII стало как за ухом двумя пальцами почесать. Оно и раньше было возможно, но сейчас у любого руки зачешутца. И люди ведь будут делать ЭТО. Так что в этом пункте (все литеры 128 .. 254 в идентификаторах) опасаться уже какбэ бесполезно. Вот я и думаю насчет Юникода: ведь лучше возглавить?

Автор:	Роман М. [ Суббота, 10 Декабрь, 2011 22:25 ]
Заголовок сообщения:	Re: А нужен ли юникод?
А почему все пишут "юникод"? Ведь это универсальный код, значит, следует читать "уникод".

Автор:	Jordan [ Пятница, 19 Июль, 2013 23:27 ]
Заголовок сообщения:	Re: А нужен ли юникод?
Я уверен, что 2013 году, юникод должен быть по умолчанию. Все исходники в юникоде. Естественно поддержка из коробки. То есть не плодить сущностей str: stringutf8 str: stringutf16 str: stringutf32 Просто string, с возможностью указать компилтору какая кодировка нужна.

Автор:	Илья Ермаков [ Суббота, 20 Июль, 2013 09:42 ]
Заголовок сообщения:	Re: А нужен ли юникод?
Это какое-то решение чересчур прикладного, завышенного уровня... Для уровня 1C, скажем. Но не для уровня универсального языка... Вы вот с Web-ом работаете и с UTF-8, допустим? Вы действительно хотите, чтобы UTF-8, индексация по строке с переменным числом байт на символ "врубалась" прозрачно? А как быть, допустим, с тем, что для UTF-8 обращение к i-му символу - уже операция не O(1), а O(n)? А программист писал программу в расчёте на O(1)...

Страница 3 из 3	Часовой пояс: UTC + 3 часа
Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/

Автор:	Александр Ильин [ Суббота, 10 Декабрь, 2011 22:47 ]
Заголовок сообщения:	Re: А нужен ли юникод?
Роман М. писал(а): А почему все пишут "юникод"? Ведь это универсальный код, значит, следует читать "уникод". Я так понимаю, что оба написания допустимы, а к английскому оригиналу ближе "ю" (при произношении).