OberonCore

Выделено: viewtopic.php?p=41049#p41049

2Galkov: Для того, чтобы дальнейший разговор имел смысл, мы обязательно должны прийти к консенсусу по следующему принципиальному вопросу: И так. Детерминированная ли лексика у Оберонов?

Предлагаю Вашему вниманию (и всем желающим) файл, который я специально подготовил для Вас.

Предлагаю Вам проделать следующее:
1. Внимательно изучите вложенный файл (одна страничка).
2. Откройте "Построение компиляторов" Вирта на странице 29 (где перечисленны три условия детерминированности синтаксиса).
3. Натыкайте меня носом в то место в моём файле, из которого следует, что хотя бы одно условие детерминированности нарушено.

Замечу, что этот пример (лексика урезанного Оберон-0) отличается от других Оберонов только количественно, но не качественно. Результат нашего исследования можно будет распространить на всю линейку Оберонов.

Виртовские продукции я немного изменил и дополнил с поправкой на Вашу дотошность. То есть постарался изгнать из описания "здравый смысл" и интуицию

Это неверно, комментарии могут быть вложенными.

Это неверно и без вложенности...
igor, вечером сделаю аккуратненький и полный разбор полета. Ибо с собой на работу книжку не взял

В каком языке?

Можно не торопиться. Если что, я подожду.
Главное, разбор полёта должен быть качественным .

В Oberon-0. Ну, и всех остальных Оберонах и КП.

Мой пример относится к подмножеству языка Оберон-0. Об этом сказано в первой же строке моего файла. И в этом моём учебном языке нет вложенных комментариев, так как я сам определил.

Можно было бы определить вложенные комментарии. Но это усложнило бы пример, но не приблизило бы нас к разрешению спора. Потому что комментарии не являются лексемами, а спор касался именно лексики языка.

А зачем тогда писать это:
lexeme = (ident | number | string | “(” | “)” | “:=” | “*”) {blank | comment}.

"Это" означает, что нетерминал lexeme обозначает саму лексему, а также разделитель, который может отделять следующую лексему от текущей.

Для того, чтобы понять, что комментарий не может быть лексемой, можете применить такие рассуждения. Лексемы по определению не могут быть вложенными, а комментарии (в принципе) могут. Значит комментарии - это не лексемы.

Зря вы этот кусок добавили: {blank | comment}

Нет, не зря. Он имеет прямое отношение к третьему условию детерминированности синтаксиса (по Вирту).

Ну давайте чисто формально распишем, например:
lexeme = ident
lexeme = ident blank
lexeme = ident blank comment
lexeme = ident blank comment blank blank blank blank blank blank blank blank blank blank blank comment
Вам это нравится?

Да, очень . Между лексемами может быть произвольное число (включая ноль) пробельных символов и (или) комментариев.
Без куска {blank | comment} синтаксис был бы недетерминированным, из-за нарушения третьего условия.

Приведу пример. Допустим, в тексте следуют друг за другом две лексемы: "name" и "56". Если убрать {blank | comment}, то Вы сможете их записать только так: ...name56...
Как по Вашему сканер должен понять что это две лексемы "name" и "56", а не одна лексема "name56"? Пробельный символ между "name" и "56" устраняет неопределённость, делает синтаксис детерминированным. Теперь Вы можете писать любые из лексем "name", "56" и "name56", и сканер не запутается.

Так в том-то и дело, что "Между лексемами". А написано:
lexeme = ident blank comment blank blank blank blank blank blank blank blank blank blank blank comment
т.е.,
лексема равна <бред>

Не пытайтесь искать глубокий смысл в нетерминале lexeme. Это чисто формальная запись.

Я мог бы вместо "lexeme = ..." написать "blabla = ...". И это был бы тот же самый язык! Полностью эквивалентный исходному.

Смыслом синтаксических конструкций заведует другая часть языка - семантика. В этой теме мы не рассматриваем семантику синтаксических конструкций.

Синтаксис описывает формальный язык. Формальные языки лишены смысла

Я разочарован.

Сочувствую . Но я бы мог Вам подсказать как вернуться к жизни.
Попробуйте написать лексический анализатор, но только без {blank | comment}.
Желаю удачи!

У Вас в формуле, описывающей идентификатор (к примеру), указывается набор допустимых символов для порождающей грамматики. То есть, с помощью формулы можно получить множество идентификаторов. Полное множество. Без лишних объектов, которые не являются идентификаторами.

Пробел в формулу не входит, значит при построении идентификатора использовать его нельзя. Значит, лексический анализатор, наткнувшись на пробел, будет знать, что этот символ не является частью текущей лексемы. Значит, текущая лексема закончилась.

P.S. Если формальные языки лишены смысла, то их использование и результат их использования тоже лишены смысла.

А если не наткнулся

Не понял.

Если символ в правиле не описан, значит текущая лексема закончилась. Если символ в правиле описан, значит обрабатываем продолжаем искать конец.