OberonCore
https://forum.oberoncore.ru/

Ищу фреймворк для обработки данных
https://forum.oberoncore.ru/viewtopic.php?f=61&t=1447
Страница 1 из 1

Автор:  Александр Ильин [ Воскресенье, 05 Апрель, 2009 11:36 ]
Заголовок сообщения:  Ищу фреймворк для обработки данных

Многие знакомы с потоковым редактором SED. Я ищу нечто подобное, но более общее, а именно: 1) основанное не только на регулярных выражениях (или вообще их не использующее), 2) обрабатывающее не только текст, а вообще любые данные, 3) модульное и расширяемое.

Вот у меня недавно возникла задача - вытащить из бинарных файлов одному мне известного формата некоторые строки текста, перевести их на английский, затем упаковать обратно, да ещё и имена файлов тоже перевести. Пришлось городить утилитку, задействующую SED в некоторый момент времени (поскольку очень много одинаковых строк), но большей частью делающую всё самостоятельно. Подумалось мне, что должен же ведь быть где-то готовый фреймворк, в который можно было бы добавить свою DLL с поддержкой бинарного формата, а остальное каким-то скриптиком провернуть. Кто-нибудь из коллег встречал что-то подобное (лучше под винду, но рассмотрю и другие варианты)? Представляется мне это в таком виде: потоковая обработка данных, подзадачи разбиты на модули, взаимодействие модулей описано скриптом - какие данные от кого и куда переправлять. Поиск по сети ничего внятного не принёс.

Каким боком это к трансляции и технологиям компиляции? Ну, мне кажется, что модульный компилятор в таком фреймворке представляется довольно органичной частной задачей: входной файл -> сканер -> парсер -> кодогенератор.

Автор:  Илья Ермаков [ Воскресенье, 05 Апрель, 2009 17:42 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Рефал-0 не рассматривали?
Бинарные данные можно обрабатывать. Можно разносить по Оберон-модулям (пока не опубликовано, но сами пользуем).
Описывается, фактически, не декларатив, а поведение строковой машины - т.е. отображение в императив прозрачно. Можно использовать как функциональный скрипт для связывания разных процедур, обрабатывающих текст (на чём написаны - неважно, лишь бы удовлетворяли сигнатуре - работали на двух стеках).
Ничего особенно высокоуровневого там не заложено, но как раз на интегрирующий механизм для такого фреймворка, который хотите Вы, по-моему, тянет.

Посмотрите, пожалуйста, если будут идеи - давайте общаться! У нас с ним сейчас люди работают тоже.

Автор:  Александр Ильин [ Воскресенье, 05 Апрель, 2009 19:07 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Я читал когда-то PDF с описанием, надо ещё раз прочитать. Теперь уже с прицелом на конкретную задачу.

Автор:  Info21 [ Воскресенье, 05 Апрель, 2009 19:49 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Илья Ермаков писал(а):
Рефал-0 не рассматривали?
Хочу выразить здоровый скептицизм в отношении такого усложнения как введение целого нового языка. Скептицизм основан на опыте работы с символич. алгеброй, где все очень похоже: фильтрация с преобразованием потоков данных. Традиционно для этого используются спец. системы со спец. языками. Но в больших задачах это оказывается гандикапом по ср. с прямой реализацией на КП.

Некий каркас поддержки нужен, конечно, для конкретного класса задач. Но не целый язык.

Может, в отношении этого Рефала-0 и есть соотв. обоснование. Но я его не видел (и в словах, мелькавших тут, ничего достаточно убедительного для себя не видел -- возможно, от невнимательности, конечно), а опыт говорит скорее против, чем за. Потому. :)

В общем, я склонен (в меру имеющейся инфы, конечно) рассматривать Рефал-0 не как нечто выросшее и абстрагированное "из", а как нечто сочиненное и наложенное "на".

Возможно, сказывается и предрассудок, связанный с происхождением Рефала-0 из пресловутой Росы.

Автор:  Илья Ермаков [ Воскресенье, 05 Апрель, 2009 20:44 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Фёдор Васильевич, спасибо за мнение. Я сам стараюсь тоже почаще задаваться подобными вопросами, под Вашим влиянием.

Касательно Рефала-0, несколько специфических моментов:
во-первых, там не "целый язык", а всего 13 нетерминалов в грамматике (от Рефала, собственно, только чисто марковская часть и название). Отображение в императив 1-в-1 практически, только короче в неск. раз (мусор низкоуровневый типа игр с индексами, сравнений и поисков свёртывается в сопоставление с образцом). По ощущениям от использования - хороший "клей" для увязывания процедур-трансформаторов над потоками.

Цитата:
Возможно, сказывается и предрассудок, связанный с происхождением Рефала-0 из пресловутой Росы.

Это не так. Ни одна из разработок "Метасистем" не имеет происхождения как таковая "из Росы".
И работать с Рефалом мы начали значительно раньше, чем в материалах по "Росе" он всплыл.

Автор:  Axcel [ Воскресенье, 05 Апрель, 2009 21:17 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

По поводу Рефал 0 по моему действительно трудно теоретизировать. На мой мой взгляд очень практичная вещь.
И , опять же по моему, запас для расширения (методологии) весьма велик. Ну, прежде всего, обобщение на потоки символов, далее наработка стандартных приемов, возможно библиотек.
По поводу расширения в сторону дальнейшей "рефализации" судить не берусь, в тоже время в текущем варианте (Рефал 0) очень к месту.

Автор:  Info21 [ Воскресенье, 05 Апрель, 2009 22:56 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Илья Ермаков писал(а):
всего 13 нетерминалов в грамматике (от Рефала, собственно, только чисто марковская часть и название).
Так значит, не Рефал, раз только чисто марковская часть? Тогда и назвать бы как-нибудь соответственно. Рефал 0 с толку сбивает, и слишком ... сложно.

Кстати, хорошего простого примера-пособия по марковской парадигме нет. Нельзя ли это приспособить.

Автор:  Илья Ермаков [ Воскресенье, 05 Апрель, 2009 23:04 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Может быть, и можно... Даже не готов рассуждать на эту тему.

Автор:  Axcel [ Понедельник, 06 Апрель, 2009 11:05 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Info21 писал(а):
Илья Ермаков писал(а):
всего 13 нетерминалов в грамматике (от Рефала, собственно, только чисто марковская часть и название).
Так значит, не Рефал, раз только чисто марковская часть? Тогда и назвать бы как-нибудь соответственно. Рефал 0 с толку сбивает, и слишком ... сложно.

Кстати, хорошего простого примера-пособия по марковской парадигме нет. Нельзя ли это приспособить.


Во всяком случае мне для изучения вопроса пришлось обращаться именно к Рефалу (на соответствующий сайт). Хотя согласен, для "первого раза" там слишком всего много. С другой стороны, опять же для меня, "бренд" Рефал сыграл роль рекламы.

Автор:  Рыжий [ Суббота, 27 Февраль, 2010 01:04 ]
Заголовок сообщения:  Re: Ищу фреймворк для обработки данных

Цитата:
Хочу выразить здоровый скептицизм в отношении такого усложнения как введение целого нового языка.

:lol: Debug.exe
http://forum.sources.ru/index.php?showtopic=214452
http://www.wasm.ru/article.php?article=1022002
в случае чего, батник написать несложно.

Страница 1 из 1 Часовой пояс: UTC + 3 часа
Powered by phpBB® Forum Software © phpBB Group
https://www.phpbb.com/