Искусство ETL. Пишем собственный движок SQL на Spark [часть 5 из 5]

admin

REPL

В данной серии статей я подробно рассказываю о том, как написать на Java собственный интерпретатор объектно-ориентированного диалекта SQL с использованием Spark RDD API, заточенный на задачи подготовки и трансформации наборов данных.

Краткое содержание предыдущей серии, посвящённой API расширения и разного рода технической обвязке:

Расширяемость. API подключаемых функций
Режимы запуска. Пакетный режим, сборка для разных окружений, автотесты

Теперь можно поговорить о последних штрихах, делающих инструмент — инструментом, а именно, об интерактивно-отладочном режиме, то есть, REPL, клиенте и сервере, а также о генераторе документации.

Предупреждение о рейтинге «M for Mature»

Уровень сложности данной серии статей — высокий. Базовые понятия по ходу текста вообще не объясняются, да и продвинутые далеко не все. Поэтому, если вы не разработчик, уже знакомый с терминологией из области бигдаты и жаргоном из дата инжиниринга, данные статьи будут сложно читаться, и ещё хуже пониматься. Я предупредил.

Читать дальше →

Почва под Змеиногорском золотоносная. Это место при Петре Великом купцы Демидовы, ставшие первыми заводчиками на Урале. Каменные дома, за исключением построенных при Советской власти, все демидовские. Они же построили плотину на речке, образовав, таким образом, водохранилище. Здесь у Демидовых были шахты, где добывали золото. Говорят, что доныне сохранился подземный ход из конторы Демидовых прямо в шахты. И теперь в шахтах добывают золото…

Zmeinogorsk.RU — Терра Инкогнита!

Zmeinogorsk.RU

релевантная информация

Generic selectors
Exact matches only
Search in title
Search in content
Post Type Selectors
Search in posts
Search in pages

мысли на память

"Лучшее средство хорошо начать день состоит в том, чтобы, проснувшись, подумать, нельзя ли хоть одному человеку доставить сегодня радость. Фридрих Вильгельм Ницше"

Нет связанных сообщений

Related posts