11 сентября
Митап по BigData
в Санкт-Петербурге

Встречаемся на ул. Дивенская д. 1, БЦ «Лангензипен», 4 этаж

Также будет организована онлайн трансляция в день мероприятия

big data
Узнайте о новейших подходах к обработке данных на ApacheSpark от ведущих дата-инженеров
#BIGDATA
#CHESTNYZNAK
#SPB

Спикеры

Югай Петр
Югай Петр
Руководитель группы разработки аналитических решений, Честный ЗНАК
Вертлиб Дмитрий
Вертлиб Дмитрий
Ведущий программист разработчик, Честный ЗНАК
Шеремета Сергей
Шеремета Сергей
Staff DWH Engineer, AliExpress Russia

Программа

16:30

Сбор участников

17:00

Начало

17:10

Эволюция ежедневного расчёта на 1 Пб данных: от ClickHouse к shuffle-free Spark

Югай Петр · Руководитель группы разработки аналитических решений, Честный ЗНАК
Для решения задач, связанных с обработкой большого количества данных, мы сталкиваемся с разными вызовами. В том числе и с долгой работой I/O, высокой нагрузкой на shuffle-сервис. В этом докладе познакомимся с эволюцией ETL от ClickHouse до Spark и основными техническими решениями, которые позволяют нам пересчитывать Петабайт данных каждый день, избегая большого количества шафла и спилла.
17:50

Кофе-брейк

18:00

Демократизация DQ-проверок в DataLakeHouse

Шеремета Сергей · Staff DWH Engineer, AliExpress Russia
«Грязные» данные — не если, а когда. Как вовремя отследить и не дать им «прорасти» дальше. Читабельные DQ-проверки на языке SodaCL. DQ-проверки как этап разработки ETL. Юнит-тестирование DQ-проверок. Применение WAP-паттерна (write-audit-publish) в vanila Spark/Hadoop и в Spark/Iceberg.
18:30

Перерыв

18:40

Использование оптимизаций Apache Spark. Storage-Partitioned Join и ее производные в регулярных ETL

Вертлиб Дмитрий · Ведущий программист разработчик, Честный ЗНАК
Apache Spark не стоит на месте, с каждой новой версией мы получаем новшества и оптимизации. В версии 3.2 появилась оптимизация с общим названием Storage-Partitioned Join. В докладе рассмотрим почему SРJ это не только про join, приведем примеры использования в peгулярных ETL.
19:10

Нетворкинг и афтепати

Встречаемся здесь

ул. Дивенская, д. 1, БЦ «Лангензипен», 4 этаж