Data Engineer
Город: Москва
Опыт работы: От до лет
О компании
MERLION – крупнейший российский дистрибьютор, мы продаём компьютерную, цифровую и бытовую технику торговым сетям и через собственные торговые марки, обеспечиваем большой, средний и малый бизнес ПО. У нас есть собственное производство компьютеров, офисной мебели, а также логистическая инфраструктура. MERLION – это экосистема сервисов, которые ежедневно помогают нашим клиентам и партнёрам достигать их целей.
Компания основана в 1992 году, входит в рейтинг Forbes «200 крупнейших частных компаний России».
Масштаб
- более 20 компаний и проектов в холдинге;
- 920 мировых брендов в дистрибуции;
- 215 000+ позиций ассортимента;
- 8 700 активных партнёров (маркетплейсы, производители, ресейллеры, розничные сети, системные интеграторы, СМБ-компании);
Команда
В MERLION реализуют свою мощь и талант более 15 000 сотрудников, более 600 человек – это наша IT dream team. IT команда MERLION – это среда для профессионального и личного развития, творчества и нетворкинга. Вместе мы делаем невероятные и крутые проекты, повышаем качество цифровых услуг и высокотехнологичных продуктов.
Рабочие задачи:- Разрабатывать ETLELT процессы
- Чинить ошибки, выявленные в ходе эксплуатации
- Разрабатывать общие шаблоны типовых трансформаций, инструментарий автодокументирования и линеджа
- Разработка Framework и инструментов для автоматизации сервисов DWHETL
- Тестировать свой код, рефакторить код и поддерживать читаемость кода и документации
-
Наш стек: OpenMetadata, Python, Vertica SQL, MS SQL, Atlassian Jira, Confluence, Bitbucket/GitLab, SSIS, SSAS, Tabular, S3, PBI, DataLens, ClickHouse, Apache AirFlow, SSRS.
- Знание python (практический опыт от 2х лет), обязательно опыт разработки промышленных приложенийсложных ETL процессов
- Опыт работы с AirFlow
- Уверенное владение SQL, диалекты MPP RDBMS (желательно Vertica)
- Знание принципов организации и типовых практик по загрузке и базовой трансформации (очистка, приведение типов и т.д.) данных
- Навыки получения данных с различных типов источников: БД, API, Web сервисы, e-mail, Kafka, различные форматы файлов (Excel, JSON, Xml, Parquet) на различных источниках (S3, папка, Sftp)
- Понимание как работать в рамках организованного CI/CD процесса
Как мы работаем:
- У нас in-house разработка.
- Долгосрочные проекты – игра «в долгую» (не проектная занятость).
- Используем agile-подход с двухнедельными спринтами.
- Один на один с трудностями не оставляем, всё обсуждаем и помогаем друг другу.
Мы предлагаем:
- Удаленный график работы
- Корпоративная программа лояльности, скидки на товары и услуги партнёров
- Сильная команда специалистов по разным направлениям
- График работы пн-пт 10:00 – 18:30
- Официальное трудоустройство в штат аккредитованной IT компании по ТК РФ.