Data Engineer

Огляд

Громадська організація “Гідно” займається застосуванням сучасних технологій по роботі з даними до актуальних проблем суспільства, зокрема — корупції та відмивання грошей. Спільно з YouControl та за підтримки Національної агенції з питань запобігання корупції (НАЗК) команда “Гідно” працює над створенням міжнародної платформи для пошуку та виявлення активів російських злочинців в Україні та закордоном RuAssets (http://ruassets.com/).

Обов'язки

• створення та налаштування пайплайнів завантаження та оновлення даних
• напрацювання політик та правил по стандартизації та нормалізації даних
• керування розподіленою командою волонтерів аналітиків та інженерів по роботі з даними
• контроль за своєчасністю та повнотою завантажених даних
• формування та реалізація рекомендацій щодо очищення та збагачення даних

Вимоги

• досвід роботи з Elasticsearch та оптимізацією кластерів
• досвід роботи з MongoDB
• навички роботи з SQL високого рівня
• досвід використання Python для аналізу даних та Data Engineering
• обізнаність з git, bash, makefiles та знання основ CI/CD
• обізнаність з REST API та scrapping
• досвід використання NER та NLP моделей буде перевагою
• досвід роботи з docker та k8s буде перевагою
• досвід роботи з Apache Airflow та аналогічними платформами буде перевагою

Умови

• залученість на проєкті не менше ніж 75% від повної зайнятості
• на час війни здебільшого волонтерська робота, з фінансовою підтримкою по можливості
• після стабілізації продукту – можливість зайняти позицію Chief Data Officer та отримувати ринкову заробітну плату