Вакансія
AI Data Engineer
Огляд
Мрія — державна освітня екосистема для учнів та учениць, батьків, опікунів і вчителів, що допомагає навчатися та знаходити можливості для розвитку. Це ініціатива Президента України, яку реалізують Міністерство цифрової трансформації України та Міністерство освіти і науки України за підтримки Програми EGAP. Програму виконує Фонд Східна Європа коштом Швейцарії.
Обов'язки
- проєктування й побудова пайплайнів даних для AI-сервісів Мрії — від сирих даних до готових датасетів і метрик
- розвиток пайплайна офлайн-оцінювання якості згенерованих тестів
- розрахунок метрик, проведення тріажу та передавання результатів оцінювання до продукту
- інтеграція ML-моделей і LLM-інференсу в пайплайни обробки даних
- проєктування сховищ даних з урахуванням масштабування системи до тисяч шкіл і мільйонів користувачів
- узгодження стандартів даних із різними командами
Вимоги
- від 3 років досвіду в Data Engineering
- впевнене володіння Python і SQL
- навички оптимізації запитів та аналізу планів їх виконання
- досвід побудови й оптимізації пайплайнів з використанням Airflow, Dagster, Prefect або аналогічних інструментів оркестрації
- практичний досвід роботи з Kubernetes, зокрема розгортання сервісів, створення Helm-чартів, налаштування ресурсів і масштабування
- розуміння архітектур data lake, data warehouse, lakehouse і medallion та підходів до моделювання даних
- досвід масштабування баз даних для роботи з великими обсягами інформації
- знання принципів партиціювання, індексації, реплікації та вибору між OLTP- і OLAP-рішеннями
- досвід роботи з хмарними платформами, переважно Google Cloud, зокрема BigQuery та GCS
- навички налаштування контролю якості даних, перевірок, валідації схем і data contracts
- готовність глибоко вивчати предметну область, реалізовувати доменні метрики та складні обчислення
- вища освіта
Буде перевагою
- досвід роботи зі Spark або PySpark і розподіленою обробкою даних
- досвід інтеграції ML-моделей у пайплайни, зокрема batch- і LLM-інференсу з використанням vLLM або аналогічних інструментів
- розуміння принципів роботи ML-моделей, їхніх обмежень і вартості використання
- знання табличних форматів Delta Lake або Apache Iceberg
- досвід роботи з dbt
- досвід роботи з векторними та графовими базами даних, зокрема Qdrant або Neo4j
- навички роботи з Terraform і CI/CD, зокрема GitLab CI
- практичний досвід роботи з Prometheus, Grafana та інструментами LLM-телеметрії, зокрема Arize Phoenix
- досвід роботи з власною on-premises-інфраструктурою
- знання статистики
- досвід роботи з освітніми даними
Умови
- повна зайнятість
- офіційне працевлаштування
- гібридний формат роботи
- робота над державною освітньою екосистемою
- робота в команді Мрії
Для відгуку на вакансію заповнюйте форму