Вакансія

AI Data Engineer

Огляд

Мрія — державна освітня екосистема для учнів та учениць, батьків, опікунів і вчителів, що допомагає навчатися та знаходити можливості для розвитку. Це ініціатива Президента України, яку реалізують Міністерство цифрової трансформації України та Міністерство освіти і науки України за підтримки Програми EGAP. Програму виконує Фонд Східна Європа коштом Швейцарії.

Обов'язки

  • проєктування й побудова пайплайнів даних для AI-сервісів Мрії — від сирих даних до готових датасетів і метрик
  • розвиток пайплайна офлайн-оцінювання якості згенерованих тестів
  • розрахунок метрик, проведення тріажу та передавання результатів оцінювання до продукту
  • інтеграція ML-моделей і LLM-інференсу в пайплайни обробки даних
  • проєктування сховищ даних з урахуванням масштабування системи до тисяч шкіл і мільйонів користувачів
  • узгодження стандартів даних із різними командами

Вимоги

  • від 3 років досвіду в Data Engineering
  • впевнене володіння Python і SQL
  • навички оптимізації запитів та аналізу планів їх виконання
  • досвід побудови й оптимізації пайплайнів з використанням Airflow, Dagster, Prefect або аналогічних інструментів оркестрації
  • практичний досвід роботи з Kubernetes, зокрема розгортання сервісів, створення Helm-чартів, налаштування ресурсів і масштабування
  • розуміння архітектур data lake, data warehouse, lakehouse і medallion та підходів до моделювання даних
  • досвід масштабування баз даних для роботи з великими обсягами інформації
  • знання принципів партиціювання, індексації, реплікації та вибору між OLTP- і OLAP-рішеннями
  • досвід роботи з хмарними платформами, переважно Google Cloud, зокрема BigQuery та GCS
  • навички налаштування контролю якості даних, перевірок, валідації схем і data contracts
  • готовність глибоко вивчати предметну область, реалізовувати доменні метрики та складні обчислення
  • вища освіта

Буде перевагою

  • досвід роботи зі Spark або PySpark і розподіленою обробкою даних
  • досвід інтеграції ML-моделей у пайплайни, зокрема batch- і LLM-інференсу з використанням vLLM або аналогічних інструментів
  • розуміння принципів роботи ML-моделей, їхніх обмежень і вартості використання
  • знання табличних форматів Delta Lake або Apache Iceberg
  • досвід роботи з dbt
  • досвід роботи з векторними та графовими базами даних, зокрема Qdrant або Neo4j
  • навички роботи з Terraform і CI/CD, зокрема GitLab CI
  • практичний досвід роботи з Prometheus, Grafana та інструментами LLM-телеметрії, зокрема Arize Phoenix
  • досвід роботи з власною on-premises-інфраструктурою
  • знання статистики
  • досвід роботи з освітніми даними

Умови

  • повна зайнятість
  • офіційне працевлаштування
  • гібридний формат роботи
  • робота над державною освітньою екосистемою
  • робота в команді Мрії
Для відгуку на вакансію заповнюйте форму