База знаний / статья

YTsaurus: основная система для хранения и обработки данных Яндекса теперь open source

читать на Хабре
  • YTsaurus — опенсорсная платформа для распределенных вычислений, разработанная в Яндексе.
  • История YTsaurus началась в 2006 году, когда Яндекс столкнулся с необходимостью хранения и обработки данных.
  • YTsaurus использует MapReduce парадигму для вычислений, а также поддерживает динамические таблицы и YQL.
  • В системе есть интеграция с ClickHouse и Apache Spark, а также SDK на разных языках программирования.
  • YTsaurus имеет удобный веб-интерфейс для управления системой и данными.
  • Серверный код написан на C++, а также на Go, Python и Java.
  • YTsaurus развернут в более чем 20 инсталляциях Яндекса и интегрирован с другими внутренними системами.
  • Система использует контейнеризацию Porto для изоляции недоверенного кода и наблюдения за системой.