Алиса — это виртуальный помощник и друг, каждый месяц она помогает более 45 миллионам человек решать бытовые задачи и просто весело проводить время. В команде аналитики мы создаём метрики, которые позволяют замерить (а значит, и улучшить) умность и полезность голосового помощника для пользователей. В докладе расскажем, как решаем задачу измерения качества как Алисы в целом, так и ее основных составляющих компонент, почему стандартные метрики малополезны, какие сложности могут возникнуть и как мы их решаем.