Как отличить одну упаковку с едой из доставки от другой, если ты незрячий? Для этого отлично подойдёт умная камера поискового приложения. Она прочитает и подскажет не только название, но и срок годности, состав и другую важную информацию. В докладе расскажем об устройстве умной камеры, какие задачи она помогает решать, а также об особенностях использования умной камеры незрячими людьми и её адаптации под такие сценарии. Также поговорим о том, какие технологии позволяют умной камере распознавать и отслеживать объекты и текст на видео-потоке, почему используется проприетарный трекер объектов и чем нам не подходят существующие ARKit/ARCore. А ещё обсудим, как нейронные сети позволяют определить, что текст на изображении обрезан, и о том, какие изменения понадобились в клиентской бизнес-логике для реализации сценария распознавания текста незрячими пользователями.