MIT и Google научат смартфоны редактировать фото в реальном времени
Сегодня никого не удивишь способностью некоторых мобильных приложений обрабатывать фотоснимки, накладывать на них красивые цветовые и художественные фильтры, различные эффекты. Но что, если смартфон научится выжимать максимум красоты из фотографии ещё до того, как она сделана? Именно такую задачу попытались решить инженеры Массачусетского технологического института и компании Google. Получившаяся в итоге система способна выдать HDR-изображение в 100 раз быстрее, нежели все существующие до этого момента алгоритмы. Это позволяет демонстрировать на экране смартфона HDR-картинку с его фотокамеры в реальном времени.
Ещё в 2015 году выпускник MIT Майкл Гарби разработал хитроумный способ обработки изображений, позволяющий значительно упростить этот процесс. Благодаря задействованию облачных серверов резко уменьшалась ширина шины для передачи данных, а также отпадала необходимость высоких железных мощностей, необходимых для обработки. По сути, любой смартфон, оборудованный такой системой, будет способен достаточно быстро выдавать качественное изображение с камеры, при этом практически не расходуя заряд аккумулятора. Но для этого ему всё же придётся отправлять данные в облако и получать от сервера готовые снимки. А на это, как вы понимаете, требуется хоть и небольшое, но время.
«Ребята из Google услышали о моём изобретении и заинтересовались им. Они инициировали нашу встречу и предложили мне объединить усилия в дальнейшей работе над проектом. Мы решили объединить два подхода для создания совершенно новой системы обработки данных. Вместо того чтобы задействовать облачные сервера, было решено обучить систему всему необходимому и сделать её тем самым полностью самостоятельной», — делится своими мыслями Майкл Гарби.
Инженеры использовали машинное обучение и тренировали систему на основе 5000 снимков, каждый из которых сопровождался пятью ретушированными вариантами. Система выработала некую формулу, позволяющую редактировать цвета пикселей изображения. Со временем алгоритм был отточен до такой степени, что он научился выдавать достаточно качественные изображения практически мгновенно. Можно сказать, в реальном времени. При этом система способна работать на мобильных устройствах и не требует высокой вычислительной мощности. Да и аккумулятор она, так же как и система Майкла Гарби, практически не расходует. Результаты исследований были продемонстрированы в рамках выставки SIGGRAPH.