Google Research представила PhotoScan — экспериментальную систему на основе глубокого обучения, которая анализирует фотографии тела, сделанные с помощью смартфона. Технология оценивает процент и распределение жира, а затем использует полученную информацию для прогнозирования инсулинорезистентности.
В рамках клинического исследования добавление показателей PhotoScan позволило получить результаты, близкие к использованию данных DXA-сканирования. Однако разработка пока не является медицинским продуктом и не может заменить анализы или консультацию врача.

Почему индекса массы тела недостаточно
Индекс массы тела рассчитывается на основании роста и веса. Это простой и доступный показатель, но он не различает жировую и мышечную массу, а также не показывает, в каких частях тела накапливается жир.
У двух людей с одинаковым BMI могут быть разный состав тела и разные метаболические риски. В частности, жир вокруг внутренних органов может иметь большее значение для здоровья, чем подкожный жир.
Более точную информацию предоставляет DXA-сканирование. Однако для него требуется специальное клиническое оборудование, поэтому такой метод сложно использовать для регулярной домашней проверки.
Как работает PhotoScan
PhotoScan анализирует фронтальные и боковые изображения тела. Вместе с фотографиями исследовательская модель использует пол, рост, вес и рассчитанный BMI.
Система оценивает три показателя:
общий процент жира в организме;
соотношение жира в области туловища и бёдер;
соотношение висцерального и подкожного жира.
Для первоначального обучения нейросети использовались данные более 35 тысяч участников UK Biobank. Затем модель дообучили на фотографиях со смартфонов и результатах DXA-сканирования 677 взрослых.
Какие результаты показало исследование
При независимой проверке с участием 132 человек средняя абсолютная ошибка PhotoScan при определении процента жира составила около 2,13 процентного пункта по сравнению с DXA.
Базовая модель, учитывавшая возраст, пол и BMI, получила показатель AUROC 0,692 при классификации инсулинорезистентности. После добавления измерений PhotoScan результат вырос до 0,760. Модель с показателями клинического DXA-сканирования достигла 0,773.
Таким образом, PhotoScan приблизился к DXA именно в рамках этой задачи по распознаванию инсулинорезистентности. Это не означает, что обычная фотография стала полноценной заменой клиническому сканированию при любых измерениях.
Можно ли уже проверить здоровье по фотографии
Нет. Google называет PhotoScan исследовательской системой и не сообщала о выпуске общедоступного приложения или функции для смартфонов.
Независимая проверка проводилась на относительно небольшой группе, а изображения создавались по установленной процедуре. Перед возможным медицинским применением потребуются более масштабные исследования с участием разных групп людей и соответствующее разрешение регулирующих органов.
Даже если такая технология станет доступна пользователям, она, вероятнее всего, будет применяться для предварительной оценки риска, а не постановки диагноза. Инсулинорезистентность должен определять врач на основании лабораторных анализов, истории болезни и других показателей.
Источники: Google Research и научная публикация PhotoScan.