Калории по фото: что видит ИИ и как уточнить результат

Коротко: по фото бот узнаёт блюдо и прикидывает порцию по посуде — этого хватает для первой цифры. Но масло в зирваке, курдюк в начинке и реальный вес порции на снимке не видны, поэтому самый сильный ход — уточнить их одной фразой: «плов 400 г», «самса жареная», «шурпа с лепёшкой». Бот пересчитает калории и БЖУ, а запись останется в дневнике. Ниже — что видно на фото и условный расчёт на плове, самсе и шурпе.

Что видно на фото, а что нет

Снимок несёт две вещи: что за блюдо и как выглядит порция. Плов от лагмана, самсу от мантов, шурпу от маставы нейросеть отличает по форме, цвету и подаче. Размер порции она оценивает по косвенным признакам: лаган или коса, насколько заполнена посуда, есть ли горка. Так получается первая оценка — блюдо из базы и его стандартная порция.

Но часть калорий на фото не видна в принципе. Жир — самый плотный по энергии компонент еды: 1 г жира даёт 9 ккал, 1 г белка или углеводов — 4 ккал. Масло растворяется в зирваке, курдюк — в фарше, сахар — в чае, и снаружи домашний плов и свадебный выглядят одинаково. Вес на снимке тоже не написан.

Узнать блюдо и посчитать калории — разные задачи

Систематический обзор в Annals of Medicine (2023) собрал 52 работы, где оценку рациона по изображениям сравнивали с оценкой людей и с эталонными измерениями. Методы, наборы снимков и сами эталоны оказались настолько разными, что единого сводного показателя точности авторы вывести не смогли. Видно и другое: отдельный продукт вроде варёного яйца и смешанное блюдо вроде плова, где часть ингредиентов скрыта, — задачи разной сложности.

Команда Google Research в проекте Nutrition5k (CVPR 2021) показала, что нужно, чтобы вывести из снимка не название, а граммы: каждый компонент блюда взвешивали, а к изображениям добавляли данные о глубине для оценки объёма порции. Авторы отдельно описывают скрытые ингредиенты, которых на снимке нет, и ограниченное разнообразие кухни: данные собраны в столовой в США, о плове и самсе они ничего не говорят.

Отсюда два вывода. Первый: в базе должны быть местные блюда — с их маслом и рецептом, а не «рис с мясом». Второй: оценку по фото нужно исправлять одной фразой, без поиска по базе и ввода граммов на каждый ингредиент. На этом построен Osh Tracker.

Условный расчёт: плов, самса и шурпа от фото до записи

Это не измерение и не тест, а условный расчёт по нашей таблице блюд: калории на 100 г считаем как 4 × белки + 9 × жиры + 4 × углеводы, потом умножаем на вес порции.

Роль масла видна особенно хорошо: в порции плова 300 г — 12,6 × 3 = 37,8 г жира, то есть 37,8 × 9 ≈ 340 ккал из 651 — больше половины. Каждые лишние 10 г масла в порции — ещё 90 ккал, и на фото это никак не отражается. Поэтому для плова из чайханы и свадебного фраза «жирнее обычного» важнее идеального ракурса.

Как уточнить результат одной фразой

Ответ бота — предложение, а не приговор. Три рычага, которые меняют цифру сильнее всего:

1. Масса. Знаете вес — напишите: «плов 400 г», «полкосы», «две самсы». Если весов нет, ориентир даёт посуда: коса, лаган, штучная выпечка.
2. Масло и рецепт. «Свадебный, жирнее», «самса жареная», «шурпа баранья», «снял жир». Важно не посчитать масло дважды: в цифре плова и лагмана масло рецепта уже есть, отдельной строкой идёт только то, что добавили сверху — подробно в гиде о скрытых калориях в масле и соусах.
3. Добавки за кадром. Лепёшка, катык к мантам, ачик-чучук с маслом, пиала сладкого чая — 28 ккал на 100 мл, 56 на пиалу 200 мл. Допишите «с лепёшкой» или «плюс чай с сахаром».

Все три уточнения можно отправить одним сообщением — текстом или голосом. Бот пересчитает калории и БЖУ и обновит запись в дневнике.

Как сфотографировать, чтобы первая оценка была ближе

• Снимайте сверху или под небольшим углом — так видно, насколько заполнена посуда.
• Вся тарелка в кадре, с краями: по обрезанному снимку трудно понять размер лагана.
• Хороший свет — в темноте плов и кавурма сливаются.
• Несколько блюд — по отдельности или перечислите в подписи: «плов, ачик-чучук, лепёшка». Известен вес — тоже в подпись, бот учтёт.

Работает с узбекскими блюдами

В базе @oshtracker_bot — таблица национальных блюд: плов, манты, шурпа, дымлама и другие — с маслом и рецептом внутри цифры. Поэтому плов считается как плов, а не как «рис с мясом». Записать еду можно фото, голосом, видео или текстом; уточнить — одной фразой. Бот ведёт дневник и историю, считает дневную норму под цель — похудеть, набрать или держать вес, — хранит вес и добавки. Всё внутри Telegram, на русском и узбекском, без установки.

Цифры блюд — усреднённые оценки домашних рецептов на 100 г. Пример в статье — условный расчёт по нашей таблице, а не измерение: реальная порция и масло могут отличаться.

Источники

• AI-based digital image dietary assessment methods compared to humans and ground truth: a systematic review — Annals of Medicine, 2023
• Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food — Google Research / CVPR, 2021
• Food energy — methods of analysis and conversion factors — FAO, 2003