Ez az AI recepteket javasol az ételek fényképei alapján

COVID-19: Mit kell tudni a december 7-i koronavírus-járványról?

Óriási jéghegy a „pusztító vadon” felé a pingvin kolónia szigetén

COVID-19: Mit kell tudni a december 9-i koronavírus-járványról?

Kevés olyan dolog van, amelyet a közösségi média felhasználói jobban szeretnek, mint hogy elárasztják hírcsatornáikat az ételek fényképeivel. Mégis ritkán használjuk ezeket a képeket sokkal többet, mint egy gyors görgetés a mobiltelefonunkon.

Az MIT Számítástudományi és Mesterséges Intelligencia Laboratóriumának (CSAIL) kutatói úgy vélik, hogy az ilyen fotók elemzése segíthet nekünk receptek elsajátításában és az emberek étkezési szokásainak jobb megértésében. A Katari Számítástechnikai Kutatóintézet (QCRI) új cikkében a csapat egy Pic2Recipe nevű mesterséges intelligencia rendszert képzett ki egy étel fényképének megtekintésére, az összetevők előrejelzésére és hasonló receptek javasolására.

"A számítógépes látásmódban az ételeket többnyire elhanyagolják, mert nincsenek előrejelzéseinkhez szükséges nagyszabású adatkészletek" - mondja Yusuf Aytar, az MIT posztdoktora, aki a MIT professzorával, Antonio Torralba-val közösen írt egy cikket a rendszerről. "De a közösségi médiában látszólag haszontalan fotók valóban értékes betekintést nyújthatnak az egészségügyi szokásokba és az étrendi preferenciákba."

A cikket még ebben a hónapban bemutatják a Honoluluban rendezett Computer Vision and Pattern Recognition konferencián. Nick Hynes, a CSAIL végzős hallgatója Amaia Salvador mellett a spanyol Katalónia Műszaki Egyetem vezető szerzője volt. Társszerzők között van a CSAIL posztdoktor Javier Marin, valamint Ferda Ofli tudós és Ingmar Weber, a QCRI kutatási igazgatója.

Hogyan működik

Az internet hatalmas növekedést generált az élelmiszerek adatainak osztályozása terén, de a többség sokkal kisebb adatállományokat használt, ami gyakran jelentős hiányosságokhoz vezet az élelmiszerek címkézésében.

2014-ben svájci kutatók létrehozták az „Food-101” adatkészletet, és egy olyan algoritmus kifejlesztésére használták fel, amely képes felismerni az ételek képeit 50 százalékos pontossággal. A jövőbeli ismétlések csak a pontosságot javították, körülbelül 80 százalékra, ami arra utal, hogy az adatkészlet mérete korlátozó tényező lehet.

Még a nagyobb adathalmazok is gyakran némileg korlátozottak abban, hogy milyen jól általánosítanak a populációk között. A hongkongi Városi Egyetem adatbázisa több mint 110 000 képet és 65 000 receptet tartalmaz, mindegyik tartalmaz összetevőlistákat és utasításokat, de csak kínai ételeket tartalmaz.

A CSAIL csapat projektjének célja ennek a munkának a felépítése, de drámai kiterjesztése. A kutatók olyan weboldalakat fésültek össze, mint az All Recipes és az Food.com, hogy kifejlesszék a „Recipe1M” nevű adatbázist, amely több mint egymillió receptet tartalmaz, és amelyekhez az ételek széles skálájának összetevőivel kapcsolatos információk kerültek. Ezeket az adatokat felhasználva ideghálózatot képeztek, hogy mintákat találjanak, és kapcsolatot teremtsenek az ételképek és a megfelelő összetevők és receptek között.

Ha egy élelmiszerről készített fotót, a Pic2Recipe azonosítani tudta az olyan összetevőket, mint a liszt, a tojás és a vaj, majd több olyan receptet is javasolhatott, amelyek megállapítása szerint hasonlóak voltak az adatbázis képeihez. (A csapatnak online bemutatója van, ahová az emberek feltölthetik saját ételfotóikat, hogy kipróbálhassák.)

"El lehet képzelni, hogy az emberek ezt használják napi táplálkozásuk nyomon követésére, vagy étkezésük fényképezésére egy étteremben, és tudják, mi szükséges a későbbiekben otthon történő főzéshez" - mondja Christoph Trattner, a Bécsi MODUL Egyetem adjunktusa az Új Média Technológiai Tanszéken aki nem vett részt a lapban. "A csapat megközelítése az emberi megítéléshez hasonló szinten működik, ami figyelemre méltó."

A rendszer különösen jól sikerült olyan desszerteknél, mint a sütik vagy a muffin, mivel ez volt az adatbázis fő témája. Nehezen tudta azonban meghatározni a kétértelműbb ételek összetevőit, például a sushi tekercseket és turmixokat.

Gyakran tönkrement, amikor hasonló receptek voltak ugyanazokra az ételekre. Például tucatnyi módja van a lasagna elkészítésének, ezért a csapatnak meg kellett győződnie arról, hogy a rendszer nem "bünteti" a hasonló recepteket, amikor megpróbálja elkülöníteni a különböző recepteket. (Ennek egyik megoldása az volt, hogy megnézte, hogy az egyes összetevők általában hasonlóak-e, mielőtt összehasonlítanák magukat a recepteket).

A jövőben a csapat reméli, hogy képes lesz fejleszteni a rendszert, hogy még részletesebben megértse az ételeket. Ez azt jelentheti, hogy következtetni lehet egy étel elkészítésére (azaz párolt vagy kockára vágottra), vagy megkülönböztetni az ételek különböző változatait, például a gombát vagy a hagymát.

Olvastad?

A kutatók abban is érdekeltek, hogy a rendszert potenciálisan „vacsora segítővé” alakítsák, amely kitalálhatja, hogy mit kell főzni, tekintettel az étrendi preferenciákra és a hűtőszekrényben található tételek listájára.

"Ez potenciálisan segíthet az embereknek kitalálni, mi van az ételükben, ha nincsenek kifejezett táplálkozási információik" - mondja Hynes. „Például, ha tudja, hogy milyen összetevők kerültek az edénybe, de nem a mennyiségét, akkor fényképet készíthet, beírhatja az összetevőket, és futtathatja a modellt, hogy megtaláljon egy hasonló receptet ismert mennyiségekkel, majd ezt az információt felhasználhatja sajátjainak közelítésére. étkezés."

A projektet részben a QCRI, valamint az Európai Regionális Fejlesztési Alap (ERFA) és a spanyol Gazdasági, Ipari és Versenyképességi Minisztérium finanszírozta.