DietSensor: Automatikus étrend-bevitel mérése mobil 3D szkennelő szenzor segítségével cukorbetegek számára

Sepehr Makhsous

1 Sensors Energy and Automation Laboratory (SEAL), Villamos- és Számítástechnikai Tanszék, Washingtoni Egyetem, Paul Allen Center, 185 E Stevens Way NE AE100R, Seattle, WA 98195, USA; ude.wu@jbdnukum (M.B.); ude.wu@vehsimam (A.V.M.)

Mukund Bharadwaj

Benjamin E. Atkinson

2 Egészségügyi Minisztérium, 357660 doboz, Közegészségügyi Iskola, Washington Egyetem, Seattle, WA 98195, USA; ude.tendew.nrubua@nosniktab

Igor V. Novosselov

3 Gépészmérnöki Tanszék, Washingtoni Egyetem, 3900 E Stevens Way NE, Seattle, WA 98195, USA; ude.wu@nvi

V. V. Mamišev

Absztrakt

1. Bemutatkozás

A cukorbetegség globális egészségügyi probléma, és becslések szerint csak az Egyesült Államokban 30,3 millió ember érintett [1]. A cukorbetegség olyan betegség, amelyet a szervezet károsítja az inzulin termelésére vagy az inzulinra reagálására, ami a szénhidrátok kóros anyagcseréjét, valamint a vér és a vizelet glükózszintjének emelkedését eredményezi. A kapcsolódó állapotok közé tartoznak a szív- és érrendszeri betegségek, a mozgásszervi betegségek és a rákos megbetegedések [2]. A továbbfejlesztett étrend-értékelési technikák kritikus fontosságúak a cukorbetegek egészséges életének fenntartásához.

Sőt, a kórházaknak figyelemmel kell kísérniük cukorbeteg pácienseik táplálékfelvételét, hogy felírják a megfelelő mennyiségű gyógyszert. Az alultápláltság a kórházi betegek hosszú ideje fennáll, és országosan a betegek 30-50% -ánál diagnosztizálják. Az alultápláltság jelentősen megnöveli a betegek halálozását, a kórházi tartózkodás időtartamát és végső soron az orvosi költségeket [3]. Ezenkívül az ápoló- és táplálkozási személyzet csak az étkezési tálcák körülbelül 50% -át képes felmérni az étkeztetéshez és az átvételhez kapcsolódó személyi állomány és logisztika miatt (Harborview Medical Center belső adatai). Ez a cikk a DietSensor rendszer nevű új módszert mutatja be (az 1. ábrán látható), amely háromdimenziós (3D) szkennelési technológiát alkalmaz egy élelmiszer mennyiségének mérésére és a pontos táplálékbevitel kiszámítására.

A DietSensor rendszer felváltja a meglévő becslési folyamatot egy automatizált okostelefon-alkalmazás bevezetésével, amely a páciens tányérján lévő ételmennyiség mérésére szolgál. A DietSensor rendszer kivonja az orvosi központ konyhája által szolgáltatott jelentett táplálkozási adatokat az elfogyasztott mennyiség mérésére és az orvosnak történő jelentésre.

A DietSensor rendszer automatikus 3D rekonstrukciót használ egy kereskedelmi forgalomban lévő polcról (COTS) mélységmérő kamerával és az orvosi központ konyhája által biztosított meglévő táplálkozási adatbázissal, hogy a hasonló megoldásokhoz képest gyorsabban és olcsóbban állapítsa meg az elfogyasztott élelmiszerek tényleges mennyiségét. A DietSensor okostelefon alkalmazás segítségével a megmaradt ételtérfogatot a beteg tányérjára rögzítik, a volumetrikus számítási algoritmust (VCA) pedig a maradék tápértékének mérésére használják. A mérés elvégzése után a DietSensor rendszer az orvosi központ konyhája által szolgáltatott jelentett táplálkozási adatokat használja fel az endokrinológusnak jelentendő elfogyasztott mennyiség kivonására és mérésére. A folyamatot a 3. szakasz részletezi, a megállapításokat a 4. szakasz ismerteti.

2. Háttér

Sok friss kutatást végeztek a képalkotásról az automatikus étrendfigyelés érdekében. A szenzortechnika legújabb fejleményei a képalapú érzékelést nem tolakodóvá és könnyen használhatóvá tették. Az ilyen rendszerek alapvető szempontja a beolvasott élelmiszerek pontos volumetrikus becslése. Jelenleg ezek a rendszerek nagyjából három kategóriába oszthatók - 3D képalkotás mélységérzékelőkkel, 3D rekonstrukció 2D képek felhasználásával és 3D rekonstrukció vetített fény (strukturált fény) felhasználásával.

A mélységérzékelőknek megvan az az előnyük, hogy mélységinformációkat képesek előállítani különösebb további közvetlen feldolgozás nélkül. Számos szenzortechnológia létezik erre a feladatra, a repülési idő (TOF) szenzorok gyakoriak. A tudományos életben jelenleg népszerű TOF-érzékelő a Kinect V2 érzékelő, amelyet számos területen használtak, amint azt a [4] mutatja. Az ételméréshez használt Kinect érzékelőre példa a tojástérfogat 93% -ot elérő pontossággal történő mérése [5]. Azonban a TOF érzékelőkkel kapcsolatos általános problémák az érzékelő felmelegedési ideje és hőmérséklet-kompenzációja, amint az a [6,7].

A 3D rekonstrukció 2D képek felhasználásával különféle módszerekkel érhető el, egyetlen kép, különféle pózokból származó több kép és sztereó képek felhasználásával [8,9,10,11]. Ezeknek a módszereknek az az előnye, hogy alacsony költségűek, és a 2D-s képekkel történő képfeldolgozás jól érthető probléma, viszonylag alacsony hardverigénnyel. Ezeknek a módszereknek azonban megvannak a hátrányai. Általában rendszer kalibrálást igényelnek, a legtöbb megvalósítás ismert referencia célt, például sakktáblát használ. Nagyban függenek a kép pózától és tartalmától is, különösen azoktól a módszerektől, amelyek egyetlen felvétel segítségével becsülik meg a hangerőt, így jelentős hibákra hajlamosak.

A vetített fény felhasználásával készült 3D rekonstrukció kompromisszumot keres az előző két módszer között azáltal, hogy strukturált fényt vetít az elemekre és 2D képeket rögzít, például [12,13,14]. A strukturált fény vetülete megoldja a kép kalibrálásának problémáját, valamint a rögzített különféle élelmiszerek textúráinak különbségeit. Kis távolság érzékelés esetén ez pontosabb 3D modelleket eredményez alacsony számítási költségekkel.

A 3D-s mélységmérésekkel végzett ételmennyiség-becslés, bár javult, még mindig többnyire jól ellenőrzött laboratóriumi környezetekre korlátozódik. A térfogat-becslés egyik megközelítése a Point2Volume, amely a View Synthesis segítségével mélyreható tanulást kamatoztat a 3D-s pontfelhők újrateremtéséhez [15]. A megvalósítás Intel RealSense mélységkamerával rögzíti a részleges felhőket és 3D-s rekonstrukciót, valamint térfogat-becslést végez egy mély tanulási hálózat segítségével. A rendszer átlagosan 85% -os pontosságot ért el a laboratóriumban, az egyes ételeket egy stúdióban rögzítették, amelynek speciális kamrája volt a 3D szkenneléshez. A mély tanulási hálózathoz azonban nagy adatkészletre van szükség a képzéshez, és a hálózat nem teljesít jól olyan tárgyakkal, amelyek nem szerepelnek a képzési készletben.

Egy másik, mobilalkalmazást használó megvalósítás monokuláris szimultán lokalizációs és leképezési (SLAM) rendszert használ a mennyiség becsléséhez [16]. Az adatokat iPhone 6 plus, valamint összehasonlításképpen egy 4k hordható akció kamera segítségével rögzítettük. A mennyiség becslését a laboratóriumi élelmiszerekre végezték, fekete háttérrel és Rubik-kockával referenciaként. Ezzel a beállítással a rendszer 83% -os százalékos pontosságot átlagolt.

Noha ezekről a módszerekről kiderült, hogy javítják a pontosságot, részben azért nem valósították meg azokat a kórházakban, ahol a legnagyobb szükség van rájuk, részben azért, mert a valós életben nem tesztelték őket. Mindkét esetben a rendszereket ellenőrzött körülmények között tesztelték, ahol rögzítették a megvilágítást, a hátteret és az egyéb kísérleti paramétereket. Ezeket a tudósok is működtették, akik kifejlesztették a rendszert, és nem tesztelték őket külső emberi alanyok. Ezenkívül a vizsgált élelmiszerek egyetlen alakúak voltak, egységes formájúak, és minden egyes beolvasást az egymástól elkülönítve tartott tárgyakkal végeztek, ami egyenes problémát jelent. A való életben általában szabálytalan és összetett alakzatok beolvasása szükséges több elem együttes használatával.

A lassú integráció másik oka az új megoldás összetettsége és tanulási görbéje. A rendszer komplexitásának növekedésével szélesebb körű felhasználói képzésre van szükség. A felhasználói képzés drága és erőforrás-igényes feladat, amelyet a lehető legkisebbre kell csökkenteni. Ennek a cikknek a célja a való életben történő tesztelés és a rendszer komplexitásának kérdéseinek kezelése a DietSensor rendszer segítségével. A DietSensor rendszer a korábbi megfigyelési megoldások fokozatos frissítése. Először azonban úgy alakítják át, hogy kielégítse a kórházi környezet igényeit, és kiterjesztve a gyakorlati, valós élet igényeinek. A rendszer középpontjában a felhasználói terhek csökkentése áll, miközben javul az étrendi bevitel becslésének pontossága, különös tekintettel az olyan élelmiszerek mérésére, amelyeket egy személy vizuálisan nehezebb számszerűsíteni.

Kórházi környezetben az étkezés táplálkozási adatait manuálisan kell megbecsülni, akár egy napló/felmérés elkészítésével, például a 24 órás étrendi visszahívással (24 HR), akár az étkezés és a maradék kézi mérlegelésével. Mindkét technika rendkívül időigényes [17]. A kézi mérést nehéz minden beteg számára elvégezni a szükséges pontossággal; ennélfogva a felírandó inzulin mennyisége inkább becsült, mint pontos.

A 24HR egy strukturált interjú, amelynek célja, hogy részletes információkat gyűjtsön a válaszadó által az elmúlt 24 órában elfogyasztott összes ételről és italról; leggyakrabban előző éjféltől éjfélig. A kérdéseket úgy alakítottuk ki, hogy nyílt végű válaszstruktúrával rendelkezzenek a válaszadók számára, hogy átfogó és részletes jelentést nyújtsanak be az összes elfogyasztott ételről és italról [18].

Az Egyesült Államok Mezőgazdasági Minisztériuma (USDA) automatizált többszörös átviteli módszere (AMPM) egy számítógépes módszer az interjúztatók által beadott 24HR információk gyűjtésére. Az AMPM kiterjesztése az Automated Self-Administrationed 24-h (ASA24) rendszer, amely a felhasználókat az AMPM online önigazgatására irányítja. Az ASA24 válaszadó webhelye dinamikus felhasználói felület használatával végigvezeti a résztvevőket a 24HR teljesítésén. Arra kéri a válaszadókat, hogy számoljanak be étkezési alkalmakról és fogyasztási időkről [19]. Míg a vizuális segédeszközöket jelekként használják az adagméretek megítélésére, ezek a felhasználó észlelésétől függenek, és túl/alábecsülést okozhatnak.

E konkrét kérdések alapján az orvosok recepteket adnak és személyre szabott tervet készítenek. Számos cukorbeteg páciens válasza azonban pontatlanul becsüli az elfogyasztott étel mennyiségét, és az étel adagjának becslésénél 20% feletti hiba van [20]. Ezenkívül a nemtől és a súlytól való elfogultság is hozzájárul az önjelentés hibáihoz [21]. Ennélfogva a 24HR étrendi becslésében rejlő esetleges pontatlanság kockáztatja a diabéteszes betegeket, és negatívan befolyásolja megfelelő kezelésüket. A 24HR módszert hátrányai ellenére továbbra is gyakran alkalmazzák alacsony költsége és kevés felszerelési igénye miatt.

Az olyan okostelefonos alkalmazások (alkalmazások), mint a MyFitnessPal, hozzáférhetőbb és praktikusabb megoldást kínálnak a táplálkozási adatok nyomon követésére. A MyFitnessPal egy célalapú ételkövető alkalmazás, ahol a felhasználó pontokat kap az élelmiszerek naplójába való naplózása miatt. Az alkalmazás fő célja, hogy segítse a felhasználókat a fogyás vagy a súlygyarapodás programjaiban. Az étel nyomon követéséhez a MyFitnessPal segítségével a felhasználó először kiválaszt egy étkezési időt: reggeli, ebéd, vacsora vagy snack. Ezután a felhasználót megkérjük, hogy keresse meg a nyomon követett ételt, és felajánlja neki a lehetőségeket egy setlistből. A felhasználó kereshet az adatbázisban, beolvashat egy vonalkódot, kiválaszthat egy korábban nyomon követett ételt, vagy hozzáadhat egy új ételt. Itt a felhasználónak széles választéka van élelmiszerek közül, amelyek közül választhat, felvetve ezzel a helytelen választás lehetőségét. Az utolsó lépés a felhasználó számára az elfogyasztott adagok becslése. A 24HR módszerhez hasonlóan a felhasználók vizuális segédeszközöket jeleznek az adagok méretének becsléséhez, és ezért a felhasználók észlelésének ugyanazon következetlenségei szenvednek.

Megtekintve az iOS és az Android áruházak többi népszerű alkalmazását az étrend-bevitel ellenőrzésére, kettő kiemelkedett azzal, hogy voltak eszközei információk bevitelére a kamera használatával. A Fatsecret Calorie Counter népszerű alkalmazás az Android App Store-ban. Lehetősége van a kamera használatára, de csak étel felismerésére használja, és nem a mennyiség becslésére. Hasonlóképpen, Kalóriaszámláló a Lose It! egy másik népszerű étrendi becslési alkalmazás. Van egy beépített eszköze, a „SnapIt!” Elnevezéssel, amely képes elemezni egy képet és felismerni a benne található ételeket. Mindkét esetben a felhasználónak legjobb tudása szerint meg kell adnia a kiszolgálás méretét, ugyanazokat a hibákat vezetve be újra, mint a MyFitnessPal programban.

Bár ezek az alkalmazások hozzáférhetőbbek, mint a jelenlegi alternatívák, nem úgy tervezték őket, hogy megfeleljenek az orvosi értékeléshez szükséges pontosságnak. Nem támaszkodhat rájuk kizárólag a betegek kritikus monitorozása során [22]. Ezeket azonban becslésként használják a könnyű használatuk és a felhasználóbarát interfészek miatt. Ennek megfelelően a következő szakaszokban a DietSensor rendszert összehasonlítottuk a jelenleg használt standarddal, a 24HR módszerrel, valamint a népszerűen használt MyFitnessPal.

Sajnos az étrendi szénhidrát anyagcseréjét befolyásoló tényezők miatt nehéz elfogadható százalékos hibát elérni a szénhidrátfogyasztás szempontjából. Az olyan tényezők, mint a bélbaktériumok, a hormonszint, a bevitt szénhidrát típusa és az, hogy a szénhidrátot más elemekkel, például fehérjével vagy zsírral fogyasztják-e, esetenként változnak. Egy ilyen hiba elérése további kutatásokat igényel, tudományosan elfogadható módszertanokkal. A bonyolultság, a felhasználói terhek és az aluljelentések miatt a jelenlegi digitális alapú táplálékbeviteli elemzések nem tudtak tudományosan kielégítő eredményeket produkálni, ha helyszíni vizsgálatokban tesztelték [23].

A DietSensor rendszer elsődleges célja egy módszertan kidolgozása a felhasználói terhek és a felhasználói képzés követelményeinek csökkentésére a 3D rekonstrukciót alkalmazó automatizálás bevezetésével. Amint egy ilyen rendszert főként használnak, az újabb érzékelőkkel és jobban hangolt algoritmusokkal történő továbbfejlesztés könnyen integrálható ugyanabba a keretbe a véletlenszerű és szisztémás hibák százalékos csökkentése érdekében.

3. Módszertan

A DietSensor rendszer az elfogyasztott táplálkozási adatok kiszámításával javítani kívánja a kórházak étrendjének mérését. A legtöbb amerikai kórház megméri az élelmiszer pontos mennyiségét, mielőtt a betegnek eljuttatná, és rögzíti a létesítmény táplálkozási adatbázisában. Az adatbázis hozzáférése lehetővé teszi a DietSensor rendszer számára az étkezés alaptáplálkozási adatainak megszerzését. Miután a beteg befejezte az étkezést, a nővér vagy a táplálkozási személyzet a DietSensor okostelefon alkalmazás segítségével átvizsgálja a maradékot. Az alkalmazás összegyűjti a mélység adatait egy Kereskedelem nélküli polcról (COTS) Structure Sensor nevű mélységérzékelőből (készítette: Occipital [24]). Ezt a folyamatot a 3.1 szakasz részletezi.

Míg az újabb mobiltelefonok kezdik megszerezni a 3D-s szkenneléshez szükséges hardveres képességeket, a natív 3D-érzékelők még mindig nem terjednek el széles körben, és a különböző gyártók ennek a technológiának a különböző variációit valósították meg egy még mindig kialakulóban lévő területen. Az Occipital Structure Sensor egy jól bejáratott egység, könnyen adaptálható megoldásokkal mind az iOS, mind az Android operációs rendszerekhez, következetesebb méréseket biztosítva az eszközök között. A DietSensor rendszert iPhone és iPad segítségével egyaránt megvalósították. Azonban a legtöbb esetben az iPad-et részesítették előnyben a nagyobb képernyőméret miatt, amely lehetővé teszi a kényelmesebb megtekintést és interakciót a létrehozott hálóval. Hardvertől függetlenül a térfogat-becslés 3D rekonstrukciójához térben zárt 3D-s hálóra volt szükség; a DietSensor rendszer ezt egy általánosítható lyukkitöltő algoritmus segítségével oldotta meg, amely az utófeldolgozás során érvényes.

A 3D modellek utófeldolgozása a VCA algoritmus segítségével történik, amely a hiányzó térbeli lyukak kitöltésével adja ki a háló egyes szegmenseinek térfogatát. A kapott mennyiségeket ezután a konyha levonja az eredetileg rögzített táplálkozási adatokból, hogy kiszámítsa a beteg által elfogyasztott tápanyagok pontos mennyiségét. Ezekkel az adatokkal az endokrinológusok megbízhatóan felírhatják és beadhatják a szükséges mennyiségű inzulint. A VCA algoritmust a 3.2 szakasz részletezi.

A táplálkozási adatok mért térfogatból történő kiszámítását a 3.3. Szakasz, a vizsgálati sémákat pedig a 3.4. Szakasz ismerteti.

3.1. Szerkezet érzékelő

A szkenner hardvere egy okostelefonból, egy infravörös (IR) projektorból és egy kameramodulból áll a mélységi információk rögzítésére, amint az a 2. ábrán látható. Az IR projektor modul ismert infravörös fényszóró mátrixot vetít egy tárgy felületére.