Fotografia počíta kalórie - Utehaeussler Ute Häußler
Fotografia počíta kalórie
S pokročilou technológiou AI, 3D a hyperspektrálnou transformáciou spracovania obrazu sa konvenčné smartphony premenia na zariadenia na presnú analýzu potravín.
Na boj proti cukrovke používajte svoj mobilný telefón, rovnako ako Instagram
Cez 200 miliónov ľudí na celom svete trpí cukrovkou 1. alebo 2. typu a obezitou. Moderná technológia videnia môže teraz pomôcť v boji proti týmto chorobám. Americký začínajúci podnik FoodPhone ™ vyvinul puzdro a aplikáciu na mobilný telefón, ktoré pomocou jednoduchej fotografie zo smartphonu okamžite a vedecky identifikujú výživový obsah jedla - rovnako ako jeho zdieľanie na sociálnych sieťach. Aplikácia FoodPhone ™ je založená na technológii Intel® RealSense ™ 3D a určuje objem, textúru a tvar všetkých druhov potravín iba pomocou jedného obrázka. Okrem počítania uhľohydrátov a kalórií inovatívny vstavaný kufrík vision rozpozná zložky potravín na základe ich chemického zloženia a okamžite ich ukáže používateľovi ako známu výživovú tabuľku. Kvalitu, čerstvosť a stupeň zrelosti potravín môžete skontrolovať „pod miskou“ ešte v obchode - funkcie NIR (Near Infrared) zisťujú viditeľné aj neviditeľné malé chyby alebo tlakové body. Výber ovocia alebo zeleniny bude hračka - s FoodPhone bude mobilný telefón ukazovať na to najlepšie a najzrelejšie avokádo v budúcnosti.
Miliardy ľudí na celom svete venujú pozornosť svojej strave
Diabetici, športovci, nadšenci fitnes a mnoho ďalších, ktorí sledujú svoju váhu, si musia strážiť, čo jedia. Len v USA používa viac ako 100 miliónov ľudí každý deň smartfóny na sledovanie svojej hmotnosti, kondície a stravy. Počet prípadov cukrovky sa rýchlo zvyšuje vo všetkých moderných spoločnostiach. Najmä pre diabetikov je počítanie sacharidov kľúčové pre zvládnutie ich choroby. V prípade núdze ide o život a smrť, pretože množstvo sacharidov ovplyvňuje regulačnú dávku inzulínu. Sacharidy v jedle sú preto najdôležitejšou informáciou, ktorú diabetik potrebuje na neustále sledovanie cukru v krvi a na správne nastavenie automatických inzulínových púmp. A práve v tom je problém: Tieto prístroje, ktoré sú pre pacienta veľmi jemné a pohodlné, sú užitočné iba pri správnom vstupe používateľa. Ručné zadanie množstva sa však často odhaduje veľmi nepresne. To vedie k nesprávnemu dávkovaniu inzulínu, ktoré je nielen veľmi nebezpečné, ale pre diabetika môže byť dokonca životu nebezpečné.
Jediný obrázok smartfónu vytvára nutričnú tabuľku
Dnešné smartphony majú dobrý fotoaparát, prístup na internet a výkonné procesory, ktoré dokážu spracovať algoritmy umelej inteligencie (AI). Vďaka Instagramu zachytávajú mobilné telefóny v každodennom živote každú minútu milióny potravinových obrázkov. Myšlienkou FoodPhone je transformácia týchto inteligentných telefónov na pomôcky na diétu, ktoré analyzujú jedlo priamo na tanieri. Aplikácia FoodPhone s patentovanou technológiou SpectraPixel ™ fotografuje, pripája sa k vlastnej cloudovej AI založenej na spoločnosti a rozpoznáva obsah jedla - najmä chemické zloženie, veľkosť porcie v gramoch, ako aj kvalitu a trvanlivosť. Aplikácia dokáže rozlíšiť niekoľko druhov jedál na tanieri a tiež rozpoznať pripravené jedlá, ako je zemiaková kaša. Toho sa dosahuje niekoľkými multispektrálnymi kamerami a snímačmi NIR, ktoré sú integrované do štandardného puzdra na mobilný telefón. Používateľ okamžite dostane vedecký rozbor svojich jedál.
Táto analýza poskytuje podrobnosti o sacharidoch, tukoch, bielkovinách a ďalších výživných látkach a presnú veľkosť porcie jedál. Kombináciou rôznych technológií spracovania obrazu a umelej inteligencie identifikuje FoodPhone presné množstvo a zloženie jedla. Používatelia nemusia zadávať údaje, dotýkať sa svojho jedla alebo odhadovať množstvo. Výsledok získate okamžite - obal na mobilný telefón poskytuje veľmi užívateľsky prívetivé a efektívne informácie o výživovej hodnote s presnosťou na viac ako 90%. Christopher M. Mutti, zakladateľ a generálny riaditeľ spoločnosti FoodPhone, tvrdí, že táto technológia bude mať kombináciu umelej inteligencie a rozšírenej reality pozitívny vplyv na šírenie cukrovky a môže pomôcť ľuďom, ktorí sledujú svoju stravu, dosiahnuť svoje ciele.
Obrázok 2 a 3: Získaním toho, čo sa javí ako obrázok, používateľ okamžite získa vedeckú analýzu svojho jedla.
Nápad, inovácia a implementácia
„Pôvodne som hľadal jednoduchý spôsob počítania kalórií,“ hovorí dnes Mutti. Vášnivý hokejista bol nútený dávať pozor na stravu, udržiavať svoju váhu a kalórie na uzde. Chcel byť v tom najlepšom. Ale v analógových dobách alebo neskôr s pomocou počítačov a internetu nebolo pre neho počítanie kalórií iba nepresné, ale aj nesmierne komplikované a trvalo dlho. Vyučený strojný inžinier chcel jednoduchým a rýchlym spôsobom zistiť, čo a koľko jedol. Myšlienka analyzovať jedlo pomocou obrázka z fotoaparátu alebo mobilného telefónu bola na prelome tisícročí, technológia však ešte nebola pripravená. Začal na tom pracovať v roku 2013.
Výpočtový výkon inteligentných telefónov sa už vyvinul tak ďaleko, že dokázali spracovávať zložité algoritmy; a priekopnícke projekty, ako je ImageNet zo Stanfordskej univerzity, sprístupnili technológiu AI založenú na videní. Spoločne s tímom skúsených vedcov z oblastí neurónových sietí a AI, 3D a hyperspektrálneho spracovania obrazu, ako aj so skúsenými inžiniermi v oblasti dizajnu fotoaparátov a objektívov sa Mutti rozhodol vyvinúť patenty s cieľom uplatniť svoju myšlienku v praxi.
Obrázok 5 a 6: Dizajnová štúdia a prototyp puzdra na mobilný telefón FoodPhone
Kombinácia rôznych údajov o zraku pomocou umelej inteligencie
Aplikácia FoodPhone využíva multispektrálne a 3D spracovanie obrazu na presnú identifikáciu výživných látok, ako aj objemu a porcie. Tím Mutti vyvinul potrebný softvér bez označenia ako referencie v zornom poli systému na spracovanie obrazu. Inžinieri si vybrali hĺbkovú kameru Intel® D435 RealSense, pretože ide o kameru USB, ktorá sa skladá zo stereofónneho páru, kamery RGB a infračerveného projektora. Mutti je držiteľom niekoľkých patentov na generovanie hyperspektrálnych obrazov zlúčením výstupu niekoľkých kamier a rôznych typov obrazových údajov.
Systém spracovania obrazu funguje rovnako, ako sa človek pozerá na svoje jedlo: farba je prvý prvok, ktorý ho napadne. FoodPhone najskôr pomocou RGB kamery identifikuje farby na štítku. Stereo kamera potom generuje 3D dáta, aby identifikovala tvar, obrys a textúru každej potraviny - rovnako ako by to urobilo ľudské oko. 3D nespracované údaje poskytujú rozmery a celkový objem alebo veľkosť dávky. Vďaka údajom NIR zaznamenaným niekoľkými kamerami a senzormi sú vlastné algoritmy FoodPhone schopné vyhodnotiť chemické zloženie potraviny rovnako, ako by to bolo v prípade ľudského vkusu a vône.
Z tohto dôvodu sa prekrytie viac ako desiatich obrázkov a ich prvotných údajov rozdelí na viditeľné svetlo, farbu, spektrálne údaje a 3D informácie. Špecifické a individuálne vlastnosti každej potraviny sa potom identifikujú z optických, spektrálnych a fyzikálnych informácií. Pomocou týchto spektrálnych profilov je možné každú potravinu jasne identifikovať, pretože má jedinečný spektrálny odtlačok prsta.
Obrázok 7 a 8: Rôzne spektrálne profily ako jedinečný odtlačok prsta pre zeleninu a mäso.
„Na výcvik našich algoritmov AI sme použili niekoľko miliónov obrázkov,“ hovorí Christopher Mutti. „Bolo to veľa práce, keď sme robili desaťtisíce klasifikácií potravín, tabuľky zmätkov a ďalšie kroky procesu. Teraz však dosahujeme presnosť viac ako 90%. “Aby sme mohli správne vypočítať nutričné tabuľky a hmotnosť, musí sa farba, textúra, spektrálny podpis a objem potraviny zhodovať. Nespracované obrazové údaje najskôr spracuje Intel® Edison, veľmi malý SoC (systém na čipu), s cieľom identifikovať sacharidy, bielkoviny, tuky a obsah vody. Odtiaľ sa všetky zhromaždené informácie prenesú do cloudu a prechádzajú cez databázu FoodPhone založenú na AI. Smartfón prijíma výsledky a zobrazuje ich ako výživovú tabuľku na displeji mobilného telefónu.
Táto technológia dokáže oveľa viac
Technológia FoodPhone pomáha ľuďom analyzovať jedlo v každodennom živote - nielen pri diéte. Pri nákupe v supermarkete vám aplikácia zobrazí najčerstvejšie a najzdravšie výrobky na poličke. To vedie k menšiemu počtu zlých nákupov a menšiemu množstvu pokazených výrobkov a zároveň k úspore peňazí. Spotrebitelia môžu vidieť všetky informácie o zložkách, kvalite a čerstvosti na svojom smartfóne v reálnom čase. Ľudia s potravinovými alergiami si môžu skontrolovať určené zložky svojich potravín a nemusia dešifrovať žiadne „tajuplné“ zoznamy zložiek. Jednoduchý záber potraviny na mobilný telefón poskytuje podrobný zoznam prísad a presnú trvanlivosť. Údaje NIR pomáhajú identifikovať zrelosť produktu, malé chyby a možné baktérie bez ohľadu na dátum minimálnej trvanlivosti produktu. Najčerstvejšie a zrelé avokádo je vzdialené len jedno kliknutie.
V scenároch inteligentnej domácnosti zameraných na budúcnosť môže byť technológia FoodPhone zabudovaná do každej kuchyne v domácnosti. Malý fotoaparát namontovaný nad doskou dokáže snímať všetky potraviny alebo jednotlivé prísady v jedle. Používateľ dostane vedeckú analýzu svojich zložiek a súhrnnej tabuľky výživových hodnôt priamo počas prípravy. Softvér FoodPhone navyše dokáže automaticky aktualizovať týždenný nákupný zoznam používateľa alebo objednávku doručovacej služby.
Prepojená chladnička IoT (Internet vecí) môže pomocou technológie FoodPhone sledovať spotrebované potraviny a ich trvanlivosť a tiež ich priamo porovnávať s nákupnými a dodacími listami. Už žiadne „Klobása je všetko“ - rodina by bola okamžite informovaná, keď dôjde obľúbené jedlo, a mohla si kúpiť viac - alebo by to nechala urobiť chladnička.
Okrem toho spracovanie obrazu a potravinová inšpekcia založená na umelej inteligencii môžu bojovať proti potravinovým podvodom a odhaliť skutočné ingrediencie. Ľudia môžu robiť lepšie a zdravšie rozhodnutia vediac o pridaných chemikáliách alebo tajných prísadách, ktoré niektorí výrobcovia používajú na predĺženie trvanlivosti, zlepšenie vzhľadu potravín alebo „návykové“ výrobky.
Prvotriedny príklad budúceho použitia spracovania obrazu
Inovatívna technológia FoodPhone je dokonalým príkladom toho, ako môžu byť aplikácie založené na vízii v každodenných zariadeniach, ako sú mobilné telefóny a inteligentné domáce spotrebiče, použité na skutočne inovatívne aplikácie a zaberajú veľmi málo miesta. Kombinácia rôznych typov spracovania obrazu na báze AI - v tomto prípade 3D, RGB a NIR - na získanie ďalších informácií ukazuje, aké silné sú moderné systémy videnia. Štandardné kamery s integrovanou detekciou hĺbky a infračervenými projektormi sú k dispozícii za nízke ceny, pripravené na okamžité použitie a vo veľmi malých veľkostiach. Ľahko použiteľná a cenovo dostupná technológia strojového videnia môže posunúť aplikácie na priemyselných a spotrebiteľských trhoch na ďalšiu úroveň. Stroje sa nielen učia vidieť, ale aj pozerať sa „pod škrupinu“.