Фотографијата брои калории - Утехауслер Уте Хауглер
Фотографијата брои калории
Со напредна технологија за ВИ, 3Д и хиперспектралност, обработката на сликата ги трансформира конвенционалните паметни телефони во уреди со прецизна анализа за храна.
Користете го вашиот мобилен телефон за борба против дијабетесот, исто како и Инстаграм
Над 200 милиони луѓе ширум светот страдаат од дијабетес тип 1 или тип 2 и дебелина. Современата технологија за визија сега може да помогне во борбата против овие болести. Американскиот почетен FoodPhone developed разви куќиште и апликација за мобилен телефон што користи едноставна фотографија од паметен телефон за веднаш и научно да ја идентификува нутритивната содржина на оброкот - исто како и споделувањето на тоа на социјалните мрежи. Апликацијата FoodPhone is се базира на Intel® RealSense ™ 3D технологијата и ги одредува волуменот, текстурата и обликот на сите видови храна со само една слика. Покрај броењето јаглени хидрати и калории, иновативниот случај со вграден вид ги препознава состојките на храната врз основа на нивниот хемиски состав и ги покажува на корисникот веднаш како позната табела за исхрана. Квалитетот, свежината и степенот на зрелост на храната може да се проверат „под садот“ додека сте во продавница - NIR функциите (близу инфрацрвена) откриваат и видливи и невидливи мали дефекти или точки на притисок. Изборот на овошје или зеленчук ќе биде детска игра - со ФудФеон мобилниот телефон ќе укаже на најдоброто и најзрелото авокадо во иднина.
Милјарди луѓе ширум светот обрнуваат внимание на нивната исхрана
Дијабетичари, спортисти, fitnessубители на фитнес и многу други кои ја следат својата тежина, треба да бидат внимателни што јадат. Само во САД, над 100 милиони луѓе користат паметни телефони секој ден за да ја следат нивната тежина, кондиција и диета. Бројот на случаи на дијабетес рапидно се зголемува во сите современи општества. Особено за дијабетичарите, броењето јаглехидрати е клучно за управување со нивната болест. Во итен случај, станува збор за живот и смрт, бидејќи количината на јаглехидрати влијае на регулирачката доза на инсулин. Јаглехидратите во оброк се најважните информации што им се потребни на дијабетичарот за континуирано следење на шеќерот во крвта и за правилно поставување на автоматските инсулински пумпи. И токму тука лежи проблемот: Овие уреди, кои се многу нежни и пријатни за пациентот, се корисни само со правилен влез на корисникот. Сепак, записите за рачни количини често се проценуваат многу неточно. Ова доведува до неточни дози на инсулин, кои не само што се многу опасни, туку дури можат да бидат опасни по живот за дијабетичар.
Една единствена слика за паметен телефон создава хранлива маса
Денешните паметни телефони имаат добра камера, пристап до Интернет и имаат моќни процесори кои можат да процесираат алгоритми за вештачка интелигенција (AI). Благодарение на Инстаграм, мобилните телефони прават милиони слики со храна секоја минута во секојдневниот живот. Идејата на FoodPhone е да ги трансформира овие паметни телефони во помагачи на диети кои ја анализираат храната директно на чинијата. Апликацијата FoodPhone со својата патентирана технологија SpectraPixel takes прави слика, се поврзува со сопствената интелигенција на компанијата во облак и ја препознава содржината на оброкот - особено хемискиот состав, големината на порцијата во грамови, како и квалитетот и рокот на траење. Апликацијата може да прави разлика помеѓу неколку видови храна на чинијата и исто така да препознае подготвени јадења како што се пире од компири. Ова го постигнуваат неколку мултиспектрални камери и NIR сензори, кои се интегрирани во стандардна кутија за мобилен телефон. Корисникот веднаш добива научна анализа на неговите оброци.
Оваа анализа дава детали за јаглехидратите, мастите, протеините и другите хранливи материи, како и точната големина на порција на оброците. Со комбинирање на различни технологии за обработка на слики и вештачка интелигенција, ФудПефон ја идентификува прецизната количина и состав на храната. Корисниците не мора да внесуваат податоци, да ја допираат нивната храна или да ја проценуваат количината. И резултатот го добивате веднаш - куќиштето за мобилен телефон обезбедува многу лесни за корисникот и ефикасни информации за исхраната со точност од над 90%. Кристофер М. Мути, основач и извршен директор на „Фудфон“, вели дека оваа технологија, со својата мешавина на вештачка интелигенција и зголемена реалност, ќе има позитивно влијание врз ширењето на дијабетисот и може да им помогне на луѓето кои ги следат своите диети да ги постигнат своите цели.
Слика 2 и 3: Со преземање на нешто што изгледа дека е слика, корисникот веднаш добива научна анализа за неговиот оброк.
Идеја, иновација и имплементација
„Првично, само барав едноставен начин да избројам калории“, вели денес Мути. Страстен хокеј играч, тој беше принуден да ја следи својата диета, да ги држи тежината и калориите под контрола. Тој сакаше да биде во своите најдобри. Но, во аналогно време или подоцна со помош на компјутери и Интернет, броењето калории не само што беше непрецизно за него, туку беше и исклучително комплицирано и траеше долго. Обучениот машински инженер сакаше да види што и колку јаде на едноставен и брз начин. Имал идеја да анализира оброк со слика од камера или мобилен телефон на крајот на милениумот, но технологијата сè уште не била подготвена. Тој започна да работи на тоа во 2013 година.
Компјутерската моќ на паметните телефони веќе беше развиена досега што тие можеа да обработуваат сложени алгоритми; и неверојатни проекти како ImageNet на Универзитетот Стенфорд ја направија достапна AI-технологијата заснована на визија. Заедно со тим искусни научници од областа на нервните мрежи и АИ, 3Д и хиперспектралната обработка на слики, како и искусни инженери од областа на дизајнот на камери и леќи, Мути реши да развие патенти со цел да ја спроведе својата идеја во пракса.
Слика 5 и 6: Студија за дизајн и прототип на футрола за мобилен телефон FoodPhone
Комбинација на различни податоци за видот преку вештачка интелигенција
Апликацијата FoodPhone користи мултиспектрална и 3Д обработка на слика за прецизно да ги идентификува хранливите материи, како и јачината на звукот и порциите. Тимот на Мути го разви потребниот софтвер без маркер како референца во видното поле на системот за обработка на слики. Инженерите ја избраа камерата за длабочина Intel® D435 RealSense затоа што станува збор за USB камера која се состои од стерео пар, RGB камера и инфрацрвен проектор. Мути има неколку патенти за генерирање хиперспектрални слики со спојување на излезот на неколку камери и разни видови на податоци за видот.
Системот за обработка на слики работи на ист начин како што човекот ја гледа својата храна: бојата е првиот елемент што го погодува. FoodPhone прво ја користи RGB камерата за да ги идентификува боите на чинијата. Стерео камерата потоа генерира 3Д-податоци за да ги идентификува формата, прегледот и текстурата на секоја храна - исто како што би направило човечкото око. 3Д-суровите податоци ги даваат димензиите и вкупниот волумен или големината на порцијата на храната. Со податоците на НИР снимени од неколку камери и сензори, сопствените алгоритми на ФудФеон се во можност да го проценат хемискиот состав на храната, исто како што би го оцениле човечкото чувство за вкус и мирис.
За таа цел, преклопот од повеќе од десет слики и нивните необработени податоци е поделен на видлива светлина, боја, спектрални податоци и 3Д информации. Специфичните и индивидуалните својства на секој прехранбен производ потоа се идентификуваат од оптичките, спектралните и физичките информации. Со помош на овие спектрални профили, секоја храна може јасно да се идентификува бидејќи има уникатен спектрален отпечаток од прст.
Слика 7 и 8: Различни спектрални профили како уникатен отпечаток од прст за зеленчук и месо.
„Користевме неколку милиони слики за да ги обучиме нашите алгоритми за АИ“, вели Кристофер Мути. „Беше многу работа, правејќи десетици илјади класификации на храна, маси за конфузија и други чекори на процесот. Но, сега постигнуваме точност од над 90%. ”Со цел правилно да се пресметаат масите и тежината на исхраната, бојата, текстурата, спектралниот потпис и обемот на храната мора да се совпаѓаат. Податоците за необработена слика најпрво се обработуваат од Intel® Edison, многу мал SoC (систем на чип), со цел да се идентификуваат јаглехидратите, протеините, мастите и содржината на вода. Оттаму, сите собрани информации се пренесуваат во облакот и минуваат низ базата на податоци FoodPhone заснована на АИ. Паметниот телефон ги добива резултатите и ги прикажува како нутриционистичка табела на екранот на мобилниот телефон.
Технологијата може да направи многу повеќе
Технологијата FoodPhone им помага на луѓето да ја анализираат храната во секојдневниот живот - не само при диета. Кога купувате во супермаркет, апликацијата ви ги покажува најсвежите и најздравите производи на полицата. Ова води до помалку лоши набавки и помалку расипани производи и истовремено заштедува пари. Потрошувачите можат да ги видат сите информации за состојките, квалитетот и свежината на нивниот паметен телефон во реално време. Луѓето со алергии на храна можат да ги проверат наведените состојки на нивната храна и не мора да дешифрираат какви било „криптични“ списоци на состојки. Едноставна снимка од храна од мобилен телефон дава детален список на состојки и точен рок на траење. Податоците за НИР помагаат да се идентификува зрелоста на производот, малите дефекти и можните бактерии, без оглед на најдоброто пред датумот на производот. Најсвежото, најзрело авокадо е на само еден клик од вас.
Во сценарија за паметни домови ориентирани кон иднината, технологијата FoodPhone може да се вгради во секоја кујна за домаќинства. Монтирана над countertop, мала камера може да ја скенира секоја храна или индивидуална состојка во оброкот. Корисникот добива научна анализа на неговите состојки и сумираната хранлива табела директно за време на подготовката. Покрај тоа, софтверот на ФудФеон може автоматски да ја ажурира листата на купувачи или нарачката на услугата за испорака на неделникот.
Мрежниот IoT фрижидер (Интернет на нештата) може да ја користи технологијата на FoodPhone за да ја следи потрошената храна и нивниот рок на траење, како и да ги спореди директно со списоците за купување и испорака. Нема повеќе „Колбас е сè“ - семејство ќе биде известено веднаш кога популарниот оброк ќе заврши и може повторно да го купи - или нека го направи фрижидерот.
Покрај тоа, обработката на слики и инспекцијата на храна базирана на АИ може да се борат против измамата со храна и да ги откријат вистинските состојки. Луѓето можат да донесат подобри, поздрави одлуки знаејќи додадени хемикалии или тајни состојки што некои производители ги користат за да го продолжат рокот на траење, да ја направат храната да изгледа подобро или да создаваат „зависност“.
Првокласен пример за иднината ориентирана употреба на обработка на слики
Иновативната технологија FoodPhone е совршен пример за тоа како апликациите базирани на визија во секојдневните уреди како што се мобилните телефони и интелигентните апарати за домаќинство можат да се користат за вистински иновативни апликации и да заземаат многу малку простор. Комбинацијата на различни типови на обработка на слика базирана на АИ - во овој случај 3D, RGB и NIR - за извлекување дополнителни информации покажува колку се моќни современите системи за визија. Стандардни фотоапарати со интегрирано откривање на длабочина и инфрацрвени проектори се достапни по ниски цени, подготвени за непосредна употреба и во многу мали димензии. Лесната за употреба и прифатлива технологија за машинско гледање може да ги однесе апликациите на индустриските и потрошувачките пазари на следно ниво. Машините не само што учат да гледаат, туку и да гледаат „под лушпа“.