Sledovanie tvárových funkcií pomocou kombinácie modelov rozdelenia bodov; EWSTranslate

Súčasná technológia je chránená patentovaním a marketingom označenia „Systém a metóda sledovania tvárových prvkov“, Atul Kanaujia a Dimitris Metaxas, Rutgers Docket 07-015, dočasný patent č. 60/874,451 podanej 12. decembra 2006. Žiadna časť tejto technológie sa nesmie reprodukovať alebo zobrazovať v akejkoľvek podobe bez predchádzajúceho písomného súhlasu autorov.

Detekcia tvárových funkcií

Náš všeobecný rámec umožňuje rozsiahle automatické formovanie rôznych tvarov z niekoľkých uhlov pohľadu. Tento model zvláda väčšiu mieru variability a je možné ho použiť na učenie sa kontinuálnych nelineárnych kiahní.

V minulosti bolo vyvinutých niekoľko snáh o reprezentáciu nelineárnych variácií tvaru pomocou jadra PCA a viacvrstvového perceptronu. Výsledky nelineárnych prístupov závisia vo veľkej miere od toho, či boli všetky variácie tvaru adekvátne zastúpené v tréningových dátach. Nespojitosti v priestore tvarov môžu spôsobiť, že tieto vzory budú vytvárať nepravdepodobné tvary. Metódy jadra trpia hlavnou nevýhodou naučiť sa funkciu predobrazu na mapovanie tvaru v charakteristickom priestore s pôvodným priestorom. Navrhujeme použitie viacerých prekrývajúcich sa medzipriestorov na zachytenie väčších variácií tvaru, ktoré sa objavia v množine údajov v dôsledku úplného pohybu hlavy. Naším cieľom je presne sledovať črty tváre pri veľkých rotáciách hlavy. Príspevkom nášho príspevku je: (1) Zlepšenie špecifickosti ASM pri zvládaní veľkých variácií tvarov učením sa nelineárnych tvarových variet. (2) Rámec v reálnom čase na sledovanie tvarov a (3) Učenie nelinearít na presnú predpoveď možných 3D uhlov v 2D tvaroch.

Výsledky zafixovania tvaru na úplnom profile sa zobrazujú inicializované priemerným čelným tvarom. Klastrový prístup umožňuje identifikáciu uzavretých referenčných bodov počas vyhľadávania a je ignorovaný pri optimalizácii pravdepodobnosti jednotlivých orientačných bodov. Toto heuristické vyhľadávanie poskytuje veľmi presné vyrovnanie tváre pre úplne profilovanú tvár.

Deskriptor SIFT na modelovanie vzhľadu

Použili sme vylepšené modelovanie rozloženia pomocou deskriptoru SIFT (vľavo), ktorý zodpovedá cene orientačného bodu v okne s veľkosťou 19 × 19. Dodržujte viacnásobné minimá
čo spôsobuje zlé zarovnanie tvarov. (Vpravo) Deskriptor párovania nákladov SIFT pre rovnakú referenčnú hodnotu

(Horná časť) Umiestnenie tvárových prvkov pomocou ASM s gradientovými profilmi. (Spodná časť) Lokalizácia pomocou miestnych deskriptorov ako funkcií SIFT. Sledujte presné umiestnenie očných funkcií vďaka deskriptorom SIFT

Sledovanie tvarov

Spustenie ASM v každom rámci je výpočtovo nákladné a spôsobuje silné rušiace body funkcií. Sledujeme charakteristiky pomocou sledovača Ditch Intensity Difference (SSID) v po sebe nasledujúcich snímkach. Sledovanie SSID je metóda zaznamenávania dvoch obrázkov a počíta sa s posunom objektu tak, že sa minimalizujú náklady na zosúladenie intenzity, ktorá sa počíta z okna pevnej veľkosti okolo objektu. Pri malom medzirámcovom pohybe je možné presne predpokladať lineárny prekladový model. Pre povrch s intenzitou v mieste obrázka a ( x i, a i, t k ), sledovač odhadne vektor posunutia d = (ô x i, Δ a i ) z nového obrázka a ( x i + 5 X, a i+ 5 r, t k + 1 ) minimalizáciou zvyškovej chyby v okne W okolo ( x i, a i )

Výsledky sledovania - kliknutím na obrázky zobrazíte filmy

Detekcia znaku - žmurkanie očí, detekcia hlavy a detekcia vibrácií - kliknite na obrázky vo videách, ktoré si prezeráte

Bolesť hlavy a tremor sa detegujú rozpoznaním vzoru pohybu nosa vo videách

3D hlava Nedá sa odhadnúť pomocou funkcií tváre Sledovanie - v reálnom čase Kliknutím na obrázky zobrazíte filmy

Sledovanie tvárových vlastností pomocou kombinácie vzorov rozloženia bodov, Atul Kanaujia, Yuchi Huang, Dimitris Metaxas, CVGIP 2006, ( PDF )
detekciasymbolysledovaním funkcií tváre, Atul Kanaujia, Y. Huang, Dimitris Metaxas,Workshop CVPR o sémantickom učení, 2006, ( PDF )
Rozsiahle učenie sa modelov s tvoril aktíva, Kanaujia a Dimitris Metaxas, ICIP 2007 ( PDF )
Dynamické sledovanie výrazov tváre pomocou prispôsobivých prekrývajúcich sa medzipriestorov, Dimitris Metaxas, Atul Kanaujia, Zhiguo Li. ICCS 2007 (PDF)

„Systém a metóda sledovania tvárových prvkov“, Atul Kanaujia a Dimitris Metaxas, Rutgers Docket 07-015, dočasný patent č. 60/874,451 podanej 12. decembra 2006.