Beruflich Dokumente
Kultur Dokumente
1 VOD .................................................................................................................... 7
2 ZRAK .................................................................................................................... 8
2.1 LIDSK OKO ....................................................................................................... 8
2.2 POHYB O ........................................................................................................ 8
2.2.1 Motorika o ............................................................................................... 8
2.2.2 Okohybn svaly ......................................................................................... 8
2.2.3 Fyziologie pohybu o ................................................................................ 9
2.2.4 Biologick signly pohybu o ................................................................. 10
3 SLEDOVN POHYBU O ................................................................................ 11
3.1 HISTORIE ........................................................................................................ 11
3.1.1 Prvn sledovn pohybu o ..................................................................... 11
3.1.2 Alfred L. Yarbus ....................................................................................... 11
3.1.3 Modern hypotzy .................................................................................... 13
3.2 TECHNOLOGIE A TECHNIKY ............................................................................... 13
3.3 SLEDOVN POLOHY OKA A POHLEDU ................................................................. 15
4 TYPY SYSTM PRO SLEDOVN POHYBU O .......................................... 16
4.1 KONTAKTN SNMN ......................................................................................... 16
4.1.1 Elektrookulografie .................................................................................... 16
4.1.2 Snmn ze specilnch kontaktnch oek .............................................. 17
4.2 BEZKONTAKTN SNMN.................................................................................... 17
5 MONOSTI VYUIT SLEDOVN POHYBU O ............................................. 19
5.1 SLEDOVN POHYBU O V PRAXI ....................................................................... 19
5.2 APLIKACE ........................................................................................................ 19
5.2.1 Disciplny vyuvajc sledovn o ......................................................... 19
5.2.2 Komern aplikace ................................................................................... 20
5.2.3 Aplikace pro postien osoby .................................................................. 21
5.3 SYSTM I4CONTROL ..................................................................................... 21
5.3.1 Konstrukce systmu I4Control .............................................................. 21
5.3.2 Plynul zen potaovho kurzoru ........................................................ 22
5.3.3 Skokovit zen potaovho kurzoru .................................................... 23
5.3.4 Monosti vyuit systmu IP4Control .................................................... 23
6 SYSTM LABVIEW ............................................................................................ 24
6.1 LABVIEW NSTROJ VIRTULN INSTRUMENTACE .............................................. 24
6.2 IMAQ VISION .................................................................................................. 25
6.2.1 Obecn ovldn (Vision Utilities) ............................................................ 25
6.2.2 Zpracovn obrazu (Image Processing) ................................................... 26
6.2.3 Strojov vidn (Machine Vision) ............................................................. 27
7 NVRH SYSTMU PRO SLEDOVN O ....................................................... 28
7.1 CELKOV SYSTM ............................................................................................ 28
7.1.1 Blokov schma ...................................................................................... 28
5
7.1.2 Popis st blokovho schmatu ............................................................. 29
7.2 ZPRACOVN VIDEA V LABVIEW ........................................................................ 29
7.2.1 Blokov schma ...................................................................................... 30
7.2.2 Popis jednotlivch st snmacho systmu ........................................... 31
7.2.3 Bli popis vznamnch funkc ............................................................... 33
8 REALIZACE SYSTMU...................................................................................... 35
8.1 NASTAVEN SYSTMU ....................................................................................... 35
8.1.1 Zapnut a pipojen kamery ...................................................................... 35
8.1.2 Nastaven komunikace s LabView ........................................................... 36
8.1.3 Peten signlu z kamery ....................................................................... 37
8.1.4 Upraven snmac soustavy kamery......................................................... 37
8.1.5 Pedn signlu ke zpracovn ................................................................ 38
8.2 ZPRACOVN OBRAZU ....................................................................................... 38
8.2.1 Peten 1 snmku.................................................................................... 39
8.2.2 Vybrn oblasti zjmu .............................................................................. 39
8.2.3 Vytvoen ablony pro detekci polohy oka ............................................... 40
8.2.4 Kontinuln natn snmk .................................................................... 40
8.2.5 Aplikovn ablony pro detekci polohy oka .............................................. 40
8.2.6 Morfologick operace .............................................................................. 41
8.3 ANALZA ......................................................................................................... 46
8.3.1 Ledky ....................................................................................................... 46
8.3.2 Trajektorie ............................................................................................... 49
9 PREZENTACE VSLEDK................................................................................ 52
9.1 POZICE POHLEDU ............................................................................................. 52
9.2 TRAJEKTORIE POHLEDU .................................................................................... 55
9.2.1 Metoda men trajektorie ........................................................................ 55
9.2.2 Zhodnocen vsledk............................................................................... 59
9.3 DAL MONOSTI VYUIT .................................................................................. 59
10 ZVR ................................................................................................................ 60
11 SEZNAM POUITCH ZDROJ ........................................................................ 61
6
1 vod
Sledovn pohybu o m v dnen dob vznam ve velkm mnostv odvtv.
Nejrozenj jsou aplikace pro sledovn msta pohledu, kter maj nejvt zastoupen
v marketingu, webdesignu a psychologii. Stle astji se vak objevuj aplikace a pstroje,
vyuvajc pohybu o k ovldn rznch periferi. Periferie to mohou bt virtuln (nap.
kurzor myi) nebo reln (nap. invalidn vozk). Vyuit sledovn pohybu o k ovldn
me usnadnit prci vude tam, kde se pro ovldn pouvaj ruce. Jeho zastoupen
v modernch pstrojch stle poroste a zanedlouho se stane jejich samozejmou soust.
Stejnm kolem a hlavnm clem je nvrh a realizace systmu pro sledovn pohybu o
v prosted LabVIEW, za pomoc modulu IMAQ Vision. Podle nvrhu systmu z kapitoly 7 je
realizovn program, kter vyhodnocuje aktuln pozici pohledu nebo zaznamenv trajektorii
pohledu a to jak v offline tak i v online zznamu. Jednotliv kroky zpracovn obrazu jsou
znzornny v blokovch schmatech. Je zde tak uveden podrobn popis jednotlivch blok,
jejich vlastnosti, funkce a vznam z hlediska problematiky sledovn o.
7
2 Zrak
Zrak je jeden ze smysl ivoich, umouje vnmat svtlo a jeho sloky jako barvy.
Tvary a vzdlenosti zrak rozliuje pedevm vnmnm kontrastu. Pro lovka je to smysl
nejdleitj, asi 80% vech informac zskvme pomoc zraku. Smyslovm orgnem zraku
je oko. Lidsk oko je prov orgn, kter je sloeno z on koule a pdatnch orgn.
On koule neboli tzv. bulbus je uloena v obliejov sti lebky v onici. V hrotu onice
vystupuje z oka zrakov nerv a vstupuje tepna pivdjc krev pro cel oko, vstupuj tak
nervy pro svaly v oku. On koule m piblin kulovit tvar a jej stna je rozdlena do t
vrstev: povrchov (blima, rohovka), stedn cvnat (cvnatka, asnat tlsko, duhovka) a
vnitn (svtloivn stnice).
Mezi pdatn orgny pat spojivka, slzn lzy, horn a doln vko a pro tuto prci
nejvce dleit okohybn svaly. Okohybnch sval je est, jsou tvoen pn pruhovanou
svalovinou a pohybuj on koul tak, aby obraz dopadal na stnici ve lut skvrn. [3,4]
2.2 Pohyb o
2.2.1 Motorika o
Motorick apart oka pedstavuje hybnou sloku provho smyslovho stroj, kter vak
pracuje jako funkn celek. Svou innost se proto motorika do znan mry podizuje
zkladn nutnosti dokonal pohybov a smyslov souhry obou o, kter je nutn pro vznik a
zachovn jednoduchho binokulrnho vidn. [5,6]
Pohyblivost oka umouj okohybn svaly neboli tzv. zevn on svaly. Na kadm oku
je celkem est okohybnch sval: tyi pm a dva ikm. Pm svaly jsou horn pm sval,
doln pm sval, zevn pm sval a vnitn pm sval. Vechny tyi pm svaly zanaj ve
laitm prstenci Zinnii u vrcholu onice. V tomto prstenci probh on nerv a on tepna.
Dle pokrauj kolem bulbu, kde se kad v rzn vzdlenosti od limbu upn na sklru.
ikm svaly jsou horn ikm sval a doln ikm sval. Horn ikm sval je nejdel okohybn
8
sval a na rozdl od dolnho ikmho svalu vychz ze stejnho msta jako pm svaly a upn
se za ponem hornho pmho svalu a nad ponem dolnho ikmho svalu. Pesn rozloen
okohybnch sval je znzornno na Obr. 2.1.[5, 6]
Obr. 2.1: Okohybn svaly. 1. on koule, 2. horn pm sval, 3. horn ikm sval, 4.
vnitn pm sval, 5. optick nerv, 6. doln pm sval, 7. doln ikm sval, 8. rohovka.
Primrn funkce je pohyb oka pouze jednm smrem. Tento pohyb vykonvaj
horizontln svaly. Ostatn okohybn svaly maj jak primrn tak i sekundrn funkci, tzn. maj
monost pohybu rznmi smry. Pohyby o se dj kolem t hlavnch os rotace zvanch t
Fickovy osy: osa horizontln (pohyb nahoru elevace, dolu deprese) osa vertikln (pohyb
dovnit addukce, zevn abdukce), osa pedozadn neboli sagitln (stoen oka dovnit
intorze, stoen oka ven extorze). Horizontln svaly pohybuj okem kolem vertikln osy
(pouze v jednom smru). Vertikln svaly pohybuj okem kolem vech t os.
9
Motilitu (hybnost) o lze rozdlit na monokulrn a binokulrn. Monokulrn motilitu
tvo pohyby jen jednoho oka (dukce addukce a abdukce, elevace a deprese, torze intorze
a extorze). K binokulrn motolit dochz koordinovanmi pohyby obou o. Pohyby mohou
bt stejnosmrn, u kterch osy zstvaj paraleln a protismrn, u kterch se osy sbhaj.
Aby stejnosmrn pohyb o mohl probhat, mus dn plnit svoji funkci dvojice sval
zvanch agonista a antagonista. Kad agonista m stejnosmrnho i druhostrannho
antagonistu. Antagonist psob v opanm smru pohybu. [5,6]
Obr. 2.2: Zmna polohy vektoru elektrickho pole pi zmnn polohy oka.
Lze tedy shrnout, e vchylky v EOG zvis na hlu, ve kterm se mn postaven onho
bulbu a na intenzit okolnho osvtlen a adaptaci na svtlo. [10]
10
3 Sledovn pohybu o
3.1 Historie
Studie onch pohyb zaaly v devatenctm stolet pmm pozorovnm. V roce 1879
v Pai Louis mile Javal pozoroval, e ten nezahrnuje hladk pejdn textu, jak se dve
domnval, ale e ten zahrnuje srii krtkch zastvek (nazvanch fixace) a mezi nimi
rychl pohyby (sakdy). Tato pozorovn vznesla dleit otzky o ten, kter byly
probdny bhem dvactho stolet: Na kterch slovech se oko zastavuje? Na jak dlouho?
Kdy se vrac zpt na u jednou vidn slova?
Prvn systm pro sledovn pohybu o sestavil Edmund Huey za pouit kontaktnch
oek s drou pro zornici. K oce byl pipevnn hlinkov ukazatel, kter se pohyboval
v zvislosti na pohybu oka. Huey studoval a stanovil regrese (jenom velmi mal st sakd
jsou regrese, neboli nvraty) a ukzal, e nkter slova ve vt nejsou fixovna.
Prvn systm pro sledovn pohyb o, kter nebyl ruiv pro vyetovanou osobu,
sestavil Guy Thomas Buswell v Chicagu. Pouil pi tom paprsky svtla, kter se odrely od
oka a nsledn byly zaznamenny na fotografick film. Tmto principem Buswell studoval
ten a pozorovn obrzk. [4]
11
Pozorovatelova pozornost asto nen vykreslena pro prvky, kter dvaj dleitou
informaci, ale je vykreslena pro prvky, o kterch si pozorovatel podle svho nzoru mysl, e
jsou dleit. asto se pozorovatel zam na prvky, kter jsou v danch okolnostech
neobvykl, neznm, nepochopiteln a podobn. [8]
12
3.1.3 Modern hypotzy
Bhem osmdestch let dvactho stolet byla tato hypotza zpochybnna tzv. skrytou
pozornost, tedy pozornost nemu, na co se subjekt nedv, co lid asto dlaj. Jestlie je
skryt pozornost bn bhem zznamu sledovn pohledu, vsledn pozorovac drha a
fixan body mohou bt asto ureny na mstech, kde nebyla pozornost subjektu, ale jen na
mstech, kam se subjekt dval. Sledovn pohledu tedy neindikuje proces rozpoznvn.
Souasn konsenzus k, e vizuln pozornost je vdy lehce (100 250ms) naped ped
okem. Ale jakmile se pozornost pesune do nov pozice, oi ji nsleduj.
Stle ale nememe vyvozovat specifick proces rozpoznvn pmo z fixac na uritm
objektu ve scn. Napklad fixace na oblieji v obrzku me indikovat rozpoznn, zalben,
odpor, zmatek atd. Z toho dvodu jsou asto systmy pro sledovn pohledu spojeny s jinmi
metodami, jako jsou napklad introspektivn (sebezpytujc) slovn protokoly.[4]
13
osvtlen souos (koaxiln) s optickou cestou, tak oko reaguje jako odrae zen. Kdy se
svtlo odraz od stnice, vytvo efekt svtl zornice podobn efektu ervench o u
fotografie. Jestli je zdroj osvtlen posunut vzhledem k optick cest, tak se zornice projev
jako tmav, jeliko odraz zen od stnice je nasmrovn pry od videokamery.
Zpsoby uspodn systm pro sledovn pohybu o se velmi li; nkter jsou
pipevnn k hlav, nkter vyaduj, aby byla hlava ve stl stabiln poloze (napklad
s podloenou bradou), a nkter systmy vzdlen a automaticky sleduj hlavu bhem
pohybu. Vyuv se vzorkovac frekvence (poet snmk za sekundu) nejmn 30 Hz.
Akoliv 50 60 Hz je nejbnj vzorkovac frekvence, dnes hodn systm pro sledovn
pohybu o zaloench na videu b na 240, 350 nebo dokonce 1000 1250 Hz, kter jsou
poteba za elem zachytit detaily velmi rychlch pohyb o bhem ten, nebo pi
studovn neurologie.
Pohyby o jsou typicky rozdleny na fixace a sakdy, respektive na to, kdy se pohled
zastav v urit pozici a kdy se pohybuje do dal pozice. Vsledn srie fixac a sakd je
nazvna pozorovac drha. Nejvce informac oko vnm bhem fixac. Hlavn objem
vizulnch informac oko vnm v jednom a dvma stupni pozorovacho hlu (zpsobeno
lutou skvrnou), ostatn vstupn vizuln informace ze irho okol (perifern vidn) je mn
informativn. Z toho dvodu uren fixace bhem pozorovac drhy ukazuje, jak mra
informace byla z podntu zpracovna bhem doby sledovn pohybu oka. V prmru fixace
trv okolo 200 ms bhem ten jazykovho textu a 350 ms bhem pozorovn scny.
Sakadick pohyb z jednoho cle na druh trv bn okolo 200 ms.
14
3.3 Sledovn polohy oka a pohledu
V mnoha aplikacch se pro stabilizaci pozice hlavy pouv podpora brady nebo ela,
nebo tak speciln ty pro skousnut. Docl se tm synchronizace polohy oka s pohledem.
V ostatnch ppadech je umonn voln pohyb hlavy, kter je men magnetickmi systmy
sledovn polohy hlavy nebo systmy zaloenmi na videu.
15
4 Typy systm pro sledovn pohybu o
Sledovn pohybu o je proces men msta pohledu (kam se dvme) nebo men
pohybu oka vztaenmu k hlav. Pstroje na sledovn o tedy m pozici oka a pohyby
oka. Nejpouvanj varianty pro men uvaj videozznam, ze kterho je extrahovna
poloha oka, a metodu snmn biologickch signl o v podob elektrookulogramu. Prvn
varianta snmn je bezkontaktn, naopak snmn elektrookulografem je variantou kontaktn.
4.1.1 Elektrookulografie
Jestlie se oko pohne ze stedov polohy smrem k jedn elektrod, tato elektroda
zaznamen pozitivn stranu stnice a protj elektroda zaznamen negativn stranu stnice.
Jednodue, rozdl mezi naptm na elektrod nad a pod okem (v Obr. 4.1 elektrody B a C)
indikuje vertikln polohu oka vztaenou k hlav. Rozdl mezi naptm na elektrod vlevo a
16
vpravo od o (v Obr. 4.1 elektrody D a E) indikuje horizontln polohu oka vztaenou
k hlav. Pedpokldme-li, e klidov potencil je konstantn, zaznamenan napt pmo
odpovd poloze oka. Elektrookulogram se mn piblin 20 mikrovolty na kad stupe
pohybu oka. [7]
Tento typ kontaktnho snmn onch pohyb uv pdavn zazen umstn v oku. Je
to speciln kontaktn oka se zabudovanm zrcadlem nebo senzorem magnetickho pole.
Men pohybu pdavnho zazen se provd za pedpokladu, e pi onch pohybech toto
zazen vrazn nekloue po onm bulbu.
Bezkontaktn snmn vyuv pro men onch pohyb optick metody. Svtlo (asto
infraerven) je odreno od oka a zaznamenno videokamerou nebo jinm speciln
navrhnutm optickm senzorem. Pohyb o je nsledn zskn analzou zskan informace
vychzejc ze zmn odrazu zdrojovho signlu svtla od oka. Systmy pro sledovn pohybu
o zaloen na videu pouvaj jako prvek pro analzu nejastji odrazu od rohovky (prvnho
Purkyova obrzku), sleduje se tedy pohyb stedu zornice v ase.
Svteln zdroj vytv v oku tyi odrazy Purkyovy obrzky. Lidsk oko m tyi
svtlolomn plochy: pedn plocha rohovky (prvn Purkyv obrzek), zadn plocha rohovky
(druh Purkyv obrzek), pedn plocha oky (tet Purkyv obrzek) a zadn plocha
oky (tvrt Purkyv obrzek).
17
Vce citliv systmy pro sledovn pohybu o, duln-Purkyovi systmy pro sledovn
pohybu o, vyuvaj jako prvek pro analzu odrazu od pedn plochy rohovky a zadn plochy
oky, tedy prvn a tvrt Purkyv obrzek.
Jet vce citliv metoda sledovn pohybu o je analyzovat prvky z vnitku oka, jako
napklad obraz cv na stnici.
Optick metody, zvlt ty zaloen na videozznamu jsou iroce uvny pro sledovn
pohybu o a jsou velice populrn, protoe jsou ne-invazivn a levn. [4]
18
5 Monosti vyuit sledovn pohybu o
Kad metoda sledovn o m svoje vhody a nevhody. Vbr systmu pro sledovn
o zle na zven ceny aplikace. V praxi meme pozorovat urit vyven mezi cenou a
citlivost. Nejcitlivj systmy stoj nkolik destek tisc dolar a pro sprvn provoz
poaduj znanou odbornost. Naopak pokroky v potaov a video technologii vedly k vvoji
relativn levnch systm, kter jsou uiten pro mnoh aplikace a jsou tak uivatelsky
nenron. Nicmn interpretace vsledk stle poaduje uritou rove odbornosti, zvlt
kvli nepesnm i nedokonale kalibrovanm systmm, kter produkuj velmi mnoho
chybnch dat. [4]
5.2 Aplikace
Cel kla discipln pouv systmy pro sledovn o. Nejastji se jedn o poznvac
vdy, psychologii (zvlt psycholingvistiku), interakci mezi lovkem a potaem,
marketinkov vzkum a lkask vzkum (neurologick diagnzy). Dal specifick vyuit
sledovn pohybu o je pi zkoumn ten textu a hudby, rozpoznvn lidsk aktivity,
19
vnmn reklam a tak pi sportovn. Shrnut vech oblast vyuvajcch sledovn o je
uvedeno v nsledujcm seznamu: [4]
Poznvac vdy
Lkask vzkum
Lidsk faktory
Pouitelnost/ovldn pota
Simultory vozidel
Trninkov simultory
Virtuln realita
Vzkum primt
Sportovn trnovn
Komern aplikace
20
programy, sportovn udlosti, filmy, reklamy, asopisy, noviny, obaly, uivatelsk systmy
(bankomaty, odbavovac systmy) a software.
Pro zskn dkaz o vskytu specifickch vizulnch vzor mohou bt vsledn data
statisticky analyzovna a pevedena do grafick podoby. Pezkoumnm fixac, sakd,
rozen zornice, mrkn a rznch dalch chovn me vzkumnk urit mnoho o
efektivnosti danho mdia nebo produktu. [4]
V poslednm desetilet jsou systmy pro sledovn pohybu o pouvny pro postien
osoby (invalidy): umouj uivatelm mluvit, poslat emaily, prohlet si internet a
vykonvat dal podobn aktivity jen pouitm svch o. Systmy ovldan pohyby o
pracuj i pi rznch komplikacch. Pracuj, i kdy m uivatel nechtn pohyby jako nsledek
mozkov obrny nebo jinch postien, kdy uivatel nos brle nebo m jin fyzick ruen,
kter me limitovat efektivitu starch systm ovldanch pohyby o. [4]
Tento systm pro sledovn pohyb o je vhodn uvst, jeliko se praktick st tto
prce bude zabvat tak ovldnm kurzoru myi sledovnm pohyb o.
21
Obr. 5.1: Snmac st systmu IP4Control.[9]
22
5.3.3 Skokovit zen potaovho kurzoru
23
6 Systm LabVIEW
Grafick programovn
Vstupn-vstupn komunikace
Plug-and-Play hardware
Zabudovan analzy
Pm zpracovn signl
24
Pm sledovn vykonvn (sledovn toku dat)
IMAQ Vision obsahuje driver NI IMAQ, kter slou pro zskvn, zobrazovn,
zaznamenvn a monitorovn obrazu z rznch typ kamer. Nejastji se jedn o kamery
analogov, paraleln digitln, CameraLink a NI SmartCameras.
25
Paleta kalibrace obsahuje skupinu virtulnch pstroj pro prostorovou kalibraci
obrazu. Kalibrace je nutn k zskn pesnho, relnho men bez ohledu na
perspektivu kamery nebo zkreslen optiky. Kalibrace se d provst dvma
zpsoby. Bu pout virtuln pstroje k nastaven jednoduch kalibrace, nebo
nechat IMAQ Vision automaticky nast kalibran data z mky obrazu a pot
pro jednoduch men pout virtuln pstroje k peveden souadnic pixelu na
reln souadnice.
Paleta zpracovn obrazu obsahuje velkou klu virtulnch pstroj pro zpracovn a
analzu barevnch, edotnovch a binrnch obraz. Subpalety, kter jsou nejvznamnj
pro tuto prci, jsou opt ble popsny v nsledujcch bodech:
26
Paleta analzy obraz sdruuje virtuln pstroje slouc k analze obsahu
edotnovch a binrnch obraz. Tmito virtulnmi pstroji meme vypotat
histogram a jin edotnov statistiky obrazu, zskat pixelov informace a
statistiky podl libovolnho jednodimensionlnho profilu obrazu a tak detekovat
a mit stice v binrnm obraze. [11]
27
7 Nvrh systmu pro sledovn o
Tato kapitola popisuje samotn nvrh systmu pro sledovn o. Nvrh byl rozdlen do
dvou st. Prvn st je celkov schma reprezentujc hardwarov sloen systmu. Druhou
st je schma reprezentujc zpracovn videa v LabVIEW, kter tvo programovou st
systmu.
PC
Zpracovn v LabVIEW
Vyhodnocen
28
7.1.2 Popis st blokovho schmatu
29
7.2.1 Blokov schma
Soust
Analyzovat snmek
kalibrace
Vylepit snmek
A) Zpracovn B) Zpracovn
sticovou strojovm
analzou vidnm
30
ad A) ad B)
Nvrat do Konec
bodu 4.
Reprezentace vsledk Zskat nebo
pest
obrzek
Nvrh snmacho systmu je zobrazen na Obr 7.3 a Obr 7.4, jednotliv obrzky na sebe
navazuj a tvo tak dohromady jedno blokov schma.
31
systm produkovat snmky s dostaten vysokou kvalitou. Musme tak zajistit,
aby senzor kamery uspokojil minimln poadavky na rozlien, aby oka mla
dostatenou hloubku pole pro zaosten vech objekt, aby osvtlen poskytovalo
dostaten kontrast mezi zkoumanm objektem a pozadm a aby byla pozice
kamery paraleln se zkoumanm objektem. Kdy by kamera zskvala snmky
objektu pod hlem, objevily by se perspektivn chyby. Dle je nutn vybrat
pstroj pro zskn snmk a nakonfigurovat driver pro tento pstroj.
32
K nalezen stedu kruhu (zornice) meme tak vyut virtuln pstroje ze
strojovho vidn. Tyto virtuln pstroje jsou sofistikovanj a jejich chovn je
tedy mn nzorn, ne virtulnch pstroj z sticov analzy. Nejprve tedy
lokalizujeme objekty ke zkoumn, nastavme prohledvac oblasti, ve kterch
nalezneme poadovan mc body, v naem ppad opt sted kruhu,
reprezentujcho zornici.
Dal kony jsou ji pro oba postupy shodn. Zaznamenme si polohu mcho
bodu pro dan snmek. Paraleln zkoumme, jestli je k dispozici dal snmek.
Pokud ano, vracme se ve smyce do bodu zskn nebo ten snmku. Pokud ne,
analzu ukonme.
Clem zpracovn obrazu je v naem ppad nalezen polohy stedu zornice. Postup
k jejmu zskn jsme vahou navrhli takto:
33
k nenosnmu zhoren pomru uiten informace k umu v obraze. A tak je nutn citliv
nastavit redukci umu, protoe se projevuje ztrtou ostrosti obrazu. Konkrtn meme uvst
virtuln pstroje edotnov morfologie (Grayscale Morfology), plnn dr (Filling Holes) a
odstrann stic (Remove Particles), po jejich pouit by ml bt edotnov obraz
nejkvalitnj, ml by tedy poskytovat nejvt pomr uiten informace k umu.
Nalezen sted je v naem ppad hledan vstup z obrazu, jeho polohu si pro dan
snmek ulome. Zmna polohy takto zskanho stedu stnice mezi jednotlivmi snmky
reprezentuje sledovan pohyb o.
34
8 Realizace systmu
Systm pro sledovn pohybu o je realizovn podle nvrhu z kapitoly 7. V nsledujcch
podkapitolch jsou v blokovch schmatech znzornny konkrtn kroky nastaven systmu,
zpracovn a analzy signlu. Jednotliv kroky jsou dle podrobnji popsny z hlediska
funkce, vznamu, nvaznosti a dalch doplujcch informac. Popsan postup realizace
odpovd systmu pro online zpracovn v relnm ase. Systm offline zpracovn
neobsahuje bloky nastaven snmac soustavy, protoe se nat u uloen video, nicmn
zpracovn a analza probh stejn.
Pro on-line zpracovn byla pouita kamera Pixelink PL-B742 (Obr. 8.2). Tato barevn
kamera s rozlienm 1,3 mega pixel (1280 x 1024) je urena pro irok rozpt prmyslovch
obrazovch aplikac. Mezi jej dal dleit parametry pat snmac frekvence 27 fps,
rozhran Firewire A, velikost senzoru 2/3 a typ senzoru CMOS.
35
Obr 8.2: Kamera Pixelink PL-B742
- Pi rozlien 320 x 240 meme volit snmac frekvenci 120 fps, 60 fps a 30 fps
Pro tento systm sledovn pohybu o bylo jako optimln zvoleno rozlien 640 x 480 a
30 snmk za sekundu.
36
MAX je grafick uivatelsk rozhran slouc ke konfiguraci vymnitelnch perifernch
zazen (virtulnch pstroj). Konfigurace probh pes neustle vyvjen a roziovan
ovlada pro zazen DAQ firmy National Instruments nazvajc se NI-DAQmx. MAX pete
informace v ovladai zazen v registrech operanho systmu Windows a piad zazen
logick jmno pro NI-DAQmx, s nm se potom pracuje v LabView.
Jestli pipojen a nastaven probhlo sprvn, si meme vyzkouet tak v MAXu (Obr
8.3). V lev horn sti vybereme pipojenou kameru a v prav sti si pot meme zobrazit
jeden snmek z kamery, nebo spustit i kontinuln snmn, podle nastaven frekvence
snmn a rozlien.
Obr. 8.3: Okno programu MAX se zobrazenm histogramem a prvky nastaven kamery.
37
Zaosten a zoom kamery upravme podle poteby. V ppad sledovn pohyb o je
optimln, aby byla v obraze viditeln cel ka oblieje a oblast mezi sty a hornm koncem
ela.
38
Peten 1 snmku
39
- ROI nebude vt, ne velikost nezbytn pro zachycen celho oka a obo.
Tato pravidla jsou nutn, vzhledem k dalmu zpracovn programem. Cel oko je nutn
pro detekci pohybu zornice, obo je nutn pro vytvoen ablony pro automatickou detekci
polohy oka pi pohybech hlavy.
Dal podmnkou sprvn funkce programu je poloha hlavy snman osoby. Obliej by se
ml nachzet piblin ve stejn vce, jako kamera a snman osoba by bhem men mla
dret hlavu vzpmen a dvat se rovn ped sebe. Pi tto poloze toti meme vybranou
oblast zjmu rozdlit na dv poloviny - na horn a doln. V horn polovin bude pouze obo a
v doln polovin pouze oko. Horn polovinu vyuijeme pro vytvoen ablony pro
automatickou detekci zmny polohy oka a v doln polovin budeme detekovat pohyb zornice,
kter bude znait pouze pohyb o a nikoliv pohyb hlavy.
40
Poloha nalezenho objektu odpovd aktuln poloze obo v obraze. Ji vme, e oblast
oka, kterou potebujeme dle zpracovat, navazuje na oblast s obom. Tedy pi kadm
nalezen oblasti obo k n dopotme odpovdajc oblast oka, kterou dle zpracovvme
morfologickmi operacemi a vyhodnocujeme v n polohu zornice.
Prahovn
Eroze
sticov filtr
41
Obr. 8.6: Reln prce morfologickch operac (vzor, obraz po prahovn, obraz po erozi a
obraz po sticovm filtru s vyznaenm stedem - zelen).
Prahovn
Prahovn edotnovho obrazu me bt automatick, nebo s pevn zvolenm prahem.
Automatick prahovn samo nastav velikost prahu vypotenou podle rozloen jasu
v histogramu. Jeliko toto rozloen jasu kols se zmnami osvtlen scny a s charakterem
scny, je pro nae men nevhodn. Naim clem je zvolit prh pevn tak, aby se ve
zvolenm rozmez jasu nachzela ideln pouze tmav zornice. Jas v obraze ze zvolenho
rozmez se pi prahovn nastav na jedniku, jas mimo rozmez se nastav na nulu. Tmto
vznikne binrn obraz oka.
Ideln prahovac rozmez pro zskn zornice kols s vnjm osvtlenm a nastavenm
snmac soustavy. Je tedy nutn jej nastavit jak na zatku kadho men, tak pi kad
vraznj zmn osvtlen nebo nastaven snmac soustavy. Prahovac rozmez lze mnit i
za bhu programu, meme si to pedvst na elnm panelu programu pro zobrazovn
trajektorie online (Obr. 8.7). Prahovac rozmen volme v sti Range a v sti image 3
zobrazujc prahovanou oblast oka kontrolovat vslednou vyprahovanou zornici.
42
Piblin hodnoty prahovacho rozmez se v prbhu men pi standardnm osvtlen
venkovnm svtlem a vnitnmi zivkami pohybovaly v edotnov kle 0-255 mezi 0-30 a
0-70.
Obr. 8.7: eln panel programu pro online zaznamenn trajektorie pohledu.
Plnn dr
Prvn morfologick operace se provd virtulnm pstrojem plnn dr (Fill Hole), a jak
u jeho nzev napovd, vypluje dry v stici. Vyplovn dr me bt dvojho typu. Prvn
typ je pojivost-4 (Connectivity-4), kter ozna pixel jako soust stice, kdy je horizontln
nebo vertikln pilehl k stici. Druh typ je pojivost 8 (Connectivity-8), kter ozna pixel
jako soust stice, kdy je horizontln, vertikln nebo diagonln pilehl k stici. Oba
typy pojivosti jsou znzornn na nsledujcm obrzku (Obr. 8.8)
43
Dal morfologickou operac je odstrann stic, dotkajcch se okraje obrzku
(RejectBorder). Tmto virtulnm pstrojem odstranme neuitenou informaci u okraje
obrzku, nae oblast zjmu se nachz v okol stedu obrzku, kde je zornice.
Eroze
Z primrnch morfologickch operac pro n el detekce zornice pln dostauje operace
eroze. Primrn morfologick operace obecn pracuj v binrnm obraze a zpracovvaj kad
pixel na zklad jeho okol. Kad pixel je nastaven bu na 1 nebo na 0 v zvislosti na
informaci z okol a na pouit operaci. Tyto operace vdycky zmn celkovou velikost a tvar
stic v obraze. Pro plnost je nutn doplnit dal primrn morfologick operace, kter jsou
dilatace a hit-miss, tyto operace jsme vak nepouili, proto dle popeme operaci eroze a jej
funkci.
Eroze eliminuje pixely izolovan v pozad a rozru obrys stice podle ablony, kter je
definovan ve strukturnm elementu. Strukturn element je lich tvercov matice, ve kter je
binrn maska, podle kter se bude zpracovvat centrln pixel. Vpoet pomoc masky
probh nsledovn.
Pro dan pixel P0, maska je centrovna na P0. Pixely, kter jsou maskovan koeficienty
strukturnho elementu jako 1, jsou oznaeny jako Pi. Jestlie je hodnota jednoho pixelu Pi
rovn 0, tak P0 je nastaven tak na nulu, jinak je nastaven na 1. Tento mechanismus je
prakticky znzornn na nsledujcm obrzku (Obr. 8.9) a tabulce (Tab. 8.1).
44
Maska Po erozi Popis
sticov filtr
sticov filtr zachov nebo odstran kadou stici v obrace podle svch men.
V naem ppad vyuvme zachovn stice, nebo chceme nalzt kruhov stice, resp.
jednu hlavn kruhovou stici, kter odpovd zornici. stice, kter nespluj podmnku
kruhovitosti, jsou odstranny. Po zpracovn obrazu tmto virtulnm pstrojem zstane
v obraze ideln pouze kruhov zornice, jej pixely maj hodnotu 1 a pozad s hodnotou 0.
Pro tento systm detekce kruhovit zornice byl Heywoodv kruhovit faktor zvolen o
velikosti 1,6.
Vpoet centra energie obrazu provdme, abychom urili pomysln sted zornice.
Jeliko vyprahovan zornice nem pesn tvar kruhu, nememe pout virtuln pstroje pro
45
detekci kruhu a jeho stedu. Meme ale pout virtuln pstroj pro vpoet centra energie
obrazu (Centroid), kter v binrnm obraze vypot prmrnou polohu vech pixel
s hodnotou 1. Vezmeme-li v potaz, e v naem obraze se nachz pouze jedin oblast
s hodnotami pixel 1 (zornice), virtuln pstroj pro vpoet centra energie obrazu spot
prakticky sted tto jedn oblasti. Takto vypoten bod povaujeme za polohu zornice. Tento
bod je zaznamenn a pouit pi analze sledovn pohybu zornice.
8.3 Analza
V tto kapitole je rozebrna analza pohybu zornice. Jsou zde popsny dva zpsoby
uren pohybu zornice. Prvn zpsob, nazvn Ledky, vyhodnocuje vdy aktuln polohu
zornice. Uruje tedy aktuln msto pohledu. Druh zpsob, nazvn Trajektorie, vyhodnocuje
celou drhu pohybu zornice, kterou je schopen vykreslit a uloit.
8.3.1 Ledky
Princip uren polohy zornice u tohoto zpsobu je v rozdlen obrzku oka na sti a po
vpotu polohy zornice nsleduje vyhodnocen, ve kter sti se zornice nachz. Pot se
provede pslun akce, kter je v tomto ppad rozsvcen ledky. Tento postup je znzornn
v nsledujcm blokovm schmatu (Obr. 8.10).
Obr. 8.10: Blokov schma analzy zpsobu uren polohy zornice - Ledky
46
Rozdlen ROI na sti
Rozdlen ROI na sti je nejcitlivj krok z tohoto principu. Urenm velikosti a polohy
st nastavujeme pestnost a citlivost detekce pohybu zornice. V naem ppad jsme
zkoueli rozdlit ROI na oblasti 3x3, 3x5 a 5x7. Popeme tedy vpoet oblasti 5x7, jeliko je
nejsloitj a zobrazen v tomto rozdlen je nejcitlivj.
Rozdlen ROI se zan potat od prostedn oblasti se souadnicemi [3,4]. Poloha tto
prostedn oblasti me bt urena podle stedu obrzku, to ovem vyaduje, aby byl ROI
zvolen tak, e oko bude v jeho stedu a pi pmm pohledu bude zornice tak ve stedu ROI.
Lpe je vak polohu prostedn oblasti vypotat, podle centra energie obrazu. Je vak nutn,
aby men osoba byla instruovna, e se pi sputn programu, kdy se tento vpoet
provd, mus dvat pmo ped sebe, nejlpe na prostedn oblast zobrazenou na monitoru.
Tak zajistme, e pm pohled ped sebe bude opovdat prostedn ledce, i kdy nebude ROI
vycentrovno podle celho oka. Rozdlen obrzku na oblasti a samotn hranice oblast jsou
zakresleny v nsledujcm obrzku (Obr. 8.8), dle nsleduje popis vpotu hranic oblast.
47
v obraze je oznaena jako d a lze ji volit podle toho, jakou citlivost detekce pohybu zornice
poadujeme. m je vzdlenost hranic d men, tm vt dostvme citlivost. Tedy pi zmn
vstupu mezi vedlejmi hranicemi mus zornice urazit men vzdlenost. Vliv citlivosti
detekce pohybu je dleit zejmna v ppad, chceme-li, aby aktivace ledek zobrazench na
monitoru odpovdala pesn pohledu osoby. V tomto ppad nastavenm citlivosti zvis na
nkolika faktorech, jako jsou nastaven snmac soustavy, vzdlenost kamera oko a
vzlenost oko monitor. Vpoet hranic oblast je v nsledujc tabulce (Tab 8.2).
; ;
- Oblast A:
- Oblast B:
- Oblast C:
48
Proveden pslun akce
Zkladn akc je rozsvcen ledky. Ledky jsou uspodny podle oblast, kad oblasti
odpovd jedna led dioda. Pro aktivovn ledky mus platit logick souin protnut dku a
sloupce (intervalu v ose x a intervalu v ose y). Z charakteru rozhodovn je patrn, e
v dnm okamiku nemohou svti dv ledky souasn.
Zobrazen smru pohledu pomoc ledek m dv varianty, kter se nepatrn li. Prvn
variantou je zobrazen smru pohledu z offline zznamu, kde aktivace ledek stranov
odpovd poloze zornice na obrzku. To znamen, e vidme li na videu posun zornice doleva,
aktivuje se ledka vlevo. Naopak zobrazujeme-li smr pohledu z online zznamu, musme
aktivaci ledek stranov pevrti (prohodit lev a prav smr). Pi online zznamu chceme, aby
msto pohledu na monitor pesn odpovdalo aktivovan ledce na monitoru. Podvme-li se
doprava dol, chceme mt aktivovanou pravou doln ledku. Kamera ns ale snm z protjho
pohledu, take kdy se podvme doprava, kamera zaznamen pohyb doleva. Pi vpotu
aktivace ledky je tedy nutn tuto stranovou nesouhlasnost zohlednit.
Zobrazen smru pohledu pomoc ledek je zvoleno pro jasnou demonstraci funnosti
programu. Je vak zejm, e lze vyut aktivovanch oblast k velkmu mnostv rznch
akc. Jeliko jsou oblasti aktivovny pomoc logickho datovho toku, meme jim piadit
libovoln innosti. Napklad zvolme-li rozdlen na oblasti rozlien 3 x 3, meme kad
oblasti piadit ovldac prvek smru a pohyb zornice tak me bt v dalch aplikacch vyuit
k zen dopravnho prostedku.
Systmy pro ovldn pomoc pohybu o jsou jednou vznamnou monost vyuit
sledovn pohybu o, druhou vznamnm vyuitm je zaznamenn pozice pohledu, neboli
jeho trajektorie. Tato oblast vyuit je rozebrna v nsledujc kapitole.
8.3.2 Trajektorie
Druh zpsob uren pohybu zornice je pomoc zaznamenn jej drhy pohybu
trajektorie, kter je vykreslovna v relnm ase a na konci programu uloena pro pozdj
49
zpracovn. Nsledujc blokov schma (Obr. 8.12) znzoruje jednotliv kroky v uren
trajektorie.
Obr. 8.12: Blokov schma analzy zpsobu uren polohy zornice Trajektorie
Trajektorii pro lep viditelnost zakreslujeme 20-krt zvtenou. Pohne-li se tedy zornice
v jedn ose o 10 pixel, pi zakreslovn bude ra trajektorie dlouh 200 pixel.
50
trajektorie. Tento prh jsme nastavili prv na 30 pixel. Byl-li vyhodnocen pohyb zornice
vt ne o 30 pixel, ra trajektorie nebyla vykreslena. Na nsledujcm obrzku (Obr. 8.13)
mete porovnat vykreslen trajektorie bez filtrovn mrkn a s filtrovnm mrkn. Na sti
obrzku bez filtrovn si lze tak povimnout charakteru chyby trajektorie pi mrkn
chybn pozice zornice pi rznch mrknut je stle ve stejnm bod.
Obr. 8.13: Obrzky trajektori pohledu. Trajektorie bez filtrovn mrkn (vlevo) a
s filtrovnm mrkn (vpravo).
51
9 Prezentace vsledk
Vsledkem realizace systmu pro sledovn pohybu o jsou tyi programy zaloen na
stejnm zkladu, ale slouc k jinmu elu. Zkladn dlen je na online a offline
zpracovn, kter jdou rozdlit na vyhodnocen pozice zornice a vyhodnocen trajektorie
pohybu zornice. Pro pehlednost je ne uveden vet nzv program, jejich strun popis a
vhodn vyuit.
Pozice_offline.vi
- Slou k zobrazen pozice zornice z offline zznamu.
- Vhodn pro demonstraci funknosti programu.
Trajektorie_offline.vi
- Slou k zaznamenn trajektorie pohledu z offline zznamu.
Pozice_online.vi
- Slou k zobrazen pozice zornice z online zznamu.
- Vhodn pro ovldn lze spoutt rn akce pi pohledu na urit msto.
Trajektorie_online.vi
- Slou k zaznamenn trajektorie pohledu z online zznamu.
- Vhodn pro sledovn trajektorie pohledu po promtnutm obrzku.
52
Obr. 9.1: Pohled nahoru a rozsvcen odpovdajc ledka.
53
Obr. 9.3: Pohled vlevo dol a rozsvcen odpovdajc ledka.
54
9.2 Trajektorie pohledu
V tto podkapitole jsou uvedeny vsledn obrzky se zaznamenanmi trajektoriemi. Pro
pehledn prezentovn trajektori jsme vytvoili schematick obrzky, kter men osoba
pozorovala za danch podmnek. Inspirac pro tento zpsob zaznamenvn trajektorie je
historicky prvn experimentu sledovn pohybu o Alfreda L. Yarbuse popsanm v kapitole
3.1.2.
Vsledky nkolika men jsou uvedeny ne, je u nich popsno zadn men a uveden
vzorov obrzek a vsledn trajektorie.
tverce v rozch
Vzorov obrzek tvo ern obdlnky na blm pozad umstn v rozch a uprosted.
kolem bylo setrvat pohledem na kadm obdlnku 5 8 vtein. Vzorov obrzek a
vsledn trajektorie jsou zobrazeny ne (Obr. 9.5).
Obr. 9.5: Vzorov obrzek ernch obdlnk (vlevo) a vsledn trajektorie pozorovn
(vpravo).
55
ed kruhy
Vzorov obrzek tvo ed kruhy na blm pozad. kolem bylo setrvat pohledem na
kadm kruhu 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou zobrazeny ne (Obr.
9.6).
Obr. 9.6: Vzorov obrzek edch kruh (vlevo) a vsledn trajektorie pozorovn (vpravo).
Tvary - erven
Vzorov obrzek tvo barevn tvary na edm pozad. Tvary mohou bt obdlnky,
kruhy a trojhelnky a jejich barvy jsou erven, modr a lut. kolem bylo setrvat
pohledem na tvarech erven barvy 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou
zobrazeny ne (Obr. 9.7).
Obr. 9.7: Vzorov obrzek barevnch tvar (vlevo) a vsledn trajektorie pozorovn
ervench tvar (vpravo).
56
Tvary - modr
Vzorov obrzek tvo barevn tvary na edm pozad. kolem bylo setrvat pohledem na
tvarech modr barvy 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou zobrazeny ne
(Obr. 9.8).
Obr. 9.8: Vzorov obrzek barevnch tvar (vlevo) a vsledn trajektorie pozorovn
modrch tvar (vpravo).
Tvary - lut
Vzorov obrzek tvo barevn tvary na edm pozad. kolem bylo setrvat pohledem na
tvarech lut barvy 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou zobrazeny ne
(Obr. 9.9).
Obr. 9.9: Vzorov obrzek barevnch tvar (vlevo) a vsledn trajektorie pozorovn lutch
tvar (vpravo).
57
Tvary - obdlnky
Vzorov obrzek tvo barevn tvary na edm pozad. kolem bylo setrvat pohledem na
obdlncch 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou zobrazeny ne (Obr.
9.10).
Obr. 9.10: Vzorov obrzek barevnch tvar (vlevo) a vsledn trajektorie pozorovn
obdlnk (vpravo).
Tvary - kruhy
Vzorov obrzek tvo barevn tvary na edm pozad. kolem bylo setrvat pohledem na
kruzch 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou zobrazeny ne (Obr. 9.11).
Obr. 9.11: Vzorov obrzek barevnch tvar (vlevo) a vsledn trajektorie pozorovn kruh
(vpravo).
58
Tvary trojhelnky
Vzorov obrzek tvo barevn tvary na edm pozad. kolem bylo setrvat pohledem na
obdlncch 5 8 vtein. Vzorov obrzek a vsledn trajektorie jsou zobrazeny ne (Obr.
9.12).
Obr. 9.12: Vzorov obrzek barevnch tvar (vlevo) a vsledn trajektorie pozorovn
trojhelnk (vpravo).
Dal monosti vyuit systmu pro sledovn pohybu o krom uren polohy zornice a
zaznamenn trajektorie pohybu zornice by mohly bt v detekci mrkn. Mrknut oka na
urit as bychom mohli piadit libovolnou funkci, vhodn by napklad byla funkce stisku
tlatka. Jin monost vyuit detekce mrknut oka na urit as by mohla bt v programu
hldajcm bdlost men osoby. Zaven oka na nkolik sekund by spustilo zvukov alarm,
kter by men osob navrtil bdlost. Praktick vyuit by bylo napklad v automobilovm
prmyslu v systmu zabraujcm mikrospnku idie.
59
10 Zvr
Prce se v teoretick sti zabvala anatomi lidskho oka, jeho pohyby a souvisejc
elektrofyziologi. Dle byla popsna problematika sledovn o a jednotliv typy systm pro
sledovn o. Pro n systm byl vybrn typ systmu pro bezkontaktn snmn pomoc
videozznamu. Popsali jsme tak rzn monosti vyuit sledovn o.
Podle nvrhu z kapitoly 7 byl realizovn program, kter vyhodnocuje aktuln pozici
pohledu nebo zaznamenv trajektorii pohledu a to jak v offline tak i v online zznamu.
Jednotliv kroky zpracovn obrazu jsou znzornny v blokovch schmatech. Je zde tak
uveden podrobn popis jednotlivch blok, jejich vlastnosti, funkce a vznam z hlediska
problematiky sledovn o. Dle je vyzdvien vznam nkterch funkc v procesu zpracovn
obrazu pro detekci polohy zornice, zejmna se jedn o morfologick operace.
60
11 Seznam pouitch zdroj
[1] VLACH, J. Zanme s LabVIEW. Praha : BEN - technick literatura, 2008
[2] KLINGER, T. Image Processing with LabVIEW and IMAQ Vision. Prentice Hall PTR,
2000.
[11] NATIONAL INSTRUMENTS. IMAQ Vision for LabVIEW User Manual. June 2003
Edition.
61