Beruflich Dokumente
Kultur Dokumente
Stanciu Adelina
<adelina.stanciu@yahoo.com>
Cuprins
Introducere
Arhitectura MoSES(MObile Streaming for vidEo
Surveillance)
Caracteristici
Solutii si componente pentru streaming video
Supraveghere video
Video Encoder Layer, PC/PDA Encoder Layer
Evaluarea performantei
Rezultate experimentale
Concluzii
2
Introducere
Supravegherea video - noua paradigma care include:
procesarea video omniprezenta si supravegherea
manuala sau automata.
Sistemele trebuie sa mentina o latenta mica si o rata
mica de pierdere a cadrelor, chiar si in retele cu latime
de banda redusa
MoSES - sisteme mobile de supraveghere video pentru
PC si PDA
Algoritmi de control adaptiv pentru obtinerea celui
mai bun raport intre latenta mica si fluiditatea video
3
Arhitectura MoSES
4
Arhitectura MoSES
5
Human-based vs Computer-based
Supravegherea manuala nu e practica
numar crescut de canale
lipsa de atentie
nevoia crescuta de constientizare a situatiei(“situational
awareness” )
Supraveghere automata
scalabila(mai multe canale: mai multe servere si licente)
oamenii tot vor trebui sa se descurce cu alarme (false)
alerte in timp real
6
Caracteristici MoSES
latenta mica
mobilitatea omniprezenta(GPRS/EDGE/TETRA)
calitate video(spatiala si temporala)
componente software open-source
modificari si optimizari la orice nivel
compilata pe diferite arhitecturi si/sau siteme de operare
doar cu ajustari specifice
7
System requirements
Supravegherea video implica live video streaming
pentru o vedere in timp real a scenei controlate
8
Video Streaming Solutions and
Components
acopera toate etapele procesului in special codificarea,
transmiterea prin retea, playback video
Microsoft Windows Media si Real Networks au
capacitatea de streaming a unui server, de ex:
broadcast-uri video
Windows Media Streaming Server ruleaza doar pe
Windows Server OS
latenta mica, dar performantele in conditii de
monitorizare video nu sunt neglijabile
Player video pentru PC si PDA
9
Video Streaming Solutions and
Components(2)
Skype cel mai popular tool free pentru live multimedia
streaming, audio si video
limitari: sursa video, dimensiunea cadrelor, rata de
transmisie cadrelor nu sunt ajustabile
VideoLan Client (VLC) cel mai faimos tool disponibil
permite setarea celor mai fine detalii pentru codificare si
transmisia prin retea
suporta multe tipuri de compresie (H.264) si de
streaming
latenta poate fi pastrata destul de mica, dar cu
dezavantajul degradarii serioase a calitatii video
10
Video Streaming Solutions and
Components(3)
Intel Integrated Performance Primitives (Intel IPP)
este o suita de librarii care ofera algoritmi de procesare a
semnalului digital pe scara larga, incluzand codificare
video si in mod special codecul H.264.
optimizate, dar nu open source si ruleaza doar pe
procesoare Intel
11
Streaming for Mobile Video
Surveillance
lucrare care abordeaza aspectele procesarii semnalului
relevant si propune solutii(Lu, 2000)
alta lucrare se axeaza pe arhitectura sistemului
analiza se bazeaza pe sincronizarea datelor (comunicare
intre vehicule pentru transmiterea datelor in timp real,
dar bazata pe retele 802.11 WiFi, care nu sunt potrivite)
lucrari care au propus sisteme pentru transmiterea
video in retele de capacitate redusa, de ex GPRS.
Lim introduce un astfel de sistem bazat pe PDA
12
Video Encoder Layer
contine blocurile de baza: captarea video, codificare si
trasmiterea prin retea si alti pasi de control
scop:
obtinerea unei flexibilitati in controlul sursei video si
compresia acesteia
mentinerea unei latente si rate de pierdere a cadrelor cat
mai reduse
13
Video Encoder Layer
caracteristici
Procesarea multithreaded
14
Video Encoder Layer
caracteristici
Nivel scazut de ocupare a buffer-ului
15
Video Encoder Layer
caracteristici
Transmisia UDP
UDP este de preferat in caz de congestie, dar exista riscul
pierderii datagramelor
mecanismul Automatic Repeat-reQuest (ARQ)
implementat pe Radio Link Control (RLC),
demonstreaza ca transmisia pe EDGE-GPRS/GPRS este
foarte robusta (rata datagramelor pierdute este extrem
de mica si fara ordine)
MoSES ofera transmisia video fara audio sau text
sincronizat -> se prefera UDP in loc de RTP/UDP.
16
PC Video Encoder
Pentru minimizarea latentei si mentinerea calitatii
video obtinuta din transmisia prin retea:
17
PC Video Encoder
caracteristici
19
PDA Video Encoder
caracteristici
Optimizarea controlului pentru display
scrierea de date video direct pe placa grafica e mai convenabil
decat folosirea functiilor standard ale SO-> GAPI (Game API)
si Direct Draw in loc de functii GDI+
Comunicarea inter-proces
decodificarea si modulele GUI sunt separate in planificare a.i
procesele sa nu interfereze (de exemplu cand modulul GUI
apeleaza garbage collector)
IPC foarte eficient pentru prevenirea pierderii frame-urilor si
mentinerea fluiditatii datelor video
Cea mai eficienta metoda de a folosi IPC este cu ajutorul
fisierelor mapate in memorie(MMFs), de ex un fisier virtual
pe memoria RAM 20
PDA Video Encoder
caracteristici(2)
Adaptarea ratei cadrelor pentru playback:
Windows CE nu permite cereri in legatura cu nivelul de
ocupare al buffer-ului UDP ->mai trebuie adaugat un
buffer deasupra buffer-ului UDP
mentinerea nivelului de ocupare a buffer-ului UDP cat
mai mic pentru a minimiza intreruperile
\
Redimensionarea dinamica a buffer-ului si cuplarea
decodificator –display acealeasi ca la PC decoder
21
Evaluarea performantelor
Calitatea imaginii
masurata cu PSNR (Peak Signal-to-Noise Ratio) arata
distorsiunea aparuta datorita procesului de codificare si
transmisie
Latenta video
o masurare aproximativa prin sincronizarea codificarii
si decodificarii in acelasi timp si modificarea
codificatorului a.i sa pastreze impreuna cu cadrele,
amprenta de timp
masurarea sincronizarii datelor multimedia (video,
audio si text) prin observarea playerelor media folosind
diferiti senzori 22
Evaluarea performantelor(2)
Pierderea cadrelor
datorita pierderii datagramelor(mai multe consecutive
la rand, rata inalta de compresie si dimensiunea limitata
a cadrelor) sau suprascrierea cadrelor decodificatorului
Fluiditatea video
masurata ca dif dintre 2 cadre ale decodificatorului
cu ajutorul nr de codificare a frame-urilor. In cel mai bun caz
timpul de decodificare este constant si cel putin egal cu
timpul de codificare
23
Evaluarea performantelor(3)
Detectarea si identificarea obiectelor:
24
Teste
Testele pentru blocul de transmisie video sunt proiectate sa verifice cerintele
din tabel
25
Teste(2)
Platforma PC-PC
sistem mobil montat intr-o masina, echipat cu un laptop x86
(Intel Pentium Centrino 1.7 GHz), conectat fie la camera USB
Camera (LogitechQuickcam Pro 4000), fie la camera IP (Axis
2420 plus infrarosu) si un modem EDGE-GPRS pentru
transmisia video
Platforma PC-PDA
PDA folosite pentru test:
i-Mate JasJar(WM 5.0, CPU: Intel Bulverde,520 MHz)
i-Mate PDA2k(WM 2003, CPU: Intel PXA263,400 MHz);
conectivitatea prin GPRS.
26
Conditii
Codificarea video: codecul H.264 a fost testat cu urmatoarele
profile: de baza (latenta mica cu costul calitatii mai slabe) si de
nivel inalt (pentru calitate video foarte buna cu costul latentei
crescute).
Sursele video: evaluarile de performanta cu ajutorul video VLAB,
video VCAR pentru a replica experimentele pe aceleasi date
video VLAB contine scene pentru diferite tipuri de miscare:
reduse(oameni care se misca dar camera statica),
medie(camera in miscare libera) si extrema(shaking camera)
video VCAR din masina in timpul condusului in trafic
bitrates: EDGE-GPRS -80 kbps si 20 kbps; GPRS-20 kbps si 5
kbps
27
Teste blocul computer-based
surveillance
Analiza cu ajutorul unei camere statice pentru a
segmenta obiectul in miscare
Scenarii:
indoor: cativa oameni care se misca si fara schimbari de
iluminare(VHALL)
outdoor(parc): mai multi oameni care se misca si cu
schimbari de iluminare(VPARK)
28
Rezultate experimentale
Latenta
29
Rezultate experimentale PC-PC
Comparatia calitatii imaginii (PSNR) masurata pe
video VCAR cu MoSES la 20 kbps (QQVGA), 80 kbps
(QVGA), and 120 kbps (QVGA).
30
Rezultate experimentale PC-PC
Comparatia calitatii imaginii (PSNR) masurata pe
video VLAB (contine scene cu camera statica (cadrele
210–450 si 1030-sfarsit), camera in miscare (cadrele
450–640), shaking camera (restul).
31
Rezultate experimentale
Pierderea cadrelor in video VLAB la QVGA si QQVGA
32
Rezultate PC-PDA
Snapshots - identificarea obiectelor in parc
(a) original, (b) MoSES - 5 kbps, (c) Real Media – 5
kbps.
33
Rezultate computer-based
surveillance
Segmentarea si identificarea obiectelor
34
Concluzii
Lucrarea subliniaza eforturile pentru a construi un
sistem complet pentru supraveghere video mobila.
Cele 3 nivele de baza: encoder, decoder si supravegherea
video au fost implementate cu optimizari potrivite ale
modulelor open-source pentru a obtine o transmitere
eficienta prin retele GPRS/EDGE-GPRS
Masuratorile in legatura cu calitatea imaginii, latenta
video, pierderea cadrelor si fluiditatea video obtinute
pentru MoSES sunt comparate cu alte sisteme
35
Concluzii(2)
Supravegherea automata
latenta mica este esentiala si fluiditatea nu neaparat
necesara ->sistemele MoSES sunt configurate fara
control de playback adaptabil
Supravegherea manuala
controlul ratei cadrelor imbunateste fluiditatea, dar
creste latenta(desi ramane la nivel scazut comparativ cu
alte sisteme)
Raportul calitate/compresia ratei bitilor este bun
36