TECNICAS DE TRACKING, VOL. 1, NO.

1, NOVIEMBRE 2012

Tecnicas para hacer seguimiento de objetos (tracking) en una secuencia de imagenes digitales.
John Steven Neira Miembro IEEE y Diego Fernando Hurtado Miembro IEEE
Abstractproject was conducted in order to understand and investigate on the tracking of objects in a sequence of digital images that will allow to identify a color in the RGB model[10]. Shows the development in Matlab, where through calculations for image processing mathematical tile them to separate what is desired of the unwanted, for later viewing. . Index TermsTracking, vision articial, algortimos, RGB, modelo, Matlab, frame.

I NTRODUCCI ON

N tre los diferentes temas de investigacion de procesamiento de imagenes, existe el seguimiento de objetos (tracking) en una secuencia de im genes digitales (video), el cual a se ha convertido en una cuestion de suma im portancia debido a sus multiples aplicaciones comerciales. En todas estas aplicaciones se debe tener en cuenta que primero existe la necesidad de reconocer una forma, color, brillo, etc. Para poder localizar lo deseado y asI hacer su posterior seguimiento, esto es gracias a las diferentes t cnicas de seguimientos de objetos en una e secuencia de im genes digitales, estas t cnicas a e se clasican en dos campos: t cnica basada en e modelo y t cnica basada en caractersticas, la e t cnica basada en modelo es mas robusta y e exige m s costo computacional, la t cnica de a e caractersticas es m s ecaz y menos robusta. a Estas t cnicas de seguimiento se realizan frame e a frame, en toda la secuencia de im genes digia tales, esto quiere decir que nalmente lo que se procesa son im genes digitales, la visualizacion a es similar a la mostrada en la gura 1.
Dr.Jairo Alejandro G mez de el departamento de ingeniera mulo timedia de la universidad San Buenaventura Cali. E-mail: Jagomez@usbcali.edu.co Alvaro Borrero, Felipe Delgado y Steven Mercado de la Universidad San Buenaventura Cali. Articulo recibido en noviembre 1, 2012.

Fig. 1. Tracking en el futbol Noviembre 1, 2012

M ARCO T E ORICO

La investigacion que se desarrollo corresponde a la integracion de algunas diciplinas que evolucionan constantemente que permiten el desarrollo de algoritmos, funciones o aplicaciones cada vez mas ecientes[1]. Actualmente existen varias t cnicas de seguimiento (tracke ing) que se clasican en dos grandes campos: basado en un modelo y basado en caracteristicas. La t cnica basada en un modelo depende e del conocimiento que el programa tenga sobre el objeto a detectar, son algortimos robustos que se ayudan de conocimientos previos como la estimacion de la pose para su ecacia. El modelo basado en caractersticas utiliza los recursos que le brinda la imagen, la eciencia depende de las caracteristicas a detectar, lo que

 TECNICAS DE TRACKING, VOL. 1, NO. 1, NOVIEMBRE 2012

lo convierte la eleccion de las mismas en un paso importante para el proceso. Para los ejemplos de este articulo se utiliza una t cnica de e tracking que extraera caracteristicas de la imagen, esta t cnica suele ser computacionalmente e m s eciente que otras t cnicas, pero es menos a e robusta, el programa brinda una informacion 2d.pdf acertada y precisa de donde se encuentra el color que se requiere. Un marco delimit la im- Fig. 2. Ejemplo de contorno 2D de un carro. a agen con las caractersticas identicadas, este proceso es viable gracias a la binarizacion de cada cuadro (frame) de el video, procesando las secuencia de im genes que pertenecen a el a de el angulo de vision que tenga la c mara. a mismo aplicando el ltro de la mediana, faciliEn nuestra gura se muestra un carro de tando la deteccion de contornos que permitan forma horizontal, por lo tanto no se podra separar el color de interes del que no lo es, se utilizar en una avenida donde la camara se analiza el segmento de la imagen delimitado ubicara de forma frontal a los autos [1]. y se obtiene un conjunto de propiedades de Modelos volum tricos: e cada region para su posterior visualizacion Los volumenes volum tricos son ideales e en tiempo real valorando a travez del tiempo para tracking, independiente del angulo de su pocision en el video. Fue desarrollado en vision se puede detectar al objeto gracias matlab devido a que es un programa que nos a la cantidad de informacion precisa y depermite modelar con algoritmos matematicos tallada que posee de el mismo, la desvenecientes. taja es que el costo computacional es muy alto, en la siguiente gura observamos un ejemplo de tracking utilizando el modelo 2.1 Tecnica basada en modelo volum trico. e Los algoritmos usan un modelo predeterminado, para empezar se predice la postura del modelo teniendo en cuenta la informacion previa [referencia tesis primera ], posteriormente con una funcion de evaluaciion se compara la imagen del modelo con la imagen sensada, si la proyeccion es correcta se actualiza el modelo y realiza el procesamiento. La construccion de modelos es la base de esta t cnica, y se desare rollan dependiendo al campo a utilizar debido a que algunos modelos y resultados esperados generan un mayor gasto computacionl, el mod- Fig. 3. [Imagen de modelado volumetrico]. Recuperado de http://bit.ly/Seg6jB elo se puede representar de varias maneras: Contornos en dos dimensiones (2D): son una representacion plana del objeto a de Modelos hbridos: tectar, las caractersticas mas detalladas Este tipo de seguimiento obtiene un track tales como la ubicacion de los cartlagos ing mas robusto, tanto de bordes como que unen las partes, las posiciones de equide textura de regiones, combina los dos librio, en el caso de el seguimiento de modelos anteriores y se usa para seguir obpersonas, se le aplican a las uniones de los jetos que tengan articulacion, tiene menos contornos. informacion en el modelado pero sigue La principal desventaja de esta represiendo computacionalmente complejo. sentacion es que depende en gran medida

 TECNICAS DE TRACKING, VOL. 1, NO. 1, NOVIEMBRE 2012

2.2 Algortimos Estimacion de pose basado en modelo Algoritmo de DeMenthon: Le indicamos cuatro puntos no coplanares, de forma iterativa realiza una aproximacion de la proyeccion perspectiva, disminuyendo el error hasta que sea menor que un umbral Lowes pose estimator: simplica el c lculo y a expresa la traslacion en terminos de coor denadas de la c mara, busca la pocision y a orientacion de un objeto conocido[8]. 2.3 Tecnica basada en caracteristicas En muchos casos de tracking no se necesita de masiada informacion estructural para cumplir con su funcion, por este motivo se desarrollan los algoritmos no basados en modelo, mejor conocidos como T cnica basada en care actersticas, reduciendo asi el costo computa cional de tracking para determinados nes. Los algoritmos mas importantes son: Seguimiento basado en regiones: Identica una region de caractersticas sim ilares a la del objeto a identicar en el espacio de la imagen sensada utilizando una medida de similaridad o un par metro a de correlacion[1], Logra calcular la region est tica de la secuencia de imagenes, facilia tando la deteccion de los objetos que tienen una trayectoria. Seguimiento basado en contornos activos: Este tipo de algoritmos siguen objetos representando sus contornos como bordes bien denidos y actualizando estos frame a frame , la imagen se procesa con ltros que logran extraer formas del objeto para facilitar la deteccion de las caracteristicas. Seguimiento basado en rasgos: algoritmo trabajado cuando el objeto a indenticar tiene caractersticas sobresaliente como una determinada textura, color, esquinas. se detecta el objeto analizando rasgos din micos o rasgos est ticos, se ena a cuentran rasgos es ticos cuando el procea samiento es frame a frame sin tener en cuenta una aproximacion pasada, los din micos se procesan sobre frames cona secutivos valorando el movimiento del rasgo y busc ndolo en el siguiente frame. a

2.4

La vision por computador:

es el estudio de los m todos que permite e que un ordenador simule la vision humana, esta diciplina involucra otras ciencias e incluye estudios de fsica, matem ticas, inge a niera electronica[7]. 2.5 Procesamiento de imagenes:

es una diciplina que tiene como objetivo manipular alguna propiedad o aspecto de las im genes. a 2.6 Seguimiento de objetos (VideoTracking): Tracinking es el proceso de localizar uno o varios objetos en una secuencia im genes diga itales y es el resultado de generar modelos matem ticos aplicados a programas que sima ulan la vision de los seres vivos. 2.7 Matlab:

es un software orientado hacia el clculo numrico contiene un lenguaje de alto desempeo, in tegra la visualizacion y la programacion en un ambiente f cil de utilizar donde los problemas a y las soluciones se expresan en una notacion matem tica. a 2.8 Binnarizacion de una imagen:

es un proceso de reduccion de informacion encargado de convertir una imagen de entrada (cada frame de el video) en una imagen de salida en la que solo persistan dos valores que se representan en dos colores: blanco y negro. 2.9 Vecino mas proximo:

Cuando se habla de pixeles conectados entre si, es necesario precisar el tipo de conexion que se va a establecer, de eso depende una agrupacion de caractersticas de mayor o menor cantidad. En principio, un pixel de una malla rectangular puede estar conectado con los ocho pixeles que le rodean en un espacio plano o solamente con los cuatro mas cercanos, ello dio lugar a hablar de una conexion de tipo 8 o de tipo 4. En este proyecto la conexion sera de ocho vecinos

 TECNICAS DE TRACKING, VOL. 1, NO. 1, NOVIEMBRE 2012

Fig. 4. Binarizacion de una imagen mas cercanos como se muestra en la siguiente gura. Segmentacion. Es el proceso que delimita una imagen en las regiones que nos interesan.

Fig. 6. codigo

Fig. 5. vecinos mas cercanos

D ESCRIPCI ON DE EJEMPLOS

Descripcion del ejemplo pr ctico desarrollado a EL ejemplo que se realizo fue desarrollado en matlab, para comprender su funcionamiento se har una descripcion detallada a continuacion a del codigo. Codigo nal. Primero se debe activar la web cam por medio de la funcion videoinput que genera una ventana de video, nos permite denir el tamao de la ventana y capta los frames del video. Se denen las propiedades del video: FramesPerTrigger especica el numero de fo togramas que se adquieren por ejecucion usando como fuente el video generado(vid). ReturnedColorspace especica el tipo de color a

utilizar. FrameGrabInterval propiedad que especica la frecuencia con que el vdeo adquiere un fotograma. Finalmente se inicializa el video. La bucla de ejecucion nos analiza cada uno de las im genes correspondiente a los frames a adquiridos que despu s de un numero detere minado se detiene. se tiene que reconocer y seguir el color rojo dentro de cada imagen de la secuencia de im genes. a La funcion getnapshot obtiene una imagen correspondiente al frame actual en el que se en cuentra el video. la funcion imsubtract nos permite restar dos im genes, la imagen del frame a actual a la cual se le extrae el componente rojo, con ella misma pero en escala de grises, para identicar las diferencias generando ruido. La funcion medlt2 permite aplicar un ltro no lineal de la mediana. la funcion im2bw convierte la imagen en escala de grises a una imagen binaria. La imagen de salida sustituye todos los pxeles en la imagen de entrada con intensidad superior al nivel con el valor de 0.18, por el valor de 1 (blanco) y se reemplaza todas

 TECNICAS DE TRACKING, VOL. 1, NO. 1, NOVIEMBRE 2012

Se naliza las buclas de ejecucin. Con los dems pxeles con el valor 0 (negro) como se stop(vid) se detiene el video. ushdata(vid) observa en la gura 7. elimina todas las im genes guardados en el a buffer de la memoria.

4
Fig. 7. imagen binaria La funcin bwareapen nos permite eliminar de la imagen binaria todos los componentes conectados que tengan un area menor de 300 pixeles. la funcin bwlabel conecta todos los componentes en la imagen, bas ndose en la a t cnica de los 8 vecinos m s cercano de un e a pixel.

I MPLEMENTACI ON

4 ei s vc o n 4 ei s i oa s vc o d gnl n a e

8 ei s vc o n

Una vez el objetivo del proyecto este claro se empieza a implementar, en este ejemplo detectaremos objetos de determinado color, para el desarrollo del mismo contamos con una c mara que sensa la secuencia de im genes diga a itales y el software matlab, creamos un nuevo script y desarrollamos el codgio para que cada frame recorra unas etapas de procesamiento y genera un video con los objetos identicados, todo el proceso en tiempo real, eventualmente con el mismo codigo se puede importar un video previo y funciona de igual forma. Para rastrear los objetos del color predeterminado restamos cada frame de el video por el color a encontrar, posteriormente convertimos el resultado en una imagen binaria que permita establecer con mas claridad las regiones de interes y elimina de la misma, todas las caractersticas de vecino mas cercano (vease marco teorico) que sean menores a un numero de pixeles preestablecido para evitar marcar varias veces el mismo objeto debido a su tamao, luego etiqueta los componentes conectados de la imagen[9].

Fig. 8. formula de los vecinos mas cercanos la funcion regionprops hace un anlisis a las im genes, donde se obtiene un conjunto de a propiedades para cada region roja de inter s, e que recibe como argumente la matriz de elementos conectados que hemos calculo y se le pide el c lculo del centro y un marco(o caja) a que encerrara las areas identicadas de los elementos conectados. Por ultimo se visualiza la imagen. Hold on dibuja varias gracas en una misma gura. Despu s se hace una bucla para generar e las posiciones de los marcos del area y los tex tos con informacion del centro de las regiones rojas de inter s. Hold off hace que se olvide los e dibujos anteriores.

Fig. 9. Procesamiento de la imagen La fase nal del proceso se encarga de una adecuada visualizacion para el usuario, de las caractersticas ya identicadas, se extraen un conjunto de propiedades por cada region etiquetada, posteriormente se muestran en la imagen

R ESULTADOS
Para desarrollar un programa de este tipo, primero se aplica el procesamiento a una sola imagen como se muestra en la gura 10, el

 TECNICAS DE TRACKING, VOL. 1, NO. 1, NOVIEMBRE 2012

resultado es optimo, se observa como el programa separa las tonalidades rojas de las que no lo son y el resultado es una imagen bina ria. La visualizacion de los resultados para el

Fig. 12. Mi Figura queremos analizar como se observa en la gura numero 13. Fig. 10. Detecta el color rojo usuario es adecuada, se identican los objetos de color rojo delimitados por un marco como se observa en la gura 11.

Fig. 13. Mi Figura En muchas ocasiones, no hubo una respuesta positiva, como se observa en la gura 14, demuestra que no hay un programa general para Se observa como una persona esta frente detectar un objeto, y a mayor sea la exigencia a la c mara sin afectar el resultado, lo que a se debe utilizar una t cnica mas robusta. e comprueba que es un codigo eciente. ejemplos.pdf Fig. 11. Deteccion del objeto

AN ALISIS DE RESULTADOS
Los resultados obtenidos fueron los esperados, el programa detecta cuando un color rojo entra en el marco de vision de la c mara, validando a el procesamiento de cada imagen del video y su efectiva respuesta como se observa el la gura numero 12. En otro ejemplo con la misma t cnica para e detectar personas, el resultado fue mediana mente bueno, el potencial del codigo desarrollado es b sico, pero funciona bien cuando la a luz es adecuada, separando el fondo de lo que Fig. 14. codigo poco robusto

 TECNICAS DE TRACKING, VOL. 1, NO. 1, NOVIEMBRE 2012

C ONCLUSIONES

Hay una buena cantidad de t cnicas para e tracking, para escoger la adecuada se analiza el producto nal y cual es el objeto a detectar, no se requiere hacer un programa robusto para detectar una gura b sica. a A mayor complejidad de el resultado, las t cnicas de tracking se trabajan volumetrie camente, dejando un mnimo margen de error entre lo que se busca y lo que se detecta Las funciones de matlab optimizan el programa a tal punto que el codigo nal es la estructura del procesamiento, f cil de a entender y manipular.

octubre de 2012 en http://bit.ly/VelVmC. Ultima fecha de acceso: 30 de octubre de 2012.

R EFERENCES
[1] Javier Garcia, Tracking de personas a partir de visi n articial. o Universidad Carlos III, Madrid. Obtenido el 20 de octubre de 2012 en http://bit.ly/RrYseR. Ultima fecha de acceso: 28 de octubre de 2012. [2] Stanney Kay, Handbook of virtual environments: Design, Implementatio, and Applications,primera ed. Mahwah, NJ, US: Lawrence Erlbaum Associates Publishers. (2002) [3] Sablatning Robert, Robust Object Tracking Based on TrackingLearning Detection. Facultad de inform tica de la Univera sidad de Wien en Austria. Obtenido el 20 de octubre de 2012 en http://bit.ly/LbQYuX. Ultima fecha de acceso: 28 de octubre de 2012 [4] Online learning of robust object detectors during unstable tracking. Kyoto, Japan, IEEE CS. Obtenido el 20 de octubre de 2012 en http:http://bit.ly/fXtscP. Ultima fecha de acceso: 28 de octubre de 2012 [5] Don Murray and Anup Basu, Motion Tracking with an Active . Obtenido el 20 de octubre de 2012 en http://bit.ly/RwObwc. Ultima fecha de acceso: 28 de octubre de 2012. [6] Investigaci n sobre el seguimiento facial . Obtenido el 20 de o octubre de 2012 en http://bit.ly/Seg6jB. Ultima fecha de acceso: 28 de octubre de 2012. [7] Algoritmos de localizaci n basados en procesamiento de o im genes . a Obtenido el 20 de octubre de 2012 en http://bit.ly/Tc97Zs. Ultima fecha de acceso: 28 de octubre de 2012. [8] Carlos P rez and Oscar Reinoso, Tncnicas de tracking: e e Seguimiento visual de objetos mediante el control de los par metros de una c mara motorizada. Obtenido el 15 de a a octubre de 2012 en http://bit.ly/YrKefq. Ultima fecha de acceso: 29 de octubre de 2012. [9] Vladimir Kravtchenko, Tracking color objects in real time. The University of British Columbia, Vancouver, BC, Canada 1999. Obtenido el 20 de octubre de 2012 en http://bit.ly/Toui8r. Ultima fecha de acceso: 26 de octubre de 2012. [10] Marlon Narvaez and Migel Sarria, Seguimiento en tiempo real de objetos sobre secuencia de imagenes empleando dispos itivos de l gica programable. Universidad tecnologica de o Pereira, facultad de ingeniera 2010. Obtenido el 22 de