Modelización e inferencia bayesiana en problemas de reconstrucción y clasificación de imágenes

Zusammenfassung

I. INTRODUCCIÓN Una buena parte de las investigaciones y aplicaciones en reconstrucción y clasificación de imágenes se centran en la resolución de problemas inversos, esto es, a partir de un evento observado, encontrar las causas más probables que lo han provocado. Estos problemas han sido abordados siguiendo numerosas aproximaciones. Las estructuras espectrales y espaciales de las imágenes, provocan una alta correlación entre los píxeles, que puede ser explotada explicitamente por métodos probabilísticos (véase por ejemplo, [1,2,3,4]). Problemas de reconstrucción y clasificación de imágenes como restauración de imágenes [5,6,7], deconvolución ciega [8,9,10], super-resolución [11,12,13], adquisición del campo de luz [14,15,16], pansharpening [17], clasificación de imágenes multiespectrales [18,19,20,21], aprendizaje activo [22,23,24], recuperación de vídeo [25,26,27], compresión de vídeo [28], vídeo vigilancia [29], reconocimiento de caras [30,31,32], registrado de imágenes [33] y el tratamiento de imágenes médicas [34] entre otros, pueden abordarse usando modelización e inferencia bayesiana. Un principio fundamental de la filosofía bayesiana es considerar todos los parámetros y variables no observadas como cantidades estocásticas, asignándoles distribuciones de probabilidad basadas en creencias. Por ejemplo, a veces en reconstrucción de imágenes, la imagen original, el ruido de la observación, e incluso la función que define el proceso de adquisición de la observación, son tratadas como variables aleatorias, asignándoles funciones de densidad que modelan el conocimiento disponible sobre la naturaleza de las imágenes y el proceso de formación de la imagen observada. Dentro de la inferencia bayesiana, los métodos variacionales bayesianos (VB) han atraído el interés de la comunidad estadística bayesiana, la dedicada al aprendizaje automático, así como la de otras áreas relacionadas. La mayor desventaja de los métodos de inferencia tradicionales, como máxima verosimilitud o máximo a posteriori, es que no hacen uso de la información que aporta la distribución a posteriori. El algoritmo EM requiere un conocimiento completo de la distribución a posteriori que, en muchas ocasiones, no puede ser calculada. Los métodos de simulación consiguen obtener la distribución a posteriori pero en la práctica son métodos computacionalmente muy costosos. Los métodos VB [35,36,37,1,38,39] consiguen superar estas limitaciones aproximando la distribución a posteriori desconocida por una distribución más simple y analíticamente tratable y, por tanto, extender la aplicabilidad de la inferencia bayesiana a un mayor rango de modelizaciones. Por ejemplo, permite usar con facilidad distribuciones a priori más complejas (las cuales son muchas veces necesarias en problemas de procesamiento de imágenes) consiguiendo mejorar la exactitud de las estimaciones. En esta tesis doctoral, exploramos la aplicación de la modelización e inferencia bayesiana a los siguientes problemas: restauración de imágenes, deconvolución ciega, clasificación de imágenes multiespectrales, aprendizaje activo, adquisición de campos de luz y recuperación de vídeo. De esta forma demostramos la amplia aplicabilidad de esta metodología para resolver un amplio rango de problemas de procesamiento de imágenes y clasificación. La memoria contiene contribuciones generales y específicas. Incluye una revisión de los modelos bayesianos que se han aplicado al problema de deconvolución ciega, así como contribuciones en problemas muy específicos. Este formato de tesis abordando una amplia gama de problemas hace que sea particularmente útil para cualquiera que esté interesado en aprender sobre modelización e inferencia bayesiana. II. ESTRUCTURA DE LA TESIS DOCTORAL El principal objetivo de esta tesis doctoral es el estudio de la modelización e inferencia bayesiana y su aplicación a problemas de reconstrucción y clasificación de imágenes, que hemos agrupado en tres bloques: restauración de imágenes y deconvolución ciega, clasificación de imágenes multiespectrales y aprendizaje activo y otros problemas relacionados (adquisición de campos de luz y recuperación de video). La tesis se presenta en la modalidad de ``compendio'' y a continuación citamos las contribuciones en cada uno de los bloques. II-A. Bloque I: Restauración de Imágenes y Deconvolución Ciega * H. Madero-Orozco, P. Ruiz, J. Mateos, R. Molina, y A.K. Katsaggelos, ¿Image Deblurring Combining Poisson Singular Integral and Total Variation Prior Models¿ en 21th European Signal Processing Conference (EUSIPCO 2013), 1569744251, Marrakech (Marruecos), Septiembre 2013. * P. Ruiz, H. Madero-Orozco, J. Mateos, O.O. Vergara-Villegas, R. Molina, y A.K. Katsaggelos, ¿Combining Poisson Singular Integral and Total Variation Prior Models in Image Restoration¿, Signal Processing, vol. 103, 296-308, Octubre 2014. * P. Ruiz, X. Zhou, J. Mateos, R. Molina, y A.K. Katsaggelos, ¿Variational bayesian Blind Image Deconvolution: A Review¿, Digital Signal Processing, 2015. doi:10.1016/j.dsp.2015.04.012 (Aceptado para publicación. Disponible online desde 4 Mayo 2015) II-B. Bloque II: Clasificación de Imágenes Multiespectrales y Aprendizaje Activo * P. Ruiz, J.V. Talens, J. Mateos, R. Molina, y A.K. Katsaggelos, ¿Interactive Classification Oriented Superresolution of Multispectral Images¿ en 7th International Workshop Data Analysis in Astronomy (DAA2011), editado por Livio Scarsi and Vito Di Gesù, 77-85, Erice (Italy), Abril 2011. * P. Ruiz, J. Mateos, R. Molina, y A.K. Katsaggelos, ¿Learning Filters in Gaussian Process Classification Problems¿, en IEEE International Conference on Image Processing (ICIP 2014), 2913-2917, Paris (Francia), Octubre 2014. * P. Ruiz, J. Mateos, R. Molina, y A.K. Katsaggelos, ¿A bayesian Active Learning Framework for a Two-Class Classification Problem¿ \emph{en MUSCLE International Workshop on Computational Intelligence for Multimedia Understanding, editado por Emanuele Salerno, A. Enis Çetin y Ovidio Salvetti, vol. LNCS-7252, 42-53, Pisa (Italia), 2012. * P. Ruiz, J. Mateos, G. Camps-Valls, R. Molina, y A.K. Katsaggelos, ¿Bayesian Active Remote Sensing Image Classification¿, IEEE Transactions on Geoscience and Remote Sensing, vol. 52, no. 4, 2186-2196, Abril 2014. * P. Ruiz, N. Pérez de la Blanca, R. Molina, y A.K. Katsaggelos, ¿Bayesian Classification and Active Learning Using Lp-Priors. Application to Image Segmentation¿ , en 22th European Signal Processing Conference (EUSIPCO 2014), 1183-1187, Lisboa (Portugal), Septiembre 2014. II-C. Bloque III: Otros Problemas Relacionados (Adquisición de Campos de Luz y Recuperación de Video) En el problema de adquisición de campos de luz se publicaron las siguientes contribuciones: * S.D. Babacan, R. Ansorge, M. Luessi, P. Ruiz, R. Molina, y A. K. Katsaggelos, ¿Compressive Light Field Sensing¿, IEEE Transaction on Image Processing, vol. 21, no. 12, 4746-4757, Diciembre 2012. * P. Ruiz, J. Mateos, C. Cárdenas, S. Nakajima, R. Molina, y A.K. Katsaggelos, ¿Light Field Acquisition from Blurred Observations Using a Programmable Coded Aperture Camera¿, en 21th European Signal Processing Conference (EUSIPCO 2013), 1569743131, Marrakech (Marruecos), Septiembre 2013. Para el problema de recuperación de video se presentaron las siguientes publicaciones: *P. Ruiz, S.D. Babacan, L. Gao, Z. Li, R. Molina, y A.K. Katsaggelos, ¿Video Retrieval Using Sparse bayesian Reconstruction¿, en IEEE International Conference on Multimedia and Expo (ICME2011), 1-6, Barcelona (España), Julio 2011. * P. Ruiz, S.D. Babacan, R. Molina, y A.K. Katsaggelos, ¿Retrieval of Video Clips with Missing Frames using Sparse bayesian Reconstruction¿, en 7th International Symposium on Image and Signal Processing and Analysis (ISPA 2011), 443-448, Dubrovnik (Croacia), Septiembre 2011. III. Conclusiones En esta tesis doctoral hemos aplicado la modelización e inferencia bayesiana a problemas de recuperación y clasificación de imágenes. Hemos demostrado que los problemas de restauración de la imagen, deconvolución ciega imagen, clasificación de imágenes multiespectrales, pansharpening, aprendizaje activo, adquisición de campos de luz y recuperación de vídeo se pueden modelar dentro del marco bayesiano, y la inferencia bayesiana nos ha permitido estimar la solución de estos problemas. En algunos casos, se han utilizado estimadores puntuales para reducir los problemas de inferencia a problemas de optimización. En otros casos, la inferencia variacional nos ha permitido aproximar la distribución a posteriori y estimar los parámetros del modelo. En las secciones experimentales, los métodos propuestos han demostrado ser muy precisos y eficientes y, en casi todos los casos, han llegado a superar los métodos de última generación. A continuación detallamos las conclusiones específicas para cada bloque. III-A. Bloque I: Restauración de Imágenes y Deconvolución Ciega * Hemos presentado un nuevo método de restauración de imágenes que utiliza Modelización e Inferencia Bayesuiana para combinar dos modelos a priori: el modelo de variación total (TV), que realza las fronteras y suaviza las regiones planas, y el modelo de la integral singular de Poisson (PSI) que es capaz de conservar texturas. El producto final es un algoritmo de restauración que combina las ventajas de ambos métodos. Además se ha llevado a cabo un estudio sobre los modelos TV y PSI, y los parámetros que controlan su forma, y hemos concluido que ni el modelo TV ni el PSI por separado pueden conseguir restauraciones que a la vez recuperen textura y controlen el ruido. Finalmente se ha llevado a cabo un conjunto de experimentos donde el método propuesto ha sido comparado con otros modelos clásicos y del estado del arte. Los experimentos llevados a cabo demuestran que, en imágenes con detalles y regiones planas, el modelo de restauración propuesto, que combina los modelos TV y PSI, obtienen los mejores resultados. * También hemos realizado una revisión sobre los métodos bayesianos de deconvolución de imágenes que existen en la literatura (BID). Hay dos sucesos que marcan la historia reciente de BID: el creciente interés de la comunidad de visión por computador en resolver problemas de BID y el dominio de la inferencia bayesiana como herramienta para resolverlos. El uso de métodos VB en combinación con modelos de imagen como los basados en las representaciones de Super Gaussianas y Mezcla Escalada de Gaussianas ha conducido a herramientas muy generales y potentes que consiguen muy buenas restauraciones a partir de las imágenes emborronadas. También se han aportado ejemplos de restauraciones con métodos en el estado del arte y se han discutido problemas que marcarán el futuro cercano de las investigaciones en BID. III-B. Bloque II: Clasificación de Imágenes Multiespectrales * Hemos demostrado que las técnicas de pansharpening pueden ser usadas para mejorar el rendimiento de los métodos de clasificación en imágenes multiespectrales. Para ello se ha abordado el problema de modificar adaptativamente los parámetros de los métodos de pansharpening con el objetivo de mejorar las medidas de clasificación sobre una clase dada sin deteriorar el rendimiento sobre las otras clases. La validez de la técnica propuesta ha sido demostrada usando un imagen real de Quickbird. * También hemos presentado un método que filtra y clasifica imágenes de forma conjunta. Usando la modelización bayesiana y la inferencia variacional hemos desarrollado un algoritmo iterativo que estima los parámetros del clasificador y un banco de filtros óptimo de forma conjunta. En la sección experimental demostramos que los filtros estimados ayudan a mejorar el rendimiento en clasificación. El método propuesto se comparó con otras aproximaciones de clasificación/filtrado, y los resultados experimentales demostraron que el método propuesto es más preciso y eficiente. * Hemos presentado una aproximación bayesiana no-paramétrica basada en núcleos para clasificación de imágenes multiespectrales. A partir de la información proporcionada por el clasificador se han desarrollado técnicas de aprendizaje activo que mostraron un rendimiento comparable a técnicas de aprendizaje activo recientes, que utilizan máquinas de vectores soporte (SVM). Los tres métodos desarrollados fueron: máxima diferencia de entropías, mínima distancia a la frontera de decisión y mínima distancia normalizada. La estimación de los parámetros se hace de forma automática. La aproximación propuesta fue probada en varios escenarios para resolver el problema de la monitorización urbana con imágenes multiespectrales y datos de radar SAR. Se observó que, aunque el rendimiento en clasificación era muy similar a SVM, en aprendizaje activo los métodos propuestos consiguen una mejora importante. * También hemos abordado el problema de clasificación imponiendo que los coeficientes adaptativos tengan mínima pseudo norma Lp. Así los coeficientes adaptativos correspondientes a las características no relevantes se harán cero, lo que nos permite identificarlos. Se usó la inferencia variacional bayesiana para estimar todos los parámetros del modelo y además se probó la relación con distribuciones a priori gaussianas independientes. También se calculó la distribución predictiva de las clases, lo que nos permitió desarrollar dos nuevas técnicas de aprendizaje activo para este clasificador: máxima entropía y mínima probabilidad. En la sección experimental, los resultados demostraron que el uso de las distribuciones Lp permiten al clasificador seleccionar las características discriminatorias y descartar la componentes que no son relevantes. La aproximación propuesta ha demostrado ser más precisa que los métodos SVM en problemas de clasificación y aprendizaje activo. III-C. Bloque III: Otros Problemas Relacionados (Adquisición de Campos de Luz y Recuperación de Vídeo) * En adquisición de campos de luz, hemos presentado un nuevo prototipo de cámara que usa apertura codificada para captar el campo de luz de una escena. Este prototipo fue desarrollado en colaboración con el Instituto Andaluz de Astrofísica (IAA). En [15] se colaboró para desarrollar un sistema que usa la teoría de muestreo compresivo para obtener el campo de luz tomando muchas menos observaciones que vistas del campo de luz. Además en [16], abordamos el problema de recuperar el campo de luz a partir de observaciones emborronadas, que aparecen debido a la profundidad de campo limitada de las cámaras. Hemos desarrollado un método para deconvolucionar el campo de luz y obtener imágenes nítidas a partir de observaciones emborronadas, que ha funcionado sobre imágenes sintéticas y reales. * En recuperación de vídeo hemos desarrollado un sistema robusto y eficiente, basado en el uso de representaciones ralas, muestreo compresivo y modelización bayesiana del problema de recuperación de vídeo. Los resultados experimentales han demostrado que el método propuesto funciona mejor que los métodos existentes en el estado del arte. También hemos demostrado que el modelo propuesto es muy efectivo y robusto a ruido y fotogramas perdidos, y no requiere métodos sofisticados de extracción de características. Además, el modelo propuesto tiene un menor coste computacional que algunos de los métodos de recuperación de vídeo en el estado del arte consiguiendo, al mismo tiempo, una muy alta precisión en la recuperación. REFERENCIAS [1] C. Bishop, Pattern Recognition and Machine Learning, Springer, New York, 1st edition, Feb. 2007. [2] D. Barber, Bayesian Reasoning and Machine Learning, Cambridge University Press, 2012. [3] K.P. Murphy, Machine Learning: A Probabilistic Perspective, The MIT Press, Cambridge, MA, 1st edition, Aug. 2012. [4] S.J.D. Prince, Computer Vision: Models, Learning, and Inference, Cambridge University Press, New York, 1st edition, June 2012. [5] S.D. Babacan, Bayesian Techniques for Image Recovery, Ph.D. thesis, Northwestern University, 2009. [6] R. Molina, J. Nu¿nez, F.J. Cortijo, and J. Mateos, ¿Image Restoration in Astronomy: A Bayesian Perspective,¿ IEEE Signal Processing Magazine, vol. 18, no. 2, pp. 11¿29, Mar. 2001. [7] A. Carasso, ¿Singular Integrals, Image Smoothness, and the Recovery of Texture in Image Deblurring,¿ SIAM Journal on Applied Mathematics, vol. 64, no. 5, pp. 1749¿1774, 2004. [8] T.E. Bishop, S.D. Babacan, B. Amizic, T. Chan, R. Molina, and A.K. Katsaggelos, ¿Blind Image Deconvolution: Problem Formulation and Existing Approaches,¿ in Blind Image Deconvolution: Theory and Applications. CRC Press, Campisi, P. and Egiazarian, K. edition, 2007. [9] S.D. Babacan, R. Molina, M.N. Do, and A.K. Katsaggelos, ¿Bayesian Blind Deconvolution with General Sparse Image Priors,¿ in Computer Vision ¿ ECCV 2012, A. Fitzgibbon, S. Lazebnik, P. Perona, Y. Sato, and C. Schmid, Eds., number 7577 in Lecture Notes in Computer Science, pp. 341¿355. Springer Berlin Heidelberg, 2012. [10] P. Ruiz, X. Zhou, J. Mateos, R. Molina, and A.K. Katsaggelos, ¿Variational Bayesian Blind Image Deconvolution: A review,¿ Digital Signal Processing, 2015. [11] A.K. Katsaggelos, R. Molina, and J. Mateos, Super Resolution of Images and Video, Morgan and Claypool, 2007. [12] M.G. Kang and S. Chaudhuri, ¿Super-resolution Image Reconstruction,¿ IEEE Signal Processing Magazine, vol. 20, no. 3, pp. 19¿20, May 2003. [13] S. Chaudhuri and J. Manjunath, Motion-free Super-resolution, Springer, 2005. [14] C.-K. Liang, T.-H. Lin, B.-Y. Wong, C. Liu, and H.H. Chen, ¿Programmable Aperture Photography: Multiplexed Light Field Acquisition,¿ in ACM SIGGRAPH 2008 Papers, New York, NY, USA, 2008, SIGGRAPH ¿08, pp. 55:1¿55:10, ACM. [15] S.D. Babacan, R. Ansorge, M. Luessi, P. Ruiz-Matarán, R. Molina, and A.K. Katsaggelos, ¿Compressive Light Field Sensing,¿ IEEE Transactions on Image Processing, vol. 21, no. 12, pp. 4746¿4757, 2012. [16] P. Ruiz, J. Mateos, M.C. Cardenas, S. Nakajima, R. Molina, and A.K. Katsaggelos, ¿Light Field Acquisition from Blurred Observations Using a Programmable Coded Aperture Camera,¿ in Proceedings of the 21st European Signal Processing Conference (EUSIPCO 2013), Sept. 2013, pp. 1¿5. [17] I. Amro, J. Mateos, M. Vega, R. Molina, and A. K. Katsaggelos, ¿A Survey of Classical Methods and New Trends in Pansharpening of Multispectral Images,¿ EURASIP Journal on Advances in Signal Processing, vol. 2011, no. 1, pp. 79, September 2011. [18] J.M. Bioucas-Dias and M.A.T. Figueiredo, ¿An Iterative Algorithm for Linear Inverse Problems with Compound Regularizers,¿ in 15th IEEE International Conference on Image Processing (ICIP 2008), Oct. 2008, pp. 685¿688. [19] P. Mitra, B. Uma-Shankar, and S.K. Pal, ¿Segmentation of Multispectral Remote Sensing Images Using Active Support Vector Machines,¿ Pattern Recognition Letters, vol. 25, no. 9, pp. 1067¿1074, July 2004. [20] L. Gomez-Chova, D. Fernández-Prieto, J. Calpe, E. Soria, J. Vila, and G. Camps-Valls, ¿Urban Monitoring Using Multi-temporal SAR and Multi-spectral Data,¿ Pattern Recognition Letters, vol. 27, no. 4, pp. 234¿243, Mar. 2006. [21] J. Li, J.M. Bioucas-Dias, and A. Plaza, ¿Hyperspectral Image Segmentation Using a New Bayesian Approach With Active Learning,¿ IEEE Transactions on Geoscience and Remote Sensing, vol. 49, no. 10, pp. 3947¿3960, Oct. 2011. [22] B. Settles, ¿Active Learning Literature Survey,¿ Technical Report, Department of Computer Science, University of Wisconsin-Madison, Madison. WI, USA, 2009. [23] J. Paisley, X. Liao, and L. Carin, ¿Active Learning and Basis Selection for Kernel-Based Linear Models: A Bayesian Perspective,¿ IEEE Transactions on Signal Processing, vol. 58, no. 5, pp. 2686¿2700, May 2010. [24] D. Tuia, F. Ratle, F. Pacifici, M.F. Kanevski, and W.J. Emery, ¿Active Learning Methods for Remote Sensing Image Classification,¿ IEEE Transactions on Geoscience and Remote Sensing, vol. 47, no. 7, pp. 2218¿2232, July 2009. [25] L. Gao, Z. Li, and A.K. Katsaggelos, ¿Fast Video Shot Retrieval with Luminance Field Trace Indexing and Geometry Matching,¿ in IEEE International Conference on Image Processing(ICIP 2006), Oct. 2006, pp. 1497¿1500. [26] L. Gao, Z. Li, and A.K. Katsaggelos, ¿A Video Retrieval Algorithm Using Random Projections,¿ in 16th IEEE International Conference on Image Processing (ICIP 2009), Nov. 2009, pp. 797¿800. [27] J. Law-To, L. Chen, A. Joly, I. Laptev, O. Buisson, V. Gouet-Brunet, N. Boujemaa, and F. Stentiford, ¿Video Copy Detection: A Comparative Study,¿ in Proceedings of the 6th ACM International Conference on Image and Video Retrieval, New York, NY, USA, 2007, CIVR ¿07, pp. 371¿378, ACM. [28] J. Wang, Y. Shi, W. Ding, and B. Yin, ¿A Low-rank Matrix Completion Based Intra Prediction for H.264/AVC,¿ in IEEE 13th International Workshop on Multimedia Signal Processing, 2011, pp. 1¿6. [29] S.D. Babacan, M. Luessi, R. Molina, and A.K. Katsaggelos, ¿Sparse Bayesian Methods for Low-Rank Matrix Estimation,¿ IEEE Transactions on Signal Processing, vol. 60, no. 8, pp. 3964¿3977, 2012. [30] A. Wagner, J. Wright, A. Ganesh, Z. Zhou, H. Mobahi, and Y. Ma, ¿Toward a Practical Face Recognition System: Robust Aligment and Illumination by Sparse Representation,¿ IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 2, pp. 372¿386, 2012. [31] T. Goodall, S. Gibson, and M.C. Smith, ¿Parallelizing Principal Component Analysis for Robust Facial Recognition Using CUDA,¿ in Symposium on Application Accelerators in High Performance Computing, 2012, pp. 121¿124. [32] J. Wright, A.Y. Yang, A. Ganesh, S.S. Sastry, and Yi Ma, ¿Robust Face Recognition via Sparse Representation,¿ IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 2, pp. 210¿227, Feb. 2009. [33] Y. Peng, A. Ganesh, J. Wright, W. Xu, and Y. Ma, ¿RASL: Robust Alignment by Sparse and Low-rank Decomposition for Linearly Correlated Images,¿ in IEEE Conference on Computer Vision and Pattern Recognition, 2010, pp. 763¿770. [34] J.P. Haldar and Z. Liang, ¿Spatiotemporal Imaging with Partially Separable Functions: A Matrix Recovery Approach,¿ in IEEE International Symposium on Biomedical Imaging: From Nano to Macro, 2010, pp. 716¿719. [35] Z. Chen, S.D. Babacan, R. Molina, and A.K. Katsaggelos, ¿Variational Bayesian Methods For Multimedia Problems,¿ IEEE Transactions on Multimedia, vol. 16, no. 4, pp. 1000¿1017, June 2014. [36] M.J. Beal, Variational Algorithms for Approximate Bayesian Inference, Ph.D. thesis, The Gatsby Computational Neuroscience Unit, University College London, 2003. [37] J. Miskin, Ensemble Learning for Independent Component Analysis, Ph.D. thesis, Astrophysics Group, University of Cambridge, 2000. [38] S.T. Jaakkola and Jordan I.M., ¿Bayesian Parameter Estimation via Variational Methods,¿ Statistics and Computing, vol. 10, no. 1, pp. 25¿37, 2000. [39] D.G. Tzikas, C. L. Likas, and N. P. Galatsanos, ¿The Variational Approximation for Bayesian Inference,¿ IEEE Signal Processing Magazine, vol. 25, no. 6, pp. 131¿146, 2008. [40] C.W. Fox and S.J. Roberts, ¿A Tutorial on Variational Bayesian Inference,¿ Artificial Intelligence Review, vol. 38, no. 2, pp. 85¿95, 2012.