Segmentación robusta de imágenes a color aplicada a un robot de servicio

Abstract

Color image segmentation is a very important field in computational vision and is widely used in many application fields. This segmentation allows a mobile robot to know the existence and position of determined objects of interest that are inside the environment of the robot. The task of segmenting a color image in a mobile robot must consider, lighting changes in the environment and the different perception of an object for the camera, depending on the object orientation and the distance to the object. In this thesis, we present a robust segmentation method for color image to lighting changes and object location. The method proposes a bayesian model of supervised learning that involves maximization of discriminant functions based on color histograms of the images, adding restrictions of spatial coherence. Spatial coherence includes formally in the optimization model the idea that adjacent pixels of the image are more likely to belong to the same object. The segmentation method was integrated to a mobile robot equipped with a camera and a gripper, it is capable of gather color balls and take them to little deposits. To get the robot to accomplish its task, we developed an application in C++ language with the OpenCV library. Between other tasks, we aboard the acquisition of images, camera calibration, color histogram calculation, calculation of an upper view (bird's eye) of the objects (from the camera image), etc. We made experiments to check the mobile robot performance in the task of gather color balls using the segmentation proposed and the developed application.

La segmentación de imágenes de color es un área importante en la visión computacional y es ampliamente utilizada en muchos campos de aplicación. Esta segmentación le permite a un robot móvil conocer la existencia y ubicación de determinados objetos de interés que se encuentran dentro de su ambiente. La tarea de segmentar una imagen a color en un robot móvil debe considerar, entre otros factores, los cambios de iluminación en el ambiente y la diferente percepción del objeto por una cámara, dependiendo de la orientación del objeto y la distancia del objeto a la cámara. En esta tesis, se presenta un método de segmentación de imágenes a color robusto ante cambios de iluminación y de ubicación de objetos. El método propone un modelo bayesiano de aprendizaje supervisado que involucra la maximización de funciones discriminantes basadas en los histogramas de color de las imágenes, agregando restricciones de coherencia espacial. La coherencia espacial incluye, formalmente en el modelo de optimización, la idea intuitiva de que pixeles adyacentes de la imagen muy probablemente corresponden al mismo objeto. El método de segmentación propuesto se integró en un pequeño robot móvil equipado con una cámara y una pinza, capaz de recoger pelotas de colores y transportarlas a pequeños cestos o depósitos. Para que el robot pudiera realizar la tarea, se desarrolló una aplicación en el lenguaje C++ utilizando la biblioteca OpenCV. Se abordó la adquisición de las imágenes, calibración de la cámara, cálculos de los histogramas de color, obtención de una vista superior (vista de pájaro) de los objetos (a partir la imagen obtenida de la cámara), etc. Se realizaron experimentos para valorar el desempeño del robot móvil en la tarea de recolección de pelotas de color utilizando la segmentación propuesta y la aplicación desarrollada.