Póster sobre el IPCV-LAB (equipo: Seekur Jr rover, Husky-A200 rover, video)
Poster about the IPCV-LAB (in english)
Video sobre cómo el IPCV-LAB aporta a la UCR
Video sobre el proyecto principal de investigación del IPCV-LAB
Geovanni Martinez, “Real-time robot 3D pose computation from NIR imagery and ToF depth maps for space applications”, Trends and Challenges in Multidisciplinary Research for Global Sustainable Development, Book series: Lecture Notes in Networks and Systems, vol 965, Springer, Cham, pp. 15–27, 2024. https://doi.org/10.1007/978-3-031-57620-1_2
¿Qué hacemos?
Realizamos investigación básica para el desarrollo de nuevas tecnologías, que a partir del procesamiento de señales multidimensionales, tales como señales de vídeo y/o señales de profundidad, sean capaces de estimar automáticamente la forma, el color, la posición, la orientación y el movimiento de objetos reales, para aplicaciones tales como la robótica autónoma para exploración espacial, la teleoperación de robots humanoides por inmersión tridimensional, la compresión de vídeo, la monitorización on-line de procesos biológicos, la inspección on-line para las industrias de semiconductores y alimentaria, los juegos electrónicos, entre muchas otras aplicaciones.
Biografía corta del coodinador
El Dr. Geovanni Martínez obtuvo el título de Doctor en Ingeniería (Dr.-Ing.) por el "Institut fuer Theoretische Nachrichtentechnik und Informationsverarbeitung" (Instituto de Telecomunicaciones Teóricas y Procesamiento de Información), ahora conocido como "Institut fuer Informationsverarbeitung", de la Leibniz Universitaet Hannover, Alemania, en 1998. En su tesis doctoral investigó un algoritmo para estimar la forma, el movimiento y el color de la cabeza y tronco de una persona, mediante el procesamiento de una señal de vídeo, y su aplicación en la compresión de dicha señal a muy bajos bit-rates (ver tesis) para prestar el servicio de videotelefonía. Su director de tesis fue el Prof. Dr.-Ing. H.-G. Musmann. De agosto de 2000 a junio de 2002, continuó sus investigaciones sobre estimación del movimiento de las diferentes partes de una persona, esta vez sobre estimación del movimiento del brazo y antebrazo mediante el procesamiento de una señal de vídeo, para la teleoperación por inmersión tridimensional del brazo y antebrazo de un robot humanoide para aplicaciones espaciales llamado ROBONAUT, en un trabajo postdoctoral que realizó en la Universidad de Houston y el Centro Espacial Johnson de la NASA al lado del Prof. Ioannis Kakadiaris y Darby Magruder, respectivamente (ver reporte técnico). En 1997 se incorporó al cuerpo docente de la Universidad de Costa Rica, donde actualmente es profesor catedrático. Es fundador y coordinador del Laboratorio de Investigación en Procesamiento de Imágenes y Visión por Computador (IPCV-LAB). Actualmente investiga un algoritmo conocido como algoritmo de odometría NIR ToF monocular, capaz de determinar la posición y orientación de un robot de exploración planetaria a partir del procesamiento de dos señales, una señal de vídeo monocular en infrarrojo cercano (NIR) y una señal de profundidad en tiempo de vuelo (ToF), ambas proporcionadas por una cámara NIR ToF fijada rígidamente al lado del robot mirando hacia la superficie. También lo está ampliando para que éste también pueda construir simultáneamente un mapa de la superficie por la que ha pasado el robot, con el fin de transformarlo en un algoritmo de localización y mapeo simultáneos monocular, que ha denominado SLAM NIR ToF monocular. El Dr. Martínez también tiene experiencia en investigación y desarrollo de algoritmos para la monitorización de procesos biológicos mediante el procesamiento de una señal de vídeo proporcionada por un microscopio in-situ y en la inspección en línea de productos mediante el procesamiento de señales de vídeo para las industrias de semiconductores y alimentaria. Al principio de su carrera académica, tuvo la oportunidad de trabajar en el diseño, implementación y prueba de una central telefónica privada (PABX), digital, de bajo coste y escalable. Tiene numerosas publicaciones en conferencias y revistas internacionales arbitradas e indexadas. En 2002, el Gobierno de Costa Rica le concedió el Premio Nacional de Tecnología Clodomiro Picado Twight por su destacada trayectoria en el ámbito de la investigación tecnológica. En 2010 recibió el Premio al Investigador de la Universidad de Costa Rica por sus contribuciones al desarrollo tecnológico del país. Ahora está buscando una nueva oportunidad de colaboración para llevar su investigación en odometría y SLAM NIR ToF monocular al siguiente nivel, que es probarlos en robots reales de la nueva generación de robots de exploración del sistema solar, especialmente robots de exploración lunar y marciana.
Principal Proyecto de investigación
Los robots de exploración planetaria deben ser capaces de moverse de forma autónoma siguiendo trayectorias previamente enviadas desde la Tierra o planificadas por los propios robots en los lugares de exploración. Por ello, deben llevar tecnología capaz de determinar su pose 3D (posición y orientación) en cualquier momento, ya que ese conocimiento puede utilizarse para detectar si se están desviando de las trayectorias planificadas. Si se detectan desviaciones, los robots deben iniciar las acciones de control necesarias para modificar sus rumbos y volver y permanecer en las trayectorias previstas, ya que, de lo contrario, podrían meterse en lugares de los que no podrían salir sin dañar sus estructuras, poniendo en peligro un día entero de exploración o incluso toda una misión. Para contribuir en la solución de ese problema, actualmente estamos investigando un algoritmo capaz de determinar la pose 3D de un robot de exploración a partir del procesamiento de dos señales, una señal de vídeo en el infrarrojo cercano (NIR) y una señal de profundidad por tiempo de vuelo pulsado (ToF), ambas proporcionadas por una cámara NIR ToF fijada rígidamente a un costado de un robot mirando hacia el terreno. Queremos demostrar que sí es posible obtener la pose de un robot mediante el procesamiento de una señal de video monocular y que, si además consideramos en el procesamiento a la señal de profundidad correspondiente, es posible determinarla con mucha precisión aún en terrenos irregulares. Además, como la cámara trabaja en la región del infrarrojo cercano del espectro electromagnético, el algoritmo también es capaz de trabajar en la oscuridad y no se ve afectado por los cambios de iluminación locales debidos a las sombras en movimiento. Por otro lado, el algoritmo no intenta estimar la pose del robot en una sola etapa, como se hace tradicionalmente con técnicas de estimación no lineal que suelen requerir muy buenas condiciones iniciales y el establecimiento de correspondencias entre puntos característicos, sino en dos etapas, estimando primero el movimiento del robot entre imágenes, y luego integrando el movimiento estimado a lo largo del tiempo utilizando reglas de composición. Para estimar el movimiento del robot entre imágenes, se minimiza el error fotométrico en los puntos de observación, que se expresa en forma lineal permitiendo realizar la minimización mediante un estimador de máxima verosimilitud iterativo y compacto, que no requiere condiciones iniciales especiales ni establecer ninguna correspondencia entre puntos de observación. Se han llevado a cabo cientos de experimentos sobre terreno irregular, obteniendo excelentes errores absolutos medios de posición y orientación inferiores al 1% de la distancia y el ángulo recorridos, respectivamente. Este buen desempeño del algoritmo se debe principalmente a que la señal de profundidad suministrada por la cámara NIR ToF le permite al algoritmo evaluar con mas precisión la forma tridimensional de la superficie. El algoritmo corre en tiempo real y puede procesar hasta 50 fps a resolución VGA en un computador portátil convencional. También estamos ampliando el algoritmo para mapear simultáneamente la ubicación por la que ha pasado el robot, con el fin de transformarlo en un algoritmo de localización y mapeo simultáneo NIR ToF monocular, que hemos llamado SLAM NIR ToF monocular.
Ver nuestra última publicación:
Geovanni Martinez, “Real-time robot 3D pose computation from NIR imagery and ToF depth maps for space applications”, Trends and Challenges in Multidisciplinary Research for Global Sustainable Development, Book series: Lecture Notes in Networks and Systems, vol 965, Springer, Cham, pp. 15–27, 2024. https://doi.org/10.1007/978-3-031-57620-1_2
¿Quiére especializarse en visión por computador?
A nivel de bachillerato o licienciatura se recomienda primero llevar el curso opcional IE-0449 Visión por Computador y luego realizar en el IPCV-LAB el proyecto eléctrico, en el caso de estudiantes de bachillarato, o el trabajo final de graduación, en el caso de estudiantes de licienciatura.
A nivel de maestría, enviar un correo electrónico al Dr. Geovanni Martínez (geovanni.martinez@ucr.ac.cr) indicando que le gustaría realizar estudios de posgrado en Ingeniería Elécrica en el IPCV-LAB bajo su tutela; adjuntar una copia del expediente académico, una copia del título de bachiller en Ingeniería Eléctrica o áreas afines, así como una carta indicando el tiempo de dedicación, el grado del dominio del idioma inglés y la forma cómo financiará sus estudios de posgrado. Si no cuenta aún con el título, indicar en la carta el mes y año en el que piensa graduarse. Una vez que el Dr. Martínez haya revisado la documentación lo contactará para concertar una cita para una entrevista presencial. En caso de que el Dr. Martínez acceda a ser su profersor tutor, él mismo le indicará los pasos a seguir para ser admitido en el Programa de Posgrado en Ingeniería Eléctrica de la Universidad de Costa Rica. La duración de la maestría es de 2 años con dedicación tiempo completo.
A nivel de doctorado, enviar un correo electrónico al Dr. Geovanni Martínez (geovanni.martinez@ucr.ac.cr) indicando que le gustaría realizar estudios de doctorado en Ingeniería en el IPCV-LAB bajo su tutela; adjuntar curriculum, una copia del expediente académico, una copia del título de maestría académica, así como una carta indicando el tiempo de dedicación, el grado del dominio del idioma inglés (al menos el nivel B1 es necesario) y la forma cómo financiará sus estudios de doctorado. Una vez que el Dr. Martínez haya revisado la documentación lo contactará para concertar una cita para una entrevista presencial. En caso de que el Dr. Martínez acceda a ser su profersor tutor, él mismo le indicará los pasos a seguir para ser admitido en el Programa de Doctorado de la Facultad de Ingeniería. La duración del doctorado es de 3 años con dedicación tiempo completo.
Cualquier consulta no deje de contactar al Dr. Geovanni Martínez al teléfono 2 511 2631 o pasar al IPCV-LAB a hablar con él personalmante. El IPCV-LAB se encuentra ubicado en el 4to de la Escuela de Ingeniería Eléctrica.
Coordinador
