TFG

Parallel Tracking and Mapping algorithms for an Event Based Camera

Work default illustration

Supervisor/s

Information

  • Started: 14/02/2017
  • Finished: 14/07/2017

Description

By the student:

An event camera has independent pixels that sends information, called “events” when they perceive a local change of brightness. The information is transmitted asynchronously exactly when the change occurs, with a microsecond resolution, making this sensor suitable for fast robotics applications.
We present two new tracking and mapping algorithms, designed to work in parallel to estimate the 6 DOF (Degrees Of Freedom) trajectory and the structure of the scene in line based environments.
The tracking thread is based on a Landmark Based map and an asynchronous EKF (Extended Kalman Filter) filter to estimate event per event the state of the camera unlocking the true potential of the camera.
Inside the mapping thread, a line extraction algorithm has been designed to find 3D segments in the Point cloud, computed using event – ray tracing into a discretized world.
Both algorithms have been built from scratch, and at this moment, only tested independently in simulation.
We have obtained very good results on three synthetic self-made datasets.
Some pieces of the complete Parallel Tracking and Mapping system are still missing. The current good work and results encourages to improve and finish the algorithm to achieve the implementation on the real event based camera.


By the supervisor:

Els algorismes de cartografia i localització simultànies utilitzant càmeres d'esdeveniments són especialment complicats deguts a diversos factors, el principal dels quals és la novetat del sensor d'esdeveniments, que trenca molts dels paradigmes establerts per a la visió per computador. Aquest TFG presenta un algorisme complet de cartografia i localització simultànies utilitzant càmeres d'esdeveniments. L'algorisme construeix un mapa de segments rectes en l'espai 3D, i l'utilitza per a la localització de la càmera. Es basa en l'arquitectura de seguiment i cartografia paral·lels. Per al seguiment, utilitzem un filtre de Kalman que actualitza l'estat de la càmera (posició, orientació i velocitats) a l'arribada de cada esdeveniment. Per a la cartografia, utilitzem diverses tècniques encadenades: retroprojecció des de la posició de la càmera dels rajos corresponents a cada esdeveniment, segmentació de l'espai amb forta densitat de rajos, extracció de segments, i optimització del mapa resultant. Aquest mapa acaba sent proporcionat al mòdul de seguiment.

Els algorismes han estat tots implementats en Matlab, amb dades simulades, amb molt bons resultats.