La localisation d'une caméra vidéo en temps réel dans un environnement inconnu ou partiellement connu est un problème abordé par les algorithmes de type CSLAM (Constrained Simultaneous Localization And Mapping). Ceux-ci utilisent des contraintes pour déterminer la pose de la caméra et la structure 3D de l'environnement. Toutefois, les difficultés d'implémentations restreignent ces approches à l'utilisation d'une ou deux contraintes. Afin de dépasser ces difficultés, nous proposons un nouvel algorithme temps réel de type CSLAM conçu pour adapter dynamiquement chaque optimisation au nombre variable de familles de paramètres ainsi qu'à la nature et le nombre de contraintes. Nous utilisons pour cela une méthode permettant de générer automatiquement, à partir d'une liste exhaustive de contraintes, un algorithme d'optimisation spécialisé au problème. C'est, à notre connaissance, la seule implémentation qui allie à la fois flexibilité et performance. Les expérimentations proposées montrent la pertinence de notre approche en terme de précision et de temps d'exécution par rapport à l'état de l'art sur plusieurs benchmarks publics de complexité différente. Une application de réalité augmentée en mixant des objets et des contraintes hétérogènes est également proposée.