1 / 71

Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction

AFIG 2001. Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction des conditions d’éclairage. Stéphane Grabli. François Sillion. i MAGIS est un projet commun CNRS–INPG–INRIA-UJF. But.

brand
Download Presentation

Mod élisation de cheveux à partir d’images par étude des variations d’apparence en fonction

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. AFIG 2001 Modélisation de cheveux à partir d’images par étude des variations d’apparence en fonction des conditions d’éclairage Stéphane Grabli François Sillion iMAGIS est un projet commun CNRS–INPG–INRIA-UJF

  2. But Acquérir un modèle 3D des cheveux d’un sujet spécifique à partir de photographies. 3D

  3. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

  4. Motivations • But: maquette virtuelle d’un individu en vue d’un rendu interactif permettant l’identification visuelle • Applications: visioconférence, jeux vidéos www.cyberware.com Shag Hair de Digimation (pour 3DS-Max)www.digimation.com

  5. Problématique • Complexité de la géométrie des cheveux (échelle, nombre) • Echec des techniques classiques de numérisation 3D • Problème non résolu

  6. Approche choisie • Etude de la réflectance, sur des images, pour en extraire la géométrie • Sujet fixe, point de vue fixe et source lumineuse mobile.

  7. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

  8. Etat de l’art • Modélisation de cheveux à partir d’images • modélisation géométrique d’un volume de cheveux [MN]

  9. Etat de l’art • Modèle d’éclairement du cheveu • Kajiya, Kay[KK89] • Goldman [Gol97]

  10. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

  11. Acquisition des données • Contrôle et connaissance des positions de caméra et de lumière • Système d’acquisition deStanford • Précision au pixel:méthodologie • Sujet: perruque

  12. Méthode Construction de mèches 3D Construction d’un masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

  13. Méthode Construction de mèches 3D Construction d’un masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

  14. Extraction des directions de mèches dans chaque image • Dans 1 pixel ~ 1 mèche • Extraction de la direction de cette mèche

  15. Extraction des directions de mèches dans chaque image

  16. Méthode Construction de mèches 3D Construction d’un masque de vecteurs pour la séquence Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

  17. p p p p p Construction d’un masque de vecteurs pour la séquence Pixel p { t0, t1, ..., tn }

  18. p p p p p { t0, t1, ..., tn } Construction d’un masque de vecteurs pour la séquence Pixel p bruit

  19. Construction d’un masque de vecteurs pour la séquence • 1er test: nombre de vecteurs de la collection NON OUI • 2ème test: variance en angle des vecteurs NON

  20. Pixel p0 Pixel p0 Construction d’un masque de vecteurs pour la séquence

  21. Méthode Construction de mèches 3D Reconstruction 3D des vecteurs Extraction des directions de mèches dans chaque image

  22. Informations géométriques sur T Génération des vecteurs 3D candidats t Centre optique de la caméra Image

  23. Informations géométriques sur T Génération des vecteurs 3D candidats t Plan TT Centre optique de la caméra Image

  24. Informations géométriques sur T Génération des vecteurs 3D candidats t Plan TT Vecteurs 3D candidats Centre optique de la caméra Image

  25. Les profils de pixel mesurés • Informations de réflectance sur T p Profil de pixelmesuré(courbe RGB) p p 255 n 1 0 0 1 2 ... n 0 0 n

  26. Synthèse des profils de pixel théoriques • Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée

  27. Etude de corrélation • Pb: ombre mesurée mais pas modélisée • 2 solutions:- compléter le modèle ([Ban94], [Gol97]) • - tronquer les mesures

  28. Etude de corrélation • Comment mesurer cette corrélation ? • Introduction d’une fonction d’énergie:Edist

  29. Election et mesure de confiance • Choix du minimum des Edist • Cas OK:

  30. Election et mesure de confiance • Cas problématiques (3) (1) Coefficient de confiance (2)

  31. Election et mesure de confiance

  32. Affinage du masque de vecteurs 3D

  33. Méthode Construction de mèches 3D Extraction des directions de mèches dans chaque image

  34. Construction de mèches • Dans l’espace image • Méthode inspirée des contours adaptatifs

  35. Construction de mèches • Masque de vecteurs 3D + mèches 2D -> mèches 3D

  36. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

  37. 1 séquence d’images

  38. plusieurs séquences d’images

  39. Plan Introduction Etat de l’art Illustration de la méthode Résultats Conclusion

  40. Conclusion • Contributions - Nouvelle approche du problème de l’acquisition de modèle 3D de cheveux - Résultats répondent à notre attente • Limitations - positionnement des vecteurs de cheveux 3D approximatif • Travaux futurs - Analyse géométrique ([MN]) couplée à l’étude de la réflectance - Modèle + rendu interactif

  41. Merci... Questions ?

  42. T L P E E’ Synthèse des profils de pixel théoriques • Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée • Paramètres du modèle:- T, L , E connu dépendent de P

  43. T L P E E’ Synthèse des profils de pixel théoriques • Idée: Pour chaque pixel, - synthétiser des cartes de réflectance pour les vecteurs 3D candidats - comparer avec la carte de réflectance mesurée • Paramètres du modèle:- T, L , E connu dépendent de P

  44. t p L P Image E Centre optique Synthèse des profils de pixel théoriques • Approximation: Ellipsoïde pour simuler la surface descheveux. • P = intersection (Ellipsoïde, rayon p->oeil)

  45. Etat de l’art Représentations • Représentations explicites [WS92] utilise un prisme trigonal pour modéliser un cylindre [VW97] An Interactive fur modeling techniqueA.V. Gelder, J. Wilhelms

  46. Texels reference volume Etat de l’art Représentations • Représentations alternatives: - Texels – [KK89], [MN98], [Len00a], [Len00b] [Len00b] Real-time fur over arbitrary surfaces,Jed Lengyel [MN98] Interactive volumetric textures, A. Meyer, F. Neyret

  47. Etat de l’art Représentations [Len00b] Real-time fur over arbitrary surfaces, Jed Lengyel [KK89], Rendering fur with three dimensional textures, J.T.Kajiya T.L.Kay

  48. Etat de l’art Remarque • Algorithmes issus du « Shape from Shading » non applicables • Shape from Shading (Artificial Intelligence Series) par Berthold K.P. Horn, Michael J. Brooks http://www.eerie.fr/~vision/alquier/Work/shape.html

  49. Notre méthode Extraction des directions de mèches dans chaque image • Filtre de Sobel horizontal: • Filtre de Sobel vertical: -1 -2 -1 0 0 0 1 0 1 -1 0 1 -2 0 2 -1 0 1

  50. Reconstruction 3D des vecteurs Synthèse des profils de pixel théoriques • Implémentation: algorithme k-mean • Particularité: regroupement dans l’espace TLS, en utilisant L, calcul des nouveaux centres dans l’espace RGB

More Related