5:22:15
`
`European
`Patent Office
`
`
`
`.*
`
`(19)
`
`(12)
`
`llllllllllll|||||l|ll|l||||||||||||||l|||||l||||l|||l|||llllllllll
`
`(11)
`
`EP 1 386 480 B1
`
`FASCICULE DE BREVET EUROPEEN
`
`(45) Date de publication et mention
`de la délivrance du brevet:
`20.07.2011 Bulletin 2011/29
`
`(51) Int Cl.:
`H04N 5/225 (ms-”7)
`
`GOZB 13/06‘2m-m)
`
`(86) Numéro de dépét international:
`
`(21) Numéro de depot: 027382332
`
`PCT/FR2002/001588
`
`(22) Date de dépét: 10.05.2002
`
`(87) Numéro de publication internationale:
`WO 2002/093908 (21.11.2002 Gazette 2002/47)
`
`(54) PROCEDE DE CAPTURE ET D’AFFICHAGE D’UNE IMAGE PANORAMIQUE NUMERIQUE A
`RESOLUTION VARIABLE
`
`VERFAHREN ZUR_AUFNAHME UND ANZEIGE EINES DIGITALEN PANORAMABILDES MIT
`VARIABLER AUFLOSUNG
`
`METHOD FOR CAPTURING AND DISPLAYING AVARIABLE-RESOLUTION DIGITAL PANORAMIC
`IMAGE
`
`(84) Etats contractants désignés:
`AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU
`MC NL PT SE TR
`
`(30) Priorité: 11.05.2001 FR 0106261
`
`(43) Date de publication de la demande:
`04.02.2004 Bulletin 2004/06
`
`(73) Titulaire: 6115187 Canada Inc.
`Sai nt-Lau rent,
`
`Quebec H4M 2P1 (CA)
`
`(72) Inventeurs:
`0 ARTONNE,Jean-Claude
`H2H 1R1 Montreal
`
`Quebec (CA)
`
`0 MOUSTIER, Christophe
`F-13012 Marseille (FR)
`0 BLANC, Benjamin
`H4A 3H3 Montreal
`
`Quebec (CA)
`
`(74) Mandataire: Marchand, André
`OMNIPAT
`
`24 Place des Martyrs de la Résistance
`13100 Aix-en-Provence (FR)
`
`(56) Documents cites:
`EP-A- 0 695 085
`WO-A-00/42470
`US-A- 5 880 896
`
`EP-A- 1 004 915
`US-A- 3 953 111
`US-A- 6 031 670
`
`
`
`|| est rappele que: Dans un délai de neuf mois a compter de la publication de la mention de la délivrance du brevet
`européen au Bulletin européen des brevets, toute personne peut faire opposition a ce brevet aupres de I'Otfice européen
`des brevets, conformement au reglement d'exécution. L'opposition n'est réputée formée qu'apres le paiement de la taxe
`d'opposition. (Art. 99(1) Convention sur le brevet européen).
`
`Printed by Jouve, 75001 PARlS (FR)
`
`Panasonic Exhibit 1005 Page 1 0132
`
`EP1386480B1
`
`

`

`Description
`
`EP 1 386 480 B1
`
`La présente invention concerne l’obtention d’images panoramiques numériques et l’affichage d’images pano-
`[0001]
`ramiques sur des écrans d’ordinateurs.
`[0002]
`La figure 1 représente un dispositif classique permettant de réaliser une image panoramique numérique et de
`la presenter sur un écran d’ordinateur. Le dispositif comprend un appareil de prise de vue numérique 1 équipé d’un
`objectif panoramique 2 de type "fish-eye", ayant un angle d’ouverture de l’ordre de 180°. L’appareil 1 est connecté ‘a un
`calculateur 5, par exemple un micro-ordinateur, pourvu d’un écran 6. La connexion au micro-ordinateur 5 peut étre
`permanente, par exemple Iorsque l’appareil 1 est une caméra vidéo numérique, ou temporaire, par exemple Iorsque
`l’appareil 1 est un appareil photographique numérique pourvu d’une mémoire d’images, la connexion étant alors faite
`au moment ou des fichiers image doivent étre transférés dans le micro-ordinateur.
`[0003]
`La figure 2 représente schématiquement l’aspect d’une image panoramique 3 obtenue au moyen de l’objectif
`panoramique 2. L’aspect rond de l’image est caractéristique de la symétrie axiale des objectifs panoramiques et l‘image
`présente des bords sombres 4 qui seront supprimés ultérieurement. Cette image panoramique numérique est délivrée
`par l’appareil 1 sous forme d’un fichier inforrnatique contenant des points image codés RVBA agencés dans une table
`‘a deux dimensions, "R" étant le pixel rouge d‘un point image, "V" le pixel vert, "B" le pixel bleu, et "A" le parametre Alpha
`ou transparence, les parametres R, V, B, A étant généralement codes sous 8 bits.
`[0004]
`Le fichier image esttransféré dans le micro-ordinateur5 qui transforme l’image initiale en une image numérique
`‘a trois dimensions, puis présente a l’utilisateur un secteur de l’image a trois dimensions dans une fenétre d’affichage 7
`occupant tout ou partie de l’écran 6.
`[0005]
`La figure 3 illustre schématiquement des étapes classiques de transformation de I’image panoramique a deux
`dimensions en une image panoramique offrant un effet de perspective re’aliste. Apres suppression des bords noirs de
`l’image, le micro—ordinateur dispose d’un ensemble de points image formant un disque image 10 de centre 0 et d’axes
`OX et OY. Les points image du disque image sont transférés dans un espace a trois dimensions défini par un repere
`orthogonal d’axes O’X’Y’Z, l’axe O’Z étant perpendiculaire au plan du disque image. Le transfert est assure par une
`fonction mathématique mise en oeuvre par un algorithme exécuté par le micro-ordinateur, et conduit a l’obtention d’un
`ensemble de points image référencés dans le repere O’X’Y‘Z. Ces points image sont par exemple codés en coordonnées
`sphériques RVBA ((p,6),
`(p étant la latitude et 6 la longitude d’un point image, les angles (p et 0 étant codés sur 4 a 8
`octets (norme IEEE). Ces points image forment une demi-sph‘ere 11 Iorsque I’objectif panoramique utilise pre’sente une
`ouverture de 180°, sinon une portion de demi-sph‘ere. Le micro-ordinateur dispose ainsi d’une image virtuelle en forme
`de demi—sphere dont un secteur12,correspondantalafenétre d’affichage 7, est présente surl’écran (fig. 1) en considérant
`que l’observateur se trouve sur le point central 0’ du systeme d’axes O’X’Y’Z, qui définit avec le centre 0" du secteur
`d’image 12, une direction O’O" appelée "position du regard".
`[0006] Afin d’éviter que le secteur d’image affiché 12 présente des déformations géométriques désagréables pour
`l’observateur, les objectifs panoramiques classiques doivent presenter une fonction de repartition des points image en
`fonction de l’angle de champ des points objet d’un panorama qui soit la plus linéaire possible. Ainsi, si l’on considere
`deux points A’, B’ situés sur un meme me‘ridien de la demi-sphere 11, et les points correspondants A, B sur |e disque
`image 10, le rapport entre les angles (A’O’Z) et (B’O’Z) doit étre égal au rapport entre les distances OA et OB sur le
`disque image.
`[0007]
`En raison de cette propriété de linéarité d’un objectif panoramique classique, des points image correspondant
`‘a des points objet ayant un angle de champ identique forment sur le disque image 10 des cercles concentriques C10,
`C20... C90, comme cela est représente en figure 4A. On désigne classiquement par "angle de champ d’un point objet"
`l’angle que présente un rayon lumineux incident passant par le point objet considéré et par le centre du panorama
`photographié, relativement a l’axe optique de l’objectif. L‘angle de champ d’un point objet peut étre compris entre 0 et
`90° pour un objectif ayant une ouverture de 180°. Ainsi, Ie cercle C10 est formé par les points image correspondant a
`des points objet ayant un angle de champ de 10°,
`le cercle C20 est formé par des points image correspondant a des
`points objet ayant un angle de champ de 20°, etc., le cercle C90 étant formé par les points image ayant un angle de
`champ de 90°.
`[0008]
`La figure 4B représente l‘allure de la fonction de repartition ch d’un objectif panoramique classique, qui
`détermine la distance relative drd’un point image par rapport au centre du disque image en fonction de l’angle de champ
`(x du point objet correspondant. La distance relative drest comprise entre 0 et1 et est égale a la distance du point image
`par rapport au centre de I’image divisee par |e rayon du disque image. La forme ide’ale de la fonction ch est une droite
`de pente K :
`
`dr
`
`ch (a)
`
`K a
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 2 of 32
`
`

`

`EP 1 386 480 B1
`
`dans Iaquelle la constante K est égale a 0,111 degré'1 (1/90°).
`[0009] Cette technique d’affichage sur un écran d’ordinateur d’un secteur d’image numérique panoramique présente
`divers avantages, notamment |a possibilité "d’explorer" I’image panoramique en faisant glisser |e secteur d’image pré-
`senté a l’écran vers Ia gauche, |a droite, Ie haut ou Ie bas, jusqu’a atteindre les limites de I’image panoramique. Cette
`technique permet également d’effectuer des rotations completes de l’image Iorsque deux images numériques comple-
`mentaires ont été prises etfournies au micro-ordinateur, ce dernier reconstituant alors une sph‘ere panoramique compl‘ete
`par assemblage de deux demi-spheres. Un autre avantage offert par la présentation d’une image panoramique sur
`écran est de permettre a l’observateur d‘effectuer des grossissements ou zooms sur des parties de l’image. Les zooms
`sont effectués de facon numérique, par rétrécissement du secteur d’image affiche' et dilatation de la répartition des
`points image sur les pixels de I’écran.
`[0010] Divers exemples d’images panoramiques interactives peuvent étre trouvés sur |e Web. On pourra notamment
`se reporter au site central "http://www.panoguide.com" ("the guide to panoramas and panoramic photography") qui
`donne un apergu exhaustif de I’ensemble des produits a la disposition du public pour réaliser de telles images. Des
`logiciels permettant de transformer des photographies panoramiques numériques en images panoramiques interactives
`sont proposés au public sous forme de programmes téléchargeables ou de CD-ROM disponibles dans le commerce.
`[0011] Malgré les divers avantages qu’offre cette technique d’affichage d’images numériques, les grossissements
`numériques présentent I’inconvénient d’étre limités par la résolution du capteur d’image utilise Iors de la prise d‘image
`initiale et la resolution d’un capteur d’image est généralement tres inférieure ‘a celle d’une photographie classique. Ainsi,
`Iorsque le grossissement augmente, |a granulosité de l’image apparait car on arrive aux limites de la resolution du
`capteur d’image.
`[0012]
`Pour pallier cet inconvenient, il est connu de procéder a des interpolations de pixels afin de retarder I’apparition
`des pavés de couleur qui trahissent les limites de la résolution du capteur. Toutefois, cette méthode ne fait qu’améliorer
`l’aspect du secteur d’image grossi et ne permet aucunement d’apporter un surcroTt de définition. Une autre solution,
`évidente, est de prévoir un capteur d’image présentant une résolution élevée, supérieure ‘a la résolution ne'cessaire pour
`la presentation d’un secteur d’image sans grossissement, de sorte qu’il reste une marge de définition pour les zooms.
`Cette solution est toutefois coOteuse car Ie prix de revient d’un capteur d’image augmente rapidement avec Ie nombre
`de pixel par unité de surface.
`[0013] Afin d’améliorer la qualité des grossissements, certaines tentatives ont été faites en modifiant les propriétés
`optiques des objectifs panoramiques eux-memes. Ainsi, Ie brevet US 5710661 enseigne de capturer une image pano-
`ramique avec deux objectifs imbriqués grace a un jeu de miroirs. Un premier jeu de miroir permet d’offrir une vue
`d’ensemble, et un miroir central mobile permet d’offrir une vue en détail sur une zone de'terminée du panoramique.
`Toutefois cette solution n’offre pas la meme souplesse que les zooms numériques, notamment Iorsque l’image n’est
`pas affichée en temps réel, l’observateur n’ayant plus |a possibilité de choisir la portion d’image qu’il veut agrandir une
`fois Ia photographie réalisée.
`[0014] Ainsi, Ia présente invention vise un procédé permettant de contourner les limites physiques des capteurs
`d’image et d’améliorer Ia définition offerte par des grossissements numériques portant sur certaines parties d’une image
`panoramique numérique, sans qu’il soit nécessaire d’augmenter Ie nombre de pixels par unité de surface d’un capteur
`d’image ni de prévoir un systeme de grossissement optique imbriqué dans un objectif panoramique.
`[0015] Dans de nombreuses applications, seules certaines zones d’une image panoramique présentent un intérét
`pratique et sont susceptibles d’étre dilatées par I’observateur au moyen d’un zoom numérique. Ainsi, dans des appli-
`cations comme lavidéosurveillance, lavidéoconférence, lavisioconférence, une caméra panoramique peut étre installée
`contre un mur ou au plafond et I’on n’a généralement aucun intérét a faire des grossissements sur les zones de I‘image
`panoramique correspondant au mur ou au plafond. De méme, dans le cadre d’une vidéoconférence faite au moyen
`d’une caméra panoramique, |a zone la plus intéressante est généralement située a un endroit spécifique qui est situé
`vers Ie centre de I’image (dans Ie cas d‘une utilisation individuelle) ou sur les bords de I’image (dans Ie cas d’une
`utilisation collective ou visioconférence). Par ailleurs, dans le domaine des loisirs, Ia plupart des images panoramiques
`comprennent des parties moins intéressantes que d’autres, par exemple les parties représentant le ciel ou un plafond,
`Ia partie la plus utile se trouvant généralement au voisinage du centre de l’image.
`[0016]
`Le brevet EP 0 695 085 décrit un procédé de capture d’images utilisant une lentille hémisphérique a gradient
`d’index (52, fig. 4A) qui dilate les bords de I’image.
`[0017]
`Le brevet US 3 953 111 décrit un procédé de capture d’images au moyen d’un vidicon utilisant une lentille qui
`dilate |e centre de I’image et un projecteur utilisant une lentille inverse pour projeter I’image corrigée sur un écran
`sphérique.
`[0018]
`La présente invention propose de réaliser des photographies panoramiques au moyen d’un objectif panora—
`mique qui n’est pas linéaire et qui dilate une zone intermédiaire de l‘image se trouvant entre le centre et les bords de
`I’image. La zone dilatée de I’image couvrent un nombre de pixels du capteur d’image plus important que si elle n’était
`pas dilatée, et bénéficie par conséquent d’une meilleure definition.
`[0019]
`Plus particulierement, la présente invention propose un procédé de capture d’une image panoramique numé-
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 3 0f 32
`
`

`

`EP 1 386 480 B1
`
`rique conforme a la revendication 1.
`[0020]
`La présente invention concerne également un procédé d‘affichage d‘une image panoramique conforme a la
`revendication 7.
`
`La présente invention concerne également un objectif panoramique conforme a la revendication 14.
`[0021]
`[0022] Ces objets, caractéristiques et avantages ainsi que d’autres de la présente invention seront exposes plus en
`detail dans la description suivante du procédé selon I’invention et d’exemples de realisation d‘objectifs panoramiques
`non Iinéaires selon l‘invention, faite ‘a titre non limitatif en relation avec les figures jointes parmi Iesquelles :
`
`-
`
`-
`-
`
`-
`-
`
`-
`-
`-
`-
`
`-
`-
`
`-
`-
`
`-
`
`-
`-
`-
`
`la figure 1 précédemment décrite représente un systeme d’affichage sur un écran d’une image panoramique nu-
`mérique,
`la figure 2 précédemment décrite représente une image panoramique avant son traitement par un ordinateur,
`la figure 3 précédemment décrite illustre un procédé classique de transformation d’une image panoramique ‘a deux
`dimensions en une image panoramique numérique a trois dimensions,
`Ies figures 4A et 4B préce’demment décrites illustrent Ia Iinéarité d‘un objectif panoramique classique,
`Ies figures 5 et 6 illustrent un aspect du procédé et représentent respectivement une repartition de points image
`obtenue avec un objectif panoramique classique et une repartition de points image obtenue avec un objectif pano-
`ramique non linéaire selon l’invention,
`Ies figures 7A et 78 illustrent un premier exemple de non-Iinéarité d’un objectif panoramique,
`la f'gure 8 illustre un second exemple de non-Iinéarité d’un objectif panoramique,
`la f'gure 9 illustre un troisieme exemple de non-Iinéarité d’un objectif panoramique selon l’invention,
`Ia f'gure 10 représente un systeme d’affichage d’une image panoramique numérique au moyen duquel est mis en
`oeuvre un procédé de correction selon l‘invention de l’image panoramique,
`la f'gure 11 illustre schématiquement un premier mode de realisation du procédé de correction selon l‘invention,
`la figure 12 est un organigramme décrivant un procédé d’affichage d’une image panoramique incorporant le premier
`procédé de correction selon l‘invention,
`la f'gure 13 illustre schématiquement un second mode de réalisation du procédé de correction selon l’invention,
`la figure 14 est un organigramme décrivant un procédé d’affichage d’une image panoramique incorporant le second
`procédé de correction selon l‘invention,
`Ia f'gure 15 est une vue en coupe d’un premier mode de re’alisation d’un objectif panoramique non Iinéaire selon
`l‘invention,
`Iafigure 16 est unevue éclate'e en coupe d’un systeme de lentilles présent dans l’objectifpanoramique de Iafigure 15,
`la f'gure 17 est une vue de profil d’une lentille présente dans l’objectif panoramique de la figure 15, et
`la figure 18 est le schéma d’un second mode de realisation d’un objectif panoramique non linéaire selon l’invention.
`
`
`
`| - Description du procédé
`
`A - Compression/dilatation d’une image initiale
`
`La figure 5 représente schématiquement un systeme classique de prise de vues panoramiques, comprenant
`[0023]
`un objectif panoramique 15 d’axe optique OZ et un capteur d’image numérique 17 agencé dans le plan image de l’objectif
`15. On considere ici quatre points objet a, b, c, d appartenant a un panorama PM se trouvant en face de l’objectif et
`présentant respectivement des angles d’incidence (x1, (x2, -(x2, -0c1. Comme cela a été indiqué au préambule, l’angle
`de champ d’un point objet est l’angle que présente relativement a l’axe optique 02 de l’objectif un rayon lumineux
`incident passant par le point objet considéré et par le centre du panorama PM, repéré par un point "p" sur la figure. Dans
`cet exemple, I’angle (x1 est égal a deux fois I’angle (x2. Sur Ie capteur d’image 17, des points image a’, b‘, c’, d’ corres-
`pondant aux points objet a, b, c, d se trouvent ‘a des distances du centre de l’image e’gales respectivement ‘a d1, d2,
`-d2, -d1. Comme la repartition des points image en fonction de l’angle de champ des points objet est Iinéaire avec un
`objectif panoramique classique, les distances d1 et d2 sont liées par la relation suivante :
`
`'dl/al = (3.2/0.2
`
`L’angle (x1 étant ici égal a 20:2, il vient que:
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 4 of 32
`
`

`

`EP 1 386 480 B1
`
`(‘11 = 2:12
`
`[0024] Comme cela est bien connu de l’homme de l’art, le terme "linéarité" désigne ici un rapport de proportionnalité
`entre la distance d’un point image mesurée relativement au centre de I’image et I’angle de champ du point objet cor-
`respondant. La notion de "linéarité" en matiere d’objectifs panoramiques est donc différente de celle qui pre'vaut dans
`le domaine de l’optique paraxiale (au voisinage de l’axe optique) Iorsque les conditions de Gauss sont remplies.
`[0025]
`La figure 6 représente un syst‘eme de prise de vue du méme type que le precedent, mais dans lequel l’objectif
`panoramique classique 15 est remplacé par un objectif 18, le capteur d’image 17 étant agencé dans le plan image de
`l’objectif 15. On considere a nouveau la projection sur le capteur d‘image 17 des points objet a, b, c, d présentant des
`angles d’incidence (x1, (x2, -(x2 et -or1 relativement a l’axe 02 de l’objectif et au centre "p" du panorama. Sur le capteur
`d’image 17, les points image correspondants a", b", c", d" se trouvent a des distances du centre de l’image respectivement
`égales a d1 ’, d2’, -d2’, -d1 ’.
`[0026]
`L’objectif 1 8 présente unefonction de re'partition des points image qui n’est pas linéaire, le rapport des distances
`d1’, d2’, -d2’, -d1’ n’étant pas égal au rapport des angles d’incidence oc1, (x2, -oc2, -(x1. Sur l’exemple représente, la
`distance d2’ est nettement supérieure a d1’/2, de sorte que la partie centrale de l’image panoramique projetée sur le
`capteurd’image 17, qui correspond a un angle solide 2on2 centré sur l’axe optique OZ, occupe une surface plus importante
`sur le capteurd’image 17 que la surface qu’elle occupe en figure 5 avec l’objectifpanoramique classique (zone hachurée).
`Cette partie centrale de l’image panoramique est ainsi projetée sur le capteur d’image avec dilatation de sa surface, par
`rapport a la surface qu’elle occuperait si I’objectif etait Iinaire.
`|| en resulte que |e nombre de pixel du capteur d‘image
`couvert par cette partie de l‘image est plus important que dans l’art antérieur et que la definition obtenue est ame’liorée.
`En contrepartie, la partie de l’image délimitée par deux cercles passant respectivement par les points a", d" et par les
`points b", c" est comprimée relativement a la partie correspondante en figure 5, et la définition sur les bords de l‘image
`est inférieure a celle que l’on obtient avec un objectif linéaire classique, au bénéfice de la partie centrale de l’image.
`[0027]
`En appliquant ce principe, qui consiste a dilater une partie de l’image et compresser une autre partie de l’image,
`on peut choisir la partie a dilater et la partie a compresser en fonction de l’application visée, en réalisant plusieurs types
`d’objectifs non linéaires et en choisissant un objectif convenant a l’application visée. Selon l’application visée, la partie
`la plus utile d’une image panoramique peut se trouver au centre de I’image, en bordure de I’image, dans une zone
`intermédiaire située entre le centre et le bord de l’image, etc.
`[0028]
`Les figures 7A et 78, 8 et 9 illustrent trois exemples de fonctions de re’partition non linaires selon l’invention.
`[0029]
`La fonction de repartition illustrée sur les figures 7A et 78 correspond a l’exemple de la figure 6, a savoir un
`objectif panoramique assurant une dilatation de l’image au centre. La figure 7A représente des cercles concentriques
`équidistants C10, C20... 090 presents sur un disque image, chaque cercle étant formé par des points image corres-
`pondant a des points objet ayant le méme angle de champ. Le cercle C10 est formé par les points image correspondant
`a des points objet ayant un angle de champ de 10°, le cercle C20 est formé par des points image correspondant a des
`points objet ayant un angle de champ de 20°, etc.. En comparant Ia figure 7A avec la figure 4A décrite au preambule,
`i| apparait que les cercles C10 et C20 sont plus éloignés du centre de l’image et plus éloignés l’un de l’autre que les
`cercles C10 et C20 obtenus avec un objectif classique, tandis que les cercles CSO a C90 sont plus proches les uns des
`autres. Une telle image panoramique présente ainsi une zone dilatée au centre et une zone comprimée en bordure du
`disque image.
`[0030]
`La figure 4B représente la courbe de la fonction de repartition Fd1 correspondante. La fonction de repartition
`linéaire classique, d’expression ch = Koc et en forme de droite de pente K, est également représentée en tant que point
`de repere (la constante K étant égale a 1/90 pour un objectif ayant une ouvelture de 180°, soit une pente de 0,111 par
`degré). L’angle de champ 0c des points objet est représente en abscisse et est compris entre 0 et 90°. La distance relative
`dr d’un point image par rapport au centre du disque image est représentée sur l’axe des ordonnées et est comprise
`entre 0 et 1. La courbe de la fonction Fd1 présente une pente plus forte que la droite ch pour des angles or compris
`entre 0 et20°, puis une pente plus faible au-dela des 20° etjusqu’a 90°. Une forte pente signifie une dilatation de l‘image
`et une faible pente signifie une compression de l’image.
`[0031]
`ll apparait sur cet exemple que la courbe Fd1 présente un point de divergence maximale Pd a l’angle (x = 20°.
`On entend par "point de divergence maximale" le point image Pd(oc) ou l’on observe le plus grand écart en distance
`relative drpar rapport a un point correspondant Pd|((x) sur la droite de repartition Iinaire Ka. Dans cet exemple, |e point
`Pd((x=20°) présente une distance relative dr égale ‘a 0,5 relativement au centre de l’image tandis que le point corres-
`pondant Pdl((x=20°) sur lacourbe Iinaire ch présente une distance relative drde 0,222. La divergence maximale DIVmaX
`de la fonction de répartition Fd1 peut étre calculée par une formule du type :
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 5 of 32
`
`

`

`EP 1 386 480 B1
`
`DIVmax9a = [[dr(Pd)
`
`— dr(Pd1)]/[dr(Pdl)]]*100
`
`soit :
`
`DIVmaX% =
`
`[[drlPd)
`
`- K*a(Pd)]/[K*a(Pd)]]*100
`
`10
`
`15
`
`20
`
`25
`
`Dans Iaquelle dr(Pd) est la distance relative par rapport au centre du point de divergence maximale Pd, dr(Pdl) est la
`distance relative par rapport au centre du point correspondant sur la droite de repartition linéaire ch, (x(Pd) étant
`l’abscisse du point Pd soit l‘angle de champ du point objet correspondant.
`[0032] Dans l’exemple considéré ici, la divergence maximale est donc égale a +125°/o. Cette valeur de divergence
`maximale est nettement supérieure a celle due aux erreurs de conception éventuelles ou aux erreurs de fabrication d’un
`objectif panoramique classique, qui est de quelques pourcent. De fagon générale, un objectif non linéaire présente une
`divergence maximale de l’ordre de 10% au moins, pour obtenir une dilatation des parties utiles de l’image qui se traduise
`par un net accroissement du nombre de pixels du capteur d’image couvert par les parties utiles et une amélioration
`sensible de la définition obtenue.
`
`[0033] On définit également un taux moyen TX de dilatation ou compression d’une partie de l’image comprise entre
`deux cercles passant par des points Pd1 et Pd2. Le taux TX est le rapport entre la surface délimitée par les deux cercles
`passant par les points Pd1, Pd2 et la surface délimitée par deux cercles passant par des points Pdl1, Pdl2 de méme
`abscisse appartenant a la fonction de repartition linéaire ch. Le taux TX peut étre détermine’ par une forrnule du type :
`
`TX =
`
`[dr(Pd1)2 - dr(Pd2)2 ]/ [(drrpdni)2 -
`
`(drlpd12))fi
`
`30
`
`soit:
`
`35
`
`40
`
`45
`
`50
`
`55
`
`TX = [dr(Pdl)2 - dr(Pd2)2 ]/
`
`[K2[((1(Pd1))2 -
`
`(a(Pd2))2]]
`
`[0034] Un taux TX supérieur a 1 indique une dilatation de la partie d’image considérée tandis qu’un taux TX inférieur
`‘a 1 indique une compression de la partie d’image considérée. Dans I’exemple de fonction Fd1 considéré ici,
`le taux
`moyen de dilatation/compression TX de la partie centrale de l’image, délimitée par le cercle 020, est égal ‘a 5,07, soit
`une dilatation moyenne par un facteur 5 de la partie centrale de l’image et par consequent une amelioration de 500%
`de la définition obtenue pour un nombre de pixels constant du capteur d’image.
`[0035]
`La figure 8 représente un autre exemple de fonction de répartition Fd2, présentant ici un point de divergence
`maximale Pd a l’angle 0r=70°, ayant une distance relative par rapport au centre de l’image de 0,3. La divergence maximale
`de la courbe Fd2 est ici de -61,4 %, et le taux moyen de dilatation/compression TX de la partie centrale de l‘image
`délimitée par |e cercle C70 (non représente) est de 0,15, soit une compression moyenne par un facteur de 0,15 de la
`partie centrale de l’image. La partie dilatée de l’image se trouve ainsi ici sur le bord de l’image, entre le cercle 070 et
`le cercle CQO, et présente un taux moyen de dilatation/compression de 2,3. Ainsi, un disque image obtenu avec un
`objectif panoramique ayant une fonction de repartition conforme a la fonction Fd2, présente une zone a haute définition
`sur ses bords, se prétant bien aux grossissements numériques, et une zone a faible definition dans sa partie centrale.
`[0036]
`La figure 9 représente un troisieme exemple de fonction de repartition Fd3 selon l’invention, présentant un
`premier point de divergence maximale Pd1 (0r=30°, dr=0,1) et un second point de divergence maximale Pd2 (or=70°,
`dr:0,9). On observe donc deux divergences maximales, l’une negative et égale a -70%, l’autre positive et égale ‘a15,8%.
`On observe également une zone d’image comprimée entre |e centre O de I’image et |e cercle C30 passant par |e point
`Pd1, une zone d’image dilatée entre le cercle 030 et le cercle C70 passant par le point Pd2, et une zone d’image
`comprimée entre le cercle C70 et le cercle CQO formant le bord du disque image. Les taux moyens de dilatation/
`compression TX(O, C30), TX(C30, C70), TX(C70, C90) pour chacune de ces zones sont respectivement égaux ‘a 0,09,
`1,6 et 0,48. Un disque image obtenu avec un objectif panoramique ayant une fonction de répartition conforme a la
`fonction Fd3, présente dans sa partie interme’diaire une zone a haute definition, se pretant bien aux grossissements
`numériques, et deux zones ‘a faible de'finition dans sa partie centrale et sur ses bords.
`
`Panasonic Exhibit 1005 Page 6 of 32
`
`

`

`B - Correction de la non-linéarité de l’image initiale
`
`EP 1 386 480 B1
`
`[0037] On a décrit dans ce qui précede un premier aspect de l’invention, selon lequel on prévoit une repartition non
`linéaire de points image sur une image numérique afin d’améliorer la définition de l’image dans des zones dilatées, par
`augmentation du nombre de pixels du capteur d’image couvert par les zones dilatées. Avant de décrire des exemples
`de realisation d’objectifs panoramiques non linéaires, on de’crira un deuxieme aspect de I’invention qui consiste a corriger
`la non-linéarité du disque image obtenu afin de présenter a l’observateur une image dépourvue de déformation optique.
`[0038] Ce deuxi‘eme aspect de l’invention est mis en oeuvre au stade du traitement par ordinateur de l’image initiale,
`pour la présentation d’une image panoramique interactive sur un écran. Les moyens de mise en oeuvre du procédé de
`l’invention sont illustrés en figure 10 et sont en soi classiques. On distingue un appareil de prise de vue numérique 20
`équipé d’un objectif panoramique non linéaire 21 et connecté a un micro-ordinateur 22 comprenant un écran 23. Les
`images numériques lMi prises au moyen de l’appareil 20 sont transférées au micro-ordinateur pour étre traitées et
`af'iichées sur l’écran 23, dans une fenétre d’atfichage 24. Un programme de traitement comprenant un algorithme de
`transformation et d‘affichage des images est préalablement charge dans Ie micro-ordinateur, par exemple au moyen
`d’un CD-ROM 25 ou par téléchargement via le réseau Internet. L’appareil 2O peut étre un appareil photographique
`numérique ou une camera vidéo numérique et la connexion au micro-ordinateur peu étre permanente ou non. Dans le
`cas d’une caméra vidéo, le micro-ordinateur recoit un flux d’images qu’il traite en temps réel pour les atficher sur l’écran.
`[0039] Dans ce contexte, le procédé de correction selon l’invention peut étre exécuté selon deux modes de realisation.
`Un premier mode de realisation consiste a effectuer une correction de l’image initiale au moyen d’une fonction Fd'1 qui
`est Iafonction réciproque de la fonction de repartition Fd selon l’invention. La fonction de repartition Fd étant connue et
`determinee au moment de la conception de I’objectif non linéaire, il est aisé d’en déduire Ia fonction réciproque Fd'1.
`Cette étape de correction permet d’obtenir une image corrigée dans Iaquelle les non linéarités dues a l’objectif selon
`l’invention sont supprimées. L’image corrigée est équivalente a une image prise au moyen d’un objectif panoramique
`classique et peut ensuite étre traitée par tout logiciel d’affichage classique disponible dans le commerce, prévu pour
`transférer les points image d’un disque image dans un espace a trois dimensions et pour procéder a l’affichage interactif
`d’un secteur de l’image obtenue.
`[0040]
`La seconde variante du procédé consiste a faire intervenir la fonction de repartition Fd dans un algorithme
`d’af'fichage d’image travaillant ‘a rebours, c’est-a-dire définissant en temps réel la couleur des pixels d’une fenétre
`d’affichage a partir des points image du disque image.
`
`Premier mode de réalisation du procédé de correction
`
`Lafigure 11 illustre le premier mode de realisation du procédé selon l’invention. On suppose ici que l’on dispose
`[0041]
`d’une image initiale lmg1 comportant un disque image non linéaire lD1 de rayon R1, ayant par exemple une zone de
`dilatation au centre (cercles C10 et C20). On transforme l‘image initiale lmg1 en une image corrigée lmg2 comportant
`un disque image linéaire |D2 de rayon R2. Le rayon R2 du disque image |D2 estsupe’rieurau rayon R1 du disque image
`initial |D1 et Ie disque image |D2 présente une re’solution egale ou sensiblement egale a la resolution offerte par la zone
`du disque image lmg1 ou se trouve la plus grande densité d’information (soit la zone ou l’image est la plus dilatée). ll
`s’agit ici de la paitie centrale de l’image délimitée par le cercle C20.
`[0042]
`Les principales étapes de ce procédé sont les suivantes :
`
`-
`
`-
`
`-
`
`on calcule dans un premiertemps, au moyen de la fonction réciproque Fd", la taille R2 du disque image linéarisé
`|D2 en considérant sur le disque image initial
`lD1 l’endroit ou l’image est la plus dilatée, de mani‘ere que l‘image
`corrigée lmg2 ait une resolution égale ou sensiblement égale a la résolution offerte par la zone de l’image lmg1 ou
`se trouve la plus grande densité d’information,
`on parcourt ensuite chaque pixel de l‘image ‘a calculer lmg2, et on cherche la position de son point jumeau sur
`l‘image lmg1, puis
`on af