throbber
5:22:15
`
`European
`Patent Office
`
`
`
`.*
`
`(19)
`
`(12)
`
`llllllllllll|||||l|ll|l||||||||||||||l|||||l||||l|||l|||llllllllll
`
`(11)
`
`EP 1 386 480 B1
`
`FASCICULE DE BREVET EUROPEEN
`
`(45) Date de publication et mention
`de la délivrance du brevet:
`20.07.2011 Bulletin 2011/29
`
`(51) Int Cl.:
`H04N 5/225 (ms-”7)
`
`GOZB 13/06‘2m-m)
`
`(86) Numéro de dépét international:
`
`(21) Numéro de depot: 027382332
`
`PCT/FR2002/001588
`
`(22) Date de dépét: 10.05.2002
`
`(87) Numéro de publication internationale:
`WO 2002/093908 (21.11.2002 Gazette 2002/47)
`
`(54) PROCEDE DE CAPTURE ET D’AFFICHAGE D’UNE IMAGE PANORAMIQUE NUMERIQUE A
`RESOLUTION VARIABLE
`
`VERFAHREN ZUR_AUFNAHME UND ANZEIGE EINES DIGITALEN PANORAMABILDES MIT
`VARIABLER AUFLOSUNG
`
`METHOD FOR CAPTURING AND DISPLAYING AVARIABLE-RESOLUTION DIGITAL PANORAMIC
`IMAGE
`
`(84) Etats contractants désignés:
`AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU
`MC NL PT SE TR
`
`(30) Priorité: 11.05.2001 FR 0106261
`
`(43) Date de publication de la demande:
`04.02.2004 Bulletin 2004/06
`
`(73) Titulaire: 6115187 Canada Inc.
`Sai nt-Lau rent,
`
`Quebec H4M 2P1 (CA)
`
`(72) Inventeurs:
`0 ARTONNE,Jean-Claude
`H2H 1R1 Montreal
`
`Quebec (CA)
`
`0 MOUSTIER, Christophe
`F-13012 Marseille (FR)
`0 BLANC, Benjamin
`H4A 3H3 Montreal
`
`Quebec (CA)
`
`(74) Mandataire: Marchand, André
`OMNIPAT
`
`24 Place des Martyrs de la Résistance
`13100 Aix-en-Provence (FR)
`
`(56) Documents cites:
`EP-A- 0 695 085
`WO-A-00/42470
`US-A- 5 880 896
`
`EP-A- 1 004 915
`US-A- 3 953 111
`US-A- 6 031 670
`
`
`
`|| est rappele que: Dans un délai de neuf mois a compter de la publication de la mention de la délivrance du brevet
`européen au Bulletin européen des brevets, toute personne peut faire opposition a ce brevet aupres de I'Otfice européen
`des brevets, conformement au reglement d'exécution. L'opposition n'est réputée formée qu'apres le paiement de la taxe
`d'opposition. (Art. 99(1) Convention sur le brevet européen).
`
`Printed by Jouve, 75001 PARlS (FR)
`
`Panasonic Exhibit 1005 Page 1 0132
`
`EP1386480B1
`
`

`

`Description
`
`EP 1 386 480 B1
`
`La présente invention concerne l’obtention d’images panoramiques numériques et l’affichage d’images pano-
`[0001]
`ramiques sur des écrans d’ordinateurs.
`[0002]
`La figure 1 représente un dispositif classique permettant de réaliser une image panoramique numérique et de
`la presenter sur un écran d’ordinateur. Le dispositif comprend un appareil de prise de vue numérique 1 équipé d’un
`objectif panoramique 2 de type "fish-eye", ayant un angle d’ouverture de l’ordre de 180°. L’appareil 1 est connecté ‘a un
`calculateur 5, par exemple un micro-ordinateur, pourvu d’un écran 6. La connexion au micro-ordinateur 5 peut étre
`permanente, par exemple Iorsque l’appareil 1 est une caméra vidéo numérique, ou temporaire, par exemple Iorsque
`l’appareil 1 est un appareil photographique numérique pourvu d’une mémoire d’images, la connexion étant alors faite
`au moment ou des fichiers image doivent étre transférés dans le micro-ordinateur.
`[0003]
`La figure 2 représente schématiquement l’aspect d’une image panoramique 3 obtenue au moyen de l’objectif
`panoramique 2. L’aspect rond de l’image est caractéristique de la symétrie axiale des objectifs panoramiques et l‘image
`présente des bords sombres 4 qui seront supprimés ultérieurement. Cette image panoramique numérique est délivrée
`par l’appareil 1 sous forme d’un fichier inforrnatique contenant des points image codés RVBA agencés dans une table
`‘a deux dimensions, "R" étant le pixel rouge d‘un point image, "V" le pixel vert, "B" le pixel bleu, et "A" le parametre Alpha
`ou transparence, les parametres R, V, B, A étant généralement codes sous 8 bits.
`[0004]
`Le fichier image esttransféré dans le micro-ordinateur5 qui transforme l’image initiale en une image numérique
`‘a trois dimensions, puis présente a l’utilisateur un secteur de l’image a trois dimensions dans une fenétre d’affichage 7
`occupant tout ou partie de l’écran 6.
`[0005]
`La figure 3 illustre schématiquement des étapes classiques de transformation de I’image panoramique a deux
`dimensions en une image panoramique offrant un effet de perspective re’aliste. Apres suppression des bords noirs de
`l’image, le micro—ordinateur dispose d’un ensemble de points image formant un disque image 10 de centre 0 et d’axes
`OX et OY. Les points image du disque image sont transférés dans un espace a trois dimensions défini par un repere
`orthogonal d’axes O’X’Y’Z, l’axe O’Z étant perpendiculaire au plan du disque image. Le transfert est assure par une
`fonction mathématique mise en oeuvre par un algorithme exécuté par le micro-ordinateur, et conduit a l’obtention d’un
`ensemble de points image référencés dans le repere O’X’Y‘Z. Ces points image sont par exemple codés en coordonnées
`sphériques RVBA ((p,6),
`(p étant la latitude et 6 la longitude d’un point image, les angles (p et 0 étant codés sur 4 a 8
`octets (norme IEEE). Ces points image forment une demi-sph‘ere 11 Iorsque I’objectif panoramique utilise pre’sente une
`ouverture de 180°, sinon une portion de demi-sph‘ere. Le micro-ordinateur dispose ainsi d’une image virtuelle en forme
`de demi—sphere dont un secteur12,correspondantalafenétre d’affichage 7, est présente surl’écran (fig. 1) en considérant
`que l’observateur se trouve sur le point central 0’ du systeme d’axes O’X’Y’Z, qui définit avec le centre 0" du secteur
`d’image 12, une direction O’O" appelée "position du regard".
`[0006] Afin d’éviter que le secteur d’image affiché 12 présente des déformations géométriques désagréables pour
`l’observateur, les objectifs panoramiques classiques doivent presenter une fonction de repartition des points image en
`fonction de l’angle de champ des points objet d’un panorama qui soit la plus linéaire possible. Ainsi, si l’on considere
`deux points A’, B’ situés sur un meme me‘ridien de la demi-sphere 11, et les points correspondants A, B sur |e disque
`image 10, le rapport entre les angles (A’O’Z) et (B’O’Z) doit étre égal au rapport entre les distances OA et OB sur le
`disque image.
`[0007]
`En raison de cette propriété de linéarité d’un objectif panoramique classique, des points image correspondant
`‘a des points objet ayant un angle de champ identique forment sur le disque image 10 des cercles concentriques C10,
`C20... C90, comme cela est représente en figure 4A. On désigne classiquement par "angle de champ d’un point objet"
`l’angle que présente un rayon lumineux incident passant par le point objet considéré et par le centre du panorama
`photographié, relativement a l’axe optique de l’objectif. L‘angle de champ d’un point objet peut étre compris entre 0 et
`90° pour un objectif ayant une ouverture de 180°. Ainsi, Ie cercle C10 est formé par les points image correspondant a
`des points objet ayant un angle de champ de 10°,
`le cercle C20 est formé par des points image correspondant a des
`points objet ayant un angle de champ de 20°, etc., le cercle C90 étant formé par les points image ayant un angle de
`champ de 90°.
`[0008]
`La figure 4B représente l‘allure de la fonction de repartition ch d’un objectif panoramique classique, qui
`détermine la distance relative drd’un point image par rapport au centre du disque image en fonction de l’angle de champ
`(x du point objet correspondant. La distance relative drest comprise entre 0 et1 et est égale a la distance du point image
`par rapport au centre de I’image divisee par |e rayon du disque image. La forme ide’ale de la fonction ch est une droite
`de pente K :
`
`dr
`
`ch (a)
`
`K a
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 2 of 32
`
`

`

`EP 1 386 480 B1
`
`dans Iaquelle la constante K est égale a 0,111 degré'1 (1/90°).
`[0009] Cette technique d’affichage sur un écran d’ordinateur d’un secteur d’image numérique panoramique présente
`divers avantages, notamment |a possibilité "d’explorer" I’image panoramique en faisant glisser |e secteur d’image pré-
`senté a l’écran vers Ia gauche, |a droite, Ie haut ou Ie bas, jusqu’a atteindre les limites de I’image panoramique. Cette
`technique permet également d’effectuer des rotations completes de l’image Iorsque deux images numériques comple-
`mentaires ont été prises etfournies au micro-ordinateur, ce dernier reconstituant alors une sph‘ere panoramique compl‘ete
`par assemblage de deux demi-spheres. Un autre avantage offert par la présentation d’une image panoramique sur
`écran est de permettre a l’observateur d‘effectuer des grossissements ou zooms sur des parties de l’image. Les zooms
`sont effectués de facon numérique, par rétrécissement du secteur d’image affiche' et dilatation de la répartition des
`points image sur les pixels de I’écran.
`[0010] Divers exemples d’images panoramiques interactives peuvent étre trouvés sur |e Web. On pourra notamment
`se reporter au site central "http://www.panoguide.com" ("the guide to panoramas and panoramic photography") qui
`donne un apergu exhaustif de I’ensemble des produits a la disposition du public pour réaliser de telles images. Des
`logiciels permettant de transformer des photographies panoramiques numériques en images panoramiques interactives
`sont proposés au public sous forme de programmes téléchargeables ou de CD-ROM disponibles dans le commerce.
`[0011] Malgré les divers avantages qu’offre cette technique d’affichage d’images numériques, les grossissements
`numériques présentent I’inconvénient d’étre limités par la résolution du capteur d’image utilise Iors de la prise d‘image
`initiale et la resolution d’un capteur d’image est généralement tres inférieure ‘a celle d’une photographie classique. Ainsi,
`Iorsque le grossissement augmente, |a granulosité de l’image apparait car on arrive aux limites de la resolution du
`capteur d’image.
`[0012]
`Pour pallier cet inconvenient, il est connu de procéder a des interpolations de pixels afin de retarder I’apparition
`des pavés de couleur qui trahissent les limites de la résolution du capteur. Toutefois, cette méthode ne fait qu’améliorer
`l’aspect du secteur d’image grossi et ne permet aucunement d’apporter un surcroTt de définition. Une autre solution,
`évidente, est de prévoir un capteur d’image présentant une résolution élevée, supérieure ‘a la résolution ne'cessaire pour
`la presentation d’un secteur d’image sans grossissement, de sorte qu’il reste une marge de définition pour les zooms.
`Cette solution est toutefois coOteuse car Ie prix de revient d’un capteur d’image augmente rapidement avec Ie nombre
`de pixel par unité de surface.
`[0013] Afin d’améliorer la qualité des grossissements, certaines tentatives ont été faites en modifiant les propriétés
`optiques des objectifs panoramiques eux-memes. Ainsi, Ie brevet US 5710661 enseigne de capturer une image pano-
`ramique avec deux objectifs imbriqués grace a un jeu de miroirs. Un premier jeu de miroir permet d’offrir une vue
`d’ensemble, et un miroir central mobile permet d’offrir une vue en détail sur une zone de'terminée du panoramique.
`Toutefois cette solution n’offre pas la meme souplesse que les zooms numériques, notamment Iorsque l’image n’est
`pas affichée en temps réel, l’observateur n’ayant plus |a possibilité de choisir la portion d’image qu’il veut agrandir une
`fois Ia photographie réalisée.
`[0014] Ainsi, Ia présente invention vise un procédé permettant de contourner les limites physiques des capteurs
`d’image et d’améliorer Ia définition offerte par des grossissements numériques portant sur certaines parties d’une image
`panoramique numérique, sans qu’il soit nécessaire d’augmenter Ie nombre de pixels par unité de surface d’un capteur
`d’image ni de prévoir un systeme de grossissement optique imbriqué dans un objectif panoramique.
`[0015] Dans de nombreuses applications, seules certaines zones d’une image panoramique présentent un intérét
`pratique et sont susceptibles d’étre dilatées par I’observateur au moyen d’un zoom numérique. Ainsi, dans des appli-
`cations comme lavidéosurveillance, lavidéoconférence, lavisioconférence, une caméra panoramique peut étre installée
`contre un mur ou au plafond et I’on n’a généralement aucun intérét a faire des grossissements sur les zones de I‘image
`panoramique correspondant au mur ou au plafond. De méme, dans le cadre d’une vidéoconférence faite au moyen
`d’une caméra panoramique, |a zone la plus intéressante est généralement située a un endroit spécifique qui est situé
`vers Ie centre de I’image (dans Ie cas d‘une utilisation individuelle) ou sur les bords de I’image (dans Ie cas d’une
`utilisation collective ou visioconférence). Par ailleurs, dans le domaine des loisirs, Ia plupart des images panoramiques
`comprennent des parties moins intéressantes que d’autres, par exemple les parties représentant le ciel ou un plafond,
`Ia partie la plus utile se trouvant généralement au voisinage du centre de l’image.
`[0016]
`Le brevet EP 0 695 085 décrit un procédé de capture d’images utilisant une lentille hémisphérique a gradient
`d’index (52, fig. 4A) qui dilate les bords de I’image.
`[0017]
`Le brevet US 3 953 111 décrit un procédé de capture d’images au moyen d’un vidicon utilisant une lentille qui
`dilate |e centre de I’image et un projecteur utilisant une lentille inverse pour projeter I’image corrigée sur un écran
`sphérique.
`[0018]
`La présente invention propose de réaliser des photographies panoramiques au moyen d’un objectif panora—
`mique qui n’est pas linéaire et qui dilate une zone intermédiaire de l‘image se trouvant entre le centre et les bords de
`I’image. La zone dilatée de I’image couvrent un nombre de pixels du capteur d’image plus important que si elle n’était
`pas dilatée, et bénéficie par conséquent d’une meilleure definition.
`[0019]
`Plus particulierement, la présente invention propose un procédé de capture d’une image panoramique numé-
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 3 0f 32
`
`

`

`EP 1 386 480 B1
`
`rique conforme a la revendication 1.
`[0020]
`La présente invention concerne également un procédé d‘affichage d‘une image panoramique conforme a la
`revendication 7.
`
`La présente invention concerne également un objectif panoramique conforme a la revendication 14.
`[0021]
`[0022] Ces objets, caractéristiques et avantages ainsi que d’autres de la présente invention seront exposes plus en
`detail dans la description suivante du procédé selon I’invention et d’exemples de realisation d‘objectifs panoramiques
`non Iinéaires selon l‘invention, faite ‘a titre non limitatif en relation avec les figures jointes parmi Iesquelles :
`
`-
`
`-
`-
`
`-
`-
`
`-
`-
`-
`-
`
`-
`-
`
`-
`-
`
`-
`
`-
`-
`-
`
`la figure 1 précédemment décrite représente un systeme d’affichage sur un écran d’une image panoramique nu-
`mérique,
`la figure 2 précédemment décrite représente une image panoramique avant son traitement par un ordinateur,
`la figure 3 précédemment décrite illustre un procédé classique de transformation d’une image panoramique ‘a deux
`dimensions en une image panoramique numérique a trois dimensions,
`Ies figures 4A et 4B préce’demment décrites illustrent Ia Iinéarité d‘un objectif panoramique classique,
`Ies figures 5 et 6 illustrent un aspect du procédé et représentent respectivement une repartition de points image
`obtenue avec un objectif panoramique classique et une repartition de points image obtenue avec un objectif pano-
`ramique non linéaire selon l’invention,
`Ies figures 7A et 78 illustrent un premier exemple de non-Iinéarité d’un objectif panoramique,
`la f'gure 8 illustre un second exemple de non-Iinéarité d’un objectif panoramique,
`la f'gure 9 illustre un troisieme exemple de non-Iinéarité d’un objectif panoramique selon l’invention,
`Ia f'gure 10 représente un systeme d’affichage d’une image panoramique numérique au moyen duquel est mis en
`oeuvre un procédé de correction selon l‘invention de l’image panoramique,
`la f'gure 11 illustre schématiquement un premier mode de realisation du procédé de correction selon l‘invention,
`la figure 12 est un organigramme décrivant un procédé d’affichage d’une image panoramique incorporant le premier
`procédé de correction selon l‘invention,
`la f'gure 13 illustre schématiquement un second mode de réalisation du procédé de correction selon l’invention,
`la figure 14 est un organigramme décrivant un procédé d’affichage d’une image panoramique incorporant le second
`procédé de correction selon l‘invention,
`Ia f'gure 15 est une vue en coupe d’un premier mode de re’alisation d’un objectif panoramique non Iinéaire selon
`l‘invention,
`Iafigure 16 est unevue éclate'e en coupe d’un systeme de lentilles présent dans l’objectifpanoramique de Iafigure 15,
`la f'gure 17 est une vue de profil d’une lentille présente dans l’objectif panoramique de la figure 15, et
`la figure 18 est le schéma d’un second mode de realisation d’un objectif panoramique non linéaire selon l’invention.
`
`
`
`| - Description du procédé
`
`A - Compression/dilatation d’une image initiale
`
`La figure 5 représente schématiquement un systeme classique de prise de vues panoramiques, comprenant
`[0023]
`un objectif panoramique 15 d’axe optique OZ et un capteur d’image numérique 17 agencé dans le plan image de l’objectif
`15. On considere ici quatre points objet a, b, c, d appartenant a un panorama PM se trouvant en face de l’objectif et
`présentant respectivement des angles d’incidence (x1, (x2, -(x2, -0c1. Comme cela a été indiqué au préambule, l’angle
`de champ d’un point objet est l’angle que présente relativement a l’axe optique 02 de l’objectif un rayon lumineux
`incident passant par le point objet considéré et par le centre du panorama PM, repéré par un point "p" sur la figure. Dans
`cet exemple, I’angle (x1 est égal a deux fois I’angle (x2. Sur Ie capteur d’image 17, des points image a’, b‘, c’, d’ corres-
`pondant aux points objet a, b, c, d se trouvent ‘a des distances du centre de l’image e’gales respectivement ‘a d1, d2,
`-d2, -d1. Comme la repartition des points image en fonction de l’angle de champ des points objet est Iinéaire avec un
`objectif panoramique classique, les distances d1 et d2 sont liées par la relation suivante :
`
`'dl/al = (3.2/0.2
`
`L’angle (x1 étant ici égal a 20:2, il vient que:
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 4 of 32
`
`

`

`EP 1 386 480 B1
`
`(‘11 = 2:12
`
`[0024] Comme cela est bien connu de l’homme de l’art, le terme "linéarité" désigne ici un rapport de proportionnalité
`entre la distance d’un point image mesurée relativement au centre de I’image et I’angle de champ du point objet cor-
`respondant. La notion de "linéarité" en matiere d’objectifs panoramiques est donc différente de celle qui pre'vaut dans
`le domaine de l’optique paraxiale (au voisinage de l’axe optique) Iorsque les conditions de Gauss sont remplies.
`[0025]
`La figure 6 représente un syst‘eme de prise de vue du méme type que le precedent, mais dans lequel l’objectif
`panoramique classique 15 est remplacé par un objectif 18, le capteur d’image 17 étant agencé dans le plan image de
`l’objectif 15. On considere a nouveau la projection sur le capteur d‘image 17 des points objet a, b, c, d présentant des
`angles d’incidence (x1, (x2, -(x2 et -or1 relativement a l’axe 02 de l’objectif et au centre "p" du panorama. Sur le capteur
`d’image 17, les points image correspondants a", b", c", d" se trouvent a des distances du centre de l’image respectivement
`égales a d1 ’, d2’, -d2’, -d1 ’.
`[0026]
`L’objectif 1 8 présente unefonction de re'partition des points image qui n’est pas linéaire, le rapport des distances
`d1’, d2’, -d2’, -d1’ n’étant pas égal au rapport des angles d’incidence oc1, (x2, -oc2, -(x1. Sur l’exemple représente, la
`distance d2’ est nettement supérieure a d1’/2, de sorte que la partie centrale de l’image panoramique projetée sur le
`capteurd’image 17, qui correspond a un angle solide 2on2 centré sur l’axe optique OZ, occupe une surface plus importante
`sur le capteurd’image 17 que la surface qu’elle occupe en figure 5 avec l’objectifpanoramique classique (zone hachurée).
`Cette partie centrale de l’image panoramique est ainsi projetée sur le capteur d’image avec dilatation de sa surface, par
`rapport a la surface qu’elle occuperait si I’objectif etait Iinaire.
`|| en resulte que |e nombre de pixel du capteur d‘image
`couvert par cette partie de l‘image est plus important que dans l’art antérieur et que la definition obtenue est ame’liorée.
`En contrepartie, la partie de l’image délimitée par deux cercles passant respectivement par les points a", d" et par les
`points b", c" est comprimée relativement a la partie correspondante en figure 5, et la définition sur les bords de l‘image
`est inférieure a celle que l’on obtient avec un objectif linéaire classique, au bénéfice de la partie centrale de l’image.
`[0027]
`En appliquant ce principe, qui consiste a dilater une partie de l’image et compresser une autre partie de l’image,
`on peut choisir la partie a dilater et la partie a compresser en fonction de l’application visée, en réalisant plusieurs types
`d’objectifs non linéaires et en choisissant un objectif convenant a l’application visée. Selon l’application visée, la partie
`la plus utile d’une image panoramique peut se trouver au centre de I’image, en bordure de I’image, dans une zone
`intermédiaire située entre le centre et le bord de l’image, etc.
`[0028]
`Les figures 7A et 78, 8 et 9 illustrent trois exemples de fonctions de re’partition non linaires selon l’invention.
`[0029]
`La fonction de repartition illustrée sur les figures 7A et 78 correspond a l’exemple de la figure 6, a savoir un
`objectif panoramique assurant une dilatation de l’image au centre. La figure 7A représente des cercles concentriques
`équidistants C10, C20... 090 presents sur un disque image, chaque cercle étant formé par des points image corres-
`pondant a des points objet ayant le méme angle de champ. Le cercle C10 est formé par les points image correspondant
`a des points objet ayant un angle de champ de 10°, le cercle C20 est formé par des points image correspondant a des
`points objet ayant un angle de champ de 20°, etc.. En comparant Ia figure 7A avec la figure 4A décrite au preambule,
`i| apparait que les cercles C10 et C20 sont plus éloignés du centre de l’image et plus éloignés l’un de l’autre que les
`cercles C10 et C20 obtenus avec un objectif classique, tandis que les cercles CSO a C90 sont plus proches les uns des
`autres. Une telle image panoramique présente ainsi une zone dilatée au centre et une zone comprimée en bordure du
`disque image.
`[0030]
`La figure 4B représente la courbe de la fonction de repartition Fd1 correspondante. La fonction de repartition
`linéaire classique, d’expression ch = Koc et en forme de droite de pente K, est également représentée en tant que point
`de repere (la constante K étant égale a 1/90 pour un objectif ayant une ouvelture de 180°, soit une pente de 0,111 par
`degré). L’angle de champ 0c des points objet est représente en abscisse et est compris entre 0 et 90°. La distance relative
`dr d’un point image par rapport au centre du disque image est représentée sur l’axe des ordonnées et est comprise
`entre 0 et 1. La courbe de la fonction Fd1 présente une pente plus forte que la droite ch pour des angles or compris
`entre 0 et20°, puis une pente plus faible au-dela des 20° etjusqu’a 90°. Une forte pente signifie une dilatation de l‘image
`et une faible pente signifie une compression de l’image.
`[0031]
`ll apparait sur cet exemple que la courbe Fd1 présente un point de divergence maximale Pd a l’angle (x = 20°.
`On entend par "point de divergence maximale" le point image Pd(oc) ou l’on observe le plus grand écart en distance
`relative drpar rapport a un point correspondant Pd|((x) sur la droite de repartition Iinaire Ka. Dans cet exemple, |e point
`Pd((x=20°) présente une distance relative dr égale ‘a 0,5 relativement au centre de l’image tandis que le point corres-
`pondant Pdl((x=20°) sur lacourbe Iinaire ch présente une distance relative drde 0,222. La divergence maximale DIVmaX
`de la fonction de répartition Fd1 peut étre calculée par une formule du type :
`
`10
`
`15
`
`20
`
`25
`
`30
`
`35
`
`40
`
`45
`
`50
`
`55
`
`Panasonic Exhibit 1005 Page 5 of 32
`
`

`

`EP 1 386 480 B1
`
`DIVmax9a = [[dr(Pd)
`
`— dr(Pd1)]/[dr(Pdl)]]*100
`
`soit :
`
`DIVmaX% =
`
`[[drlPd)
`
`- K*a(Pd)]/[K*a(Pd)]]*100
`
`10
`
`15
`
`20
`
`25
`
`Dans Iaquelle dr(Pd) est la distance relative par rapport au centre du point de divergence maximale Pd, dr(Pdl) est la
`distance relative par rapport au centre du point correspondant sur la droite de repartition linéaire ch, (x(Pd) étant
`l’abscisse du point Pd soit l‘angle de champ du point objet correspondant.
`[0032] Dans l’exemple considéré ici, la divergence maximale est donc égale a +125°/o. Cette valeur de divergence
`maximale est nettement supérieure a celle due aux erreurs de conception éventuelles ou aux erreurs de fabrication d’un
`objectif panoramique classique, qui est de quelques pourcent. De fagon générale, un objectif non linéaire présente une
`divergence maximale de l’ordre de 10% au moins, pour obtenir une dilatation des parties utiles de l’image qui se traduise
`par un net accroissement du nombre de pixels du capteur d’image couvert par les parties utiles et une amélioration
`sensible de la définition obtenue.
`
`[0033] On définit également un taux moyen TX de dilatation ou compression d’une partie de l’image comprise entre
`deux cercles passant par des points Pd1 et Pd2. Le taux TX est le rapport entre la surface délimitée par les deux cercles
`passant par les points Pd1, Pd2 et la surface délimitée par deux cercles passant par des points Pdl1, Pdl2 de méme
`abscisse appartenant a la fonction de repartition linéaire ch. Le taux TX peut étre détermine’ par une forrnule du type :
`
`TX =
`
`[dr(Pd1)2 - dr(Pd2)2 ]/ [(drrpdni)2 -
`
`(drlpd12))fi
`
`30
`
`soit:
`
`35
`
`40
`
`45
`
`50
`
`55
`
`TX = [dr(Pdl)2 - dr(Pd2)2 ]/
`
`[K2[((1(Pd1))2 -
`
`(a(Pd2))2]]
`
`[0034] Un taux TX supérieur a 1 indique une dilatation de la partie d’image considérée tandis qu’un taux TX inférieur
`‘a 1 indique une compression de la partie d’image considérée. Dans I’exemple de fonction Fd1 considéré ici,
`le taux
`moyen de dilatation/compression TX de la partie centrale de l’image, délimitée par le cercle 020, est égal ‘a 5,07, soit
`une dilatation moyenne par un facteur 5 de la partie centrale de l’image et par consequent une amelioration de 500%
`de la définition obtenue pour un nombre de pixels constant du capteur d’image.
`[0035]
`La figure 8 représente un autre exemple de fonction de répartition Fd2, présentant ici un point de divergence
`maximale Pd a l’angle 0r=70°, ayant une distance relative par rapport au centre de l’image de 0,3. La divergence maximale
`de la courbe Fd2 est ici de -61,4 %, et le taux moyen de dilatation/compression TX de la partie centrale de l‘image
`délimitée par |e cercle C70 (non représente) est de 0,15, soit une compression moyenne par un facteur de 0,15 de la
`partie centrale de l’image. La partie dilatée de l’image se trouve ainsi ici sur le bord de l’image, entre le cercle 070 et
`le cercle CQO, et présente un taux moyen de dilatation/compression de 2,3. Ainsi, un disque image obtenu avec un
`objectif panoramique ayant une fonction de repartition conforme a la fonction Fd2, présente une zone a haute définition
`sur ses bords, se prétant bien aux grossissements numériques, et une zone a faible definition dans sa partie centrale.
`[0036]
`La figure 9 représente un troisieme exemple de fonction de repartition Fd3 selon l’invention, présentant un
`premier point de divergence maximale Pd1 (0r=30°, dr=0,1) et un second point de divergence maximale Pd2 (or=70°,
`dr:0,9). On observe donc deux divergences maximales, l’une negative et égale a -70%, l’autre positive et égale ‘a15,8%.
`On observe également une zone d’image comprimée entre |e centre O de I’image et |e cercle C30 passant par |e point
`Pd1, une zone d’image dilatée entre le cercle 030 et le cercle C70 passant par le point Pd2, et une zone d’image
`comprimée entre le cercle C70 et le cercle CQO formant le bord du disque image. Les taux moyens de dilatation/
`compression TX(O, C30), TX(C30, C70), TX(C70, C90) pour chacune de ces zones sont respectivement égaux ‘a 0,09,
`1,6 et 0,48. Un disque image obtenu avec un objectif panoramique ayant une fonction de répartition conforme a la
`fonction Fd3, présente dans sa partie interme’diaire une zone a haute definition, se pretant bien aux grossissements
`numériques, et deux zones ‘a faible de'finition dans sa partie centrale et sur ses bords.
`
`Panasonic Exhibit 1005 Page 6 of 32
`
`

`

`B - Correction de la non-linéarité de l’image initiale
`
`EP 1 386 480 B1
`
`[0037] On a décrit dans ce qui précede un premier aspect de l’invention, selon lequel on prévoit une repartition non
`linéaire de points image sur une image numérique afin d’améliorer la définition de l’image dans des zones dilatées, par
`augmentation du nombre de pixels du capteur d’image couvert par les zones dilatées. Avant de décrire des exemples
`de realisation d’objectifs panoramiques non linéaires, on de’crira un deuxieme aspect de I’invention qui consiste a corriger
`la non-linéarité du disque image obtenu afin de présenter a l’observateur une image dépourvue de déformation optique.
`[0038] Ce deuxi‘eme aspect de l’invention est mis en oeuvre au stade du traitement par ordinateur de l’image initiale,
`pour la présentation d’une image panoramique interactive sur un écran. Les moyens de mise en oeuvre du procédé de
`l’invention sont illustrés en figure 10 et sont en soi classiques. On distingue un appareil de prise de vue numérique 20
`équipé d’un objectif panoramique non linéaire 21 et connecté a un micro-ordinateur 22 comprenant un écran 23. Les
`images numériques lMi prises au moyen de l’appareil 20 sont transférées au micro-ordinateur pour étre traitées et
`af'iichées sur l’écran 23, dans une fenétre d’atfichage 24. Un programme de traitement comprenant un algorithme de
`transformation et d‘affichage des images est préalablement charge dans Ie micro-ordinateur, par exemple au moyen
`d’un CD-ROM 25 ou par téléchargement via le réseau Internet. L’appareil 2O peut étre un appareil photographique
`numérique ou une camera vidéo numérique et la connexion au micro-ordinateur peu étre permanente ou non. Dans le
`cas d’une caméra vidéo, le micro-ordinateur recoit un flux d’images qu’il traite en temps réel pour les atficher sur l’écran.
`[0039] Dans ce contexte, le procédé de correction selon l’invention peut étre exécuté selon deux modes de realisation.
`Un premier mode de realisation consiste a effectuer une correction de l’image initiale au moyen d’une fonction Fd'1 qui
`est Iafonction réciproque de la fonction de repartition Fd selon l’invention. La fonction de repartition Fd étant connue et
`determinee au moment de la conception de I’objectif non linéaire, il est aisé d’en déduire Ia fonction réciproque Fd'1.
`Cette étape de correction permet d’obtenir une image corrigée dans Iaquelle les non linéarités dues a l’objectif selon
`l’invention sont supprimées. L’image corrigée est équivalente a une image prise au moyen d’un objectif panoramique
`classique et peut ensuite étre traitée par tout logiciel d’affichage classique disponible dans le commerce, prévu pour
`transférer les points image d’un disque image dans un espace a trois dimensions et pour procéder a l’affichage interactif
`d’un secteur de l’image obtenue.
`[0040]
`La seconde variante du procédé consiste a faire intervenir la fonction de repartition Fd dans un algorithme
`d’af'fichage d’image travaillant ‘a rebours, c’est-a-dire définissant en temps réel la couleur des pixels d’une fenétre
`d’affichage a partir des points image du disque image.
`
`Premier mode de réalisation du procédé de correction
`
`Lafigure 11 illustre le premier mode de realisation du procédé selon l’invention. On suppose ici que l’on dispose
`[0041]
`d’une image initiale lmg1 comportant un disque image non linéaire lD1 de rayon R1, ayant par exemple une zone de
`dilatation au centre (cercles C10 et C20). On transforme l‘image initiale lmg1 en une image corrigée lmg2 comportant
`un disque image linéaire |D2 de rayon R2. Le rayon R2 du disque image |D2 estsupe’rieurau rayon R1 du disque image
`initial |D1 et Ie disque image |D2 présente une re’solution egale ou sensiblement egale a la resolution offerte par la zone
`du disque image lmg1 ou se trouve la plus grande densité d’information (soit la zone ou l’image est la plus dilatée). ll
`s’agit ici de la paitie centrale de l’image délimitée par le cercle C20.
`[0042]
`Les principales étapes de ce procédé sont les suivantes :
`
`-
`
`-
`
`-
`
`on calcule dans un premiertemps, au moyen de la fonction réciproque Fd", la taille R2 du disque image linéarisé
`|D2 en considérant sur le disque image initial
`lD1 l’endroit ou l’image est la plus dilatée, de mani‘ere que l‘image
`corrigée lmg2 ait une resolution égale ou sensiblement égale a la résolution offerte par la zone de l’image lmg1 ou
`se trouve la plus grande densité d’information,
`on parcourt ensuite chaque pixel de l‘image ‘a calculer lmg2, et on cherche la position de son point jumeau sur
`l‘image lmg1, puis
`on af

This document is available on Docket Alarm but you must sign up to view it.


Or .

Accessing this document will incur an additional charge of $.

After purchase, you can access this document again without charge.

Accept $ Charge
throbber

Still Working On It

This document is taking longer than usual to download. This can happen if we need to contact the court directly to obtain the document and their servers are running slowly.

Give it another minute or two to complete, and then try the refresh button.

throbber

A few More Minutes ... Still Working

It can take up to 5 minutes for us to download a document if the court servers are running slowly.

Thank you for your continued patience.

This document could not be displayed.

We could not find this document within its docket. Please go back to the docket page and check the link. If that does not work, go back to the docket and refresh it to pull the newest information.

Your account does not support viewing this document.

You need a Paid Account to view this document. Click here to change your account type.

Your account does not support viewing this document.

Set your membership status to view this document.

With a Docket Alarm membership, you'll get a whole lot more, including:

  • Up-to-date information for this case.
  • Email alerts whenever there is an update.
  • Full text search for other cases.
  • Get email alerts whenever a new case matches your search.

Become a Member

One Moment Please

The filing “” is large (MB) and is being downloaded.

Please refresh this page in a few minutes to see if the filing has been downloaded. The filing will also be emailed to you when the download completes.

Your document is on its way!

If you do not receive the document in five minutes, contact support at support@docketalarm.com.

Sealed Document

We are unable to display this document, it may be under a court ordered seal.

If you have proper credentials to access the file, you may proceed directly to the court's system using your government issued username and password.


Access Government Site

We are redirecting you
to a mobile optimized page.





Document Unreadable or Corrupt

Refresh this Document
Go to the Docket

We are unable to display this document.

Refresh this Document
Go to the Docket