ORGANISATION MONDIALE DE LA I'ROPRIE'IE !NlELLEcruaLE
`Bureau international
`
`PCT
`DEMANDE INTERNA TIONALE PUBLIEE EN VERTU DU TRAITE DE COOPERATION EN MATIERE DE BREVETS (PCT)
`(11) Nurrnko de publication internationale: wo 98105002
`5 f6vrier 1998 (05.02.98)
`
`(51) ClllSSification internationale des brevets 6 :
`G06T 7/20
`
`Al
`
`(43) Date de publication internationale:
`
`(21) Numero de Ia demande intem.ationale:
`
`PCf/FR97/0l 354
`
`(22) Date de depat international:
`
`22 juillct 1997 (22.07.97)
`
`(30) Donnees relatives a Ia priorite:
`96/09420
`26 j uillet 1996 (26.07.96)
`
`FR
`
`(71) Deposant (pour tous les Etats designes sauf US): CARLUS
`MAGNUS LIMITED [-/- ]; Victoria House. Main Street,
`Gibraltar (GI).
`
`(72) lnventeur; et
`(75) lnventeur/Dq>osant (US seulement): PIRIM, Patrick [FR/FR);
`56, rue Patay, F-75013 Paris (FR}.
`
`(74) Mandataire: LE BRUSQUE, Maurice; Cabinet Harle & Phelip,
`21, rue de la Rochefoucaud, F-75009 Paris (FR).
`
`(81) Etats designes: AL, AM. AT, AU. AZ. BA, BB, BG. BR, BY.
`CA. CH, CN, CU, CZ, DE, DK, EE, ES, FJ, GB, GE, HU,
`IL, IS, JP. K.E, KG. KP, KR, KZ, LC, LK, LR. LS, LT, LU,
`LV, MD, MG, MK. MN, MW, MX, NO, NZ, PL, PT. RO,
`RU, SD, SE, SG. SI, SK, TJ, TM, TR, IT, UA, UG, US,
`UZ, VN, brevet ARIPO (GH, KE, LS, MW, SD, SZ, UG,
`ZW), brevet eurnsien (AM, AZ, BY, KG, K.Z, MD, RU, TJ,
`TM), brevet curopeen (AT, BE, CH, DE, DK, ES, Fl, FR.,
`GB, GR. IE, 1T, LU, MC, NL, PT. SE), brevet OAPI (BF,
`BJ, CF, CG, CI, CM. GA. GN, ML, M:R, NE, SN. TD, TG).
`
`Publiee
`Avec rapport de recherc he irnernationale.
`Av"c revendications modifiees et declaration.
`
`(54) Title: METHOD AND DEVICE FOR REAL-TIME DETECTION, LOCATION AND DETERMINATION OF TilE SPEED AND
`DIRECTION OF MOVEMENT OF AN AREA OF RELATIVE MOVEMENT lN A SCENE
`
`(54) Titre: PROCEDE ET DJSPOSITIF FONCDONNANT EN TEMPS REEL, POUR LE REPERAGE ET LA LOCALISA TJON D'UNE
`ZONE EN MOUVEMENT RELA TJF DANS UNE SCENE, AINSI QUE POUR LA DETERMINATION DE LA VITESSE
`ET DE LA DIRECTION DU DEPLACEMENT
`
`(57) Abstract
`
`A method and device for real-time detection, location and
`determination of the speed and direction of movement of an area
`of relative movement in a scene, are disclosed. According to
`the method. the digital video input signal S(PJ) is subjected to
`a time-based processing step wherein changes in the value of
`each pix.el between one frame and the corresponding previous
`frame are used to generate a binary signal DP representing a
`significant change or the lack thereof, and a digital signal CO
`representing the degree of change; and to a spatial processing
`step wherein both signals are distributed over a matrix for a
`single frame passing therethrough, and the relative movement
`to be sensed as well as the parameters thereof are deduced from
`the resulting matrix distribution. For this purpose. tlle device
`comprises a time processing unit (15) combined witll a memory
`(16) and a spatial processing unit (17) combined with a delay
`unit (IS). Clock (20) and control (19) units are provided for clocking the operation of units (15) and (17).
`
`(57) Abrege
`
`L ' invention a pour objet un procede et un dispositif, fonctionnant en temps reel, pour le reperage, Ia localisation, la determination de
`Ia vitcsse e t de Ia direction du dtplacement en temps reel d'une zone en mouvement relatif dans une scene. Le proce& realise un traitement
`tempore! du signal vid6o numl!rique d'entlie S(PI), consistant A cl6duire, des variations de la valeur de chaque pixel entre unc trame et la
`trame correspondante anterieure, un signal binaire DP de variation ou non-variation significative et un signal nurn6rique CO representatif
`de !'importance de cette variation, et un traitemcnt spatial, consistant A repartir sur une matrice par roulement ces deux signaux pour unc
`meme uame qui dtfile ~ travers Ia matrice et il deduire de cette repartition matricielle le mouvement relatif recber'cM et ses param~tres. A
`cet effet, le dispositif comportc une unitt de traitement tempore! (15) associ!X l'l une memoire (16) et une unitt de traitement spatial (17)
`associee ~ une unitt l'l retards (IS); les unites d'horloge (20) et de eommande (19) caden~antle fonctionnement des unit6s (15 et 17).
`Exhibit 2002
`IPR2017-1189
`Petitioner - Samsung Electronics Co., Ltd., et al.
`Patent Owner - Image Processing Technologies LLC
`
`
`
` 1
`
`

`

`Codes utilis~ pour identifier les Etats parties au PCf, sur les pages de couverture des brochures publianr des demandes
`intemationales en vertu du PCf.
`
`UNIQUEMENT A TITRE D'INFORMA.TION
`
`ES
`Fl
`FR
`GA
`GB
`GE
`GH
`GN
`GR
`HU
`IE
`IL
`IS
`IT
`JP
`KE
`KG
`KP
`
`KR
`KZ
`LC
`Ll
`LK
`LR
`
`Espagne
`Fin Iandt
`France
`Gabon
`Royaume-Uni
`~orgie
`Ghana
`Guintc
`GJtce
`Hongrie
`lrlandt
`hrael
`Is Iande
`II a lie
`Japon
`Kenya
`Kirghiziotan
`Rtpublique populaire
`<k!mocntique de COtee
`Rtpublique de Corte
`Kaz.al:stan
`Sainte-Lucie
`Li<:duenstein
`Sri Lanka
`Libtria
`
`LS
`LT
`LV
`LV
`MC
`MD
`MG
`MK
`
`ML
`MN
`MR
`MW
`MX
`Nl!
`NL
`NO
`NZ
`PL
`PT
`RO
`RU
`SD
`SE
`SG
`
`Lesotho
`Lituanie
`Luxembourg
`lettonie
`Monaco
`Rtpublique de Moldova
`Madqascar
`~-Rtpullliquc y011g~nl&vc
`de Mactdoine
`Mali
`Mongo lie
`Mauritanie
`Malawi
`Me~ique
`Niger
`Pays-Bas
`Norv~ge
`Nouvelle-Ztlande
`Pologne
`Portugal
`Roumanie
`FtdtraJion de Russie
`Soodut
`S~de
`Singapour
`
`Sl
`SK
`SN
`sz.
`TO
`TG
`TJ
`TM
`TR
`TT
`UA
`UG
`us
`uz.
`VN
`vu
`zw
`
`Slovblie
`Slovaquie
`Stntgal
`Swaziland
`Tchad
`Togo
`Tadjikistan
`Twtmtniatan
`Turquie
`Trinilt-et-Tobago
`Ukraine
`Ouganda
`f!tau-Unis d'Amtrique
`Ouzbtkbtan
`VietNam
`Vougotlavie
`Zimbabwe
`
`Albanie
`Annblie
`Aulriche
`Austral it
`A:ttrbaldjan
`Bosnie-lientgovine
`Barbadt
`~lgiquc
`Burtina Faso
`Bulgarie
`Btnin
`Bresil
`Btluus
`Canada
`Rtpublique cenm.fricaine
`Congo
`Suisse
`COle d'lvoire
`Cameroun
`Chine
`Cuba
`Rtpublique lc~ue
`Allemagne
`Oanemark
`E!slonie
`
`
` 2
`
`AL
`AM
`AT
`AU
`Al.
`BA
`BB
`BE
`BF
`BG
`BJ
`BR
`BY
`CA
`CF
`CG
`CH
`Cl
`CM
`CN
`cu
`cz
`DE
`DK
`F.E
`
`

`

`W098105002
`
`PCf/FR97101354
`
`PROCEDE ET DISPOSITIF FONCT!ONNANT EN TEMPS REEL, POUR LE
`
`REPERAGE ET LA LOCALISATION D'UNE ZONE EN MOUVEMENT
`
`RELATIF DANS UNE SCENE, AfNSI QUE POUR LA DETERMINATION DE
`
`LA VlTESSE ET DE LA DIRECTION DU DEPLACEMENT
`
`5
`
`La presente invention a pour objet un procede et un dispositif permettant de reperer et de
`
`localiser une zone en mouvement relatif dans une scene et de detenniner Ia vitesse et Ia direction
`
`orientee de ce mouvement relatif, et ceci en temps reel.
`
`Par mouvement relatif, on entend aussi bien le mouvement de ladite zone (qui peut etre
`
`10
`
`constituee par un «objet», au sens Je plus large incluant un etre vivant ou une portion d'un etre
`
`vivant, une main par exemple) dans un environnement sensiblement immobile, que l'imrnobilite
`
`plus ou moins complete de ladite zone ( ou «objet») dans un environnement en deplacement au
`
`moins partie!.
`
`15
`
`20
`
`L'invention est relative au traitement d'un signal video numerique en provenance d'un
`systeme d'observation, constitue par un systeme optique d'entree ou objectif, apte a fonner une
`image de Ia scene observee, et par un systeme de conversion optoelectronique ou capteur, apte a
`convertir ladite image qu'il re~oit en un signal numerique de sortie.
`
`En generalle systeme d'observation est constitue par une camera video ou camescope, qui
`observe Ia scene a surveiller (!edit signal de sortie numerique etant alors constitue par le signal
`video numerique debite par une camera a sortie numerique ou par Ia sortie d'un convertisseur
`analogique/numerique dont !'entree est connectee a Ia sortie d'une camera debitant un signal
`video analogique).
`
`Le systeme d'observation pourrait egalement etre constitue par l'objectif d'un instrument
`
`d'optique Gumelles, lunette d'observation, viseur), dont on preleve au moins une ponion du
`
`25
`
`faisceau lumineux sortant, et par un capteur photo-electronique, de type CCD ou CMOS par
`
`exemple, avec l'electronique associee habituelle, capteur recevant !'image fonnee par ladite
`
`portion de faisceau lumineux et le convertissant, par l'electronique associee, en un signal video
`
`numerique de sortie.
`L 'invention consiste essentiellement a traiter le signal video numerique de sortie d'un
`systeme d'observation, notamrnent d'une camera video, a sortie numerique pour en deduire des
`signaux signalant !'existence et Ia localisation d'une zone en deplacement relatif dans ladite scene,
`
`30
`
`ainsi que Ia vitesse et Ia direction orientee du deplacement dans le cas ou ladite zone se deplace
`etfectivement dans ladite scene relativement a un environnement sensiblement immobile. et ceci en
`temps reel
`
`
`
` 3
`
`

`

`W098/0S002
`
`PCTIFR97/01354
`
`2
`
`Le systeme le plus perfectionne pour reperer et localiser un objet en mouvement relatif et
`
`detenniner sa vitesse et sa direction orientee de deplacement est le systeme de Ia vision animale
`ou humaine, par exemple d'un chasseur a l'afffit localisant le deplacement d'un animal, ainsi que
`Ia direction et Ia vitesse de ce deplacement.
`
`5
`
`Dans Ia technique anterieure on a propose des dispositifs de surveillance du type retine
`
`artificielle, soit analogiques (Giacomo Indiveri et al. in Proceedings of MicroNeuro'96 p. IS a
`22), soit numeriques (Pierre-Francais Riiedi in Proceedings ofMicroNeuro'96 p. 23 a 29), mais il
`s'agit dans le premier article de detecteurs et unites analogiques a structure complexe et dans le
`
`second article de moyens de reperage des bords d'un objet ; en outre dans les dispositifs decrits
`
`10
`
`on a recours a des memoires tres rapides et de grande capacite pour pouvoir operer en temps reel,
`
`15
`
`20
`
`25
`
`et on obtient des renseignements limites en ce qui concerne les zones ou objets en mouvement.
`
`On a ainsi propose de memoriser, dans une premiere memoire bi-dimensionnelle, le signal
`
`d' une trame en provenance d'une camera video, ou analogue, constitue par une suite de donnees
`concernant les pixels representatifs de Ia scene observee par Ia camera a un instant t0, puis, dans
`une deuxieme memoire bi-dimensionnelle. le signal video, pour Ia trame correspondante suivante,
`
`representatif de ladite scene a un instant h Si un objet s'est deplace entre to et r~, on determine,
`d'une part, Ia distanced parcourue par celui-ci dans Ia scene entre r, et to et, d'autre part, Ia duree
`T = t, - to entre les debuts de deux trames correspondantes successives relatives aux memes
`pixels. La vitesse du deplacement est alors egale a drr. Un tel systeme necessite une capacite
`totale de memoire tres importante si on desire obtenir des indications precises de vitesse et de
`
`direction orientee caracterisant le deplacement. En outre, un certain retard existe en ce qui
`
`conceme !'obtention des indications de vitesse et de direction du deplacement ; en effet de telles
`informations ne sont disponibles qu'a )'instant '' + R, en appelant R Ia duree des calculs portant
`sur l'intervalle to - 11• Ce double inconvenient (necessite d'une grande capacite de memoire et
`retard a I' obtention des informations desirees) limite les applications d'un tel systeme.
`Par ailleurs Je brevet francais No 2.611.063, dont l'un des inventeurs (Monsieur Patrick
`
`Pirim) est l'inventeur de Ia presente invention, decrit un precede et un dispositif de traitement en
`
`temps reel d'un flot de donnees sequence, constitue en particulier par le signal de sortie d'un
`
`camescope, afin de realiser une compression des donnees. Selon ce brevet anterieur, on forme
`
`JO
`
`l'histogramme des niveaux du signal suivant une Joi de classification pour une premiere sequence,
`on memorise Ia fonction de Gauss representative associee a cet histogramme, dont on extrait les
`niveaux maximum et minimum, on compare les niveaux de Ia sequence ulterieure. ou deuxieme
`
`sequence, aux dits niveaux du signal pour Ia premiere sequence. memorise avec une constante de
`
`temps constante, identique pour chaque pixel, on engendre un signal binaire de classification qui
`
`
`
` 4
`
`

`

`W098/0S002
`
`PCTIFR97/01354
`
`)
`
`caracterise ladite sequence suivante par rapport a Ia loi de classification, on engendre, a partir de
`ce signal binaire, un signal auxiliaire representatif de Ia duree et de Ia position d' une plage de
`valeurs significatives et enfin on engendre, a partir dudit signal auxiliaire, un signal de localisation
`de Ia plage ayant Ia plus longue duree, dite plage dominante; et on repete ces operations pour les
`
`5
`
`sequences suivantes du signal sequence. Ce procede et ce dispositif de classification permettent
`
`une compression des donnees en ne retenant que les parametres interessants du flot traite de
`
`donnees sequence. En paniculier ce procede permet de trailer un signal video numerique
`
`representatif d'une image video en vue d'extraire et localiser au moins une caracteristique d'au
`
`moins une zone de ladite image. On peut ainsi classer les niveaux de luminance et/ou de
`
`10
`
`chrominance du signal et caracteriser et localiser un objet dans l'image.
`
`Quant au brevet des Etats-Unis n° 5 488 430, il realise Ia detection et !'estimation d' un
`
`deplacement en determinant separement les changements horizontaux et verticaux de !'image de
`
`Ia zone observee. On y utilise des signaux de difference pour detecter des deplacements de Ia
`
`droite vers Ia gauche, ou inversement et du haut vers le bas, ou inversement, dans les directions
`
`15
`
`horizontale et venicale respectivement, en effectuant Ia fonction logique OU EXCLUSIF sur des
`
`20
`
`25
`
`signaux de difference horizontaux/ven icaux et des signaux de difference de trames, d' une pan, et
`
`en utilisant un rapport des sommes de signaux horizontaux/venicaux et des sommes des signaux
`de difference de trames par rapport a une fenetre K X 3, d'autre pan. Dans ce brevet
`U.S. 5 488 430 on utilise les valeurs calculees de !'image suivant les deux directions onhogonales
`
`horizontale et venicale avec un ecart repetitif identique K dans ces deux directions orthogonales,
`cet ecart K etant defini en fonction des vitesses de deplacement qu 'on cherche a determiner. Le
`dispositif selon ce brevet U.S. determine Ia direction des mouvements suivant chacune des deux
`
`directions orthogonales en appliquant aux signaux de difference un ensemble d'operations de
`
`calcul indiquees aux colonnes 12 (en debut et en fin) et 13 (en debut) qui necessite des operateurs
`
`electroniques, notamment de division, de multiplication et de sommation, fort complexes (done
`difficiles a realiser) ; des operateurs complexes supplementaires sont en outre necessaires pour
`obtenir, a partir des projections sur les deux axes horizontal et vertical, Ia vitesse et Ia direction
`orientee du deplacement (extraction de racine carree pour obtenir !'amplitude de Ia vitesse et
`
`calcul de Ia fonction arctg pour obtenir Ia direction orientee). On ne prevoit pas, enfin, dans le
`
`:>0
`
`brevet 5 488 430 Ia mise en oeuvre d'un lissage des valeurs de pixel au moyen d' une constante
`
`de temps, variable pour chaque pixel, atin de compenser les variations trop rapides de ces valeurs.
`
`Au contraire, Ia mise en oeuvre du procede selon !'invention est realisee au moyen d'un
`
`dispositif, faisant !'objet de !'invention, qui est de type numerique, avec une structure relativement
`
`simple et une memoire de capacite relativement reduite, et permet !'obtention rapide des
`
`
`
` 5
`
`

`

`W098/0S002
`
`PCTIFR97101354
`
`~
`
`informations desirees, avec des resultats et des applications tres variees (qui correspondent
`suivant I' application a une demi-image complete dans le cas de trames entrelacees ou a une image
`complete).
`
`Un article par Alberto Tomita Sr. et Rokuya Ishii, intitule «Hand Shape Extraction from a
`s Sequence of Digitized Gray-Scale Images», dans Institute of Electrical and Electronics Engineers,
`vol. 3, 1994, p. 1925-1930, met en oeuvre une detection de mouvement par soustraction entre
`
`images successives, suivie de Ia formation d' histogrammes basee sur Ia forme de Ia main humaine,
`
`afin d'e:-.1raire Ia forme d'une main humaine dans une scene numerisee. L'analyse par
`histogramme est basee sur une echelle de gris inherente a Ia main humaine. On ne prevoit aucune
`formation d'histogrammes de coordonnees du plan. Le but unique des auteurs de cet article est de
`
`10
`
`detecter les deplacements d' une main humaine, par exemple afin de remplacer, pour !'introduction
`
`de donnees dans un ordinateur, Ia souris habituelle par une main dont on repere les deplacements.
`Au contraire Ia presente invention n'est pas limitee a detecter le deplacement d'une main,
`mais permet de detecter le deplacement relatif de tout objet, au sens le plus large, dans une scene
`
`15
`
`et n' utilise pas des histogrammes bases sur les valeurs de gris d'une main, mais des histogrammes
`
`de certaines variables numeriques particulieres representatives du deplacement eventuel et des
`
`histogrammes de coordonnees du plan.
`
`Selon Ia presente invention :
`
`- on _traite un signal video numerique, en provenance d'un systeme d'observation, signal
`constitue, a Ia maniere connue, par une succession de trames (qui correspondent a une demi(cid:173)
`image dans le cas de deux trames entrelacees par image ou a une image complete dans le cas
`d'une seule trame par image) comportant chacune un nombre determine de !ignes successives
`
`et, dans chacune de ces !ignes, un nombre determine de pixels ou points d'image,
`- afin d'obtenir, en utilisant une memoire de capacite relativement faible, des signaux aptes a
`indiquer s'il existe, dans Ia scene observee, une zone en deplacement relatif et, dans ce cas, a
`preciser Ia localisation, ainsi que Ia vitesse et Ia direction (orientee) de ladite zone si elle se
`deplace effectivement par rapport a son environnement,
`- et ceci en elaborant deux signaux numeriques caracteristiques, l'un, d'une variation ou non(cid:173)
`
`variation significative du signal de pixel pour le meme emplacement de pixel entre deux trames
`
`correspondantes successives et, !'autre, de !'amplitude de cette variation, lorsqu'elle existe, et
`en repartissant matriciellement ces deux signaux pour les pixels d'une portion de trame a un
`meme instant.
`
`L 'invention a tout d'abord pour objet un procede, en temps reel, pour Je reperage et Ia
`
`l oca li~ation d'une zone en mouvement relatif dans une scene observee par un systeme
`
`20
`
`25
`
`30
`
`
`
` 6
`
`

`

`W098/0S002
`
`PCTIFR971013S4
`
`5
`d'observation a sonie constituee par un signal video numerique du type componant une
`succession de trames correspondantes, composees chacune d'une succession de !ignes,
`
`composees chacune d'une succession de pixels, ainsi que pour Ia determination de Ia vitesse et de
`Ia direction orientee du deplacement, led it procede etant caracterise en ce qu 'it consiste a
`effectuer sur Je signal video numerique de sonie successivement :
`
`un traitement de lissage dudit signal video numerique de sortie mettant en oeuvre une
`
`constante de temps numerique dont Ia valeur numerique peut etre modifiee pour chacun des
`
`pixels dudit signal de sonic, independamment pour chacun d'entre eux ;
`
`- une mise en memoire d'une trame dudit signal de sortie apres le lissage, d' une part, et de Ia
`constante de temps de lissage associee a Ia dite trame, d'autre part ;
`- un traitement tempore! consistant, pour chaque position de pixel, a determiner l'existence,
`d'une pan, et l'amplitude, d'autre pan, d'une variation significative de I' amplitude du signal de
`pixel entre Ia trame actuelle et Ia trame juste anterieure lissee, mise en memoire, et a generer
`deux signaux numeriques, le premier signal etant un signal binaire ou monobit a deux valeurs
`possibles dont l'une represente !'existence d'une telle variation significative et !'autre !'absence
`
`d' une telle variation entre deux trames successives, Ia valeur dudit signal binaire modifiant Ia
`
`valeur memorisee de ladite constante de temps afin de Ia diminuer si !edit signal represente une
`
`variation significative et afin de l'augmenter si ce signal ne represente pas une telle variation ,
`
`Ia diminution ou l'augmentation etant realisee d'une maniere quantifiee, tandis que le second
`signal numerique, dit d'amplitude, est un signal multibits a nombre limite de bits, quantifiant
`!'amplitude de cette variation ; et
`
`- un traitement spatial consistant, pour chaque trame de signal video numerique d'entree,
`• a repanir, afin de caracteriser les valeurs des pixels, en une matrice a nombre de !ignes et
`nombre de colonnes reduits, par rappon respectivement au nombre de !ignes et au nombre
`
`de pixels par ligne dans le signal video, uniquement les valeurs, au meme instant
`d'observation, pour une fraction des pixels d'une trame- fraction qui defile par balayage a
`travers ladite matrice pendant Ia duree d'une trame - dudit signal binaire, d'une pan, et
`
`dudit signal numerique d'amplitude, d'autre part,
`• a determiner, dans cette double representation matricielle
`instantanee, une zone
`particularisee, dans Jaquelle a Ia fois !edit signal binaire a Ia valeur rccherchee representant
`Ia presence, ou respectivement \'absence, de variation significative et ledit signal numerique
`
`d'amplitude varie, ou respectivement ne varie pas, d' une valeur significative entre pixels
`voisins dans Ia matrice suivant une direction orientee a partir d'un pixel d'origine, et ceci
`pour une mcme ponion de trame. done a un meme instant d'observation, et
`
`5
`
`10
`
`15
`
`20
`
`25
`
`30
`
`
`
` 7
`
`

`

`W098/0S002
`
`PCTIFR97/01354
`
`6
`• a engendrer des signaux representatifs de !'existence et de Ia localisation de Ia zone en
`deplacement relatif, ainsi que Ia vitesse relative intertrames et Ia direction orientee de ce
`deplacement, s'il existe, relativement a son environnement, a partir de Ia repartition
`matricielle instantanee de ces deux signaux numeriques, binaire et d'amplitude
`
`De preference, le procede selon invention est caracterise en ce qu 'il consiste, en outre,
`• a fonner les histogrammes des valeurs des signaux repartis matriciellement. d'une part, et
`les histogrammes des inclinaisons de deux axes, a pente variable, de coordonnees dans un
`plan, d'autre part,
`• a reperer, dans chaque histogramme fonne, un domaine de variation significative de Ia
`valeur traitee et
`• a deduire, de chaque domaine repere, !'existence et Ia localisation, ainsi que Ia vitesse et Ia
`direction orientee, d'une zone en mouvement relatif
`
`-
`
`Dans des modes de realisation particuliers :
`ladite matrice est une matrice carree a meme nombre impair (2/ + I) de I ignes et de colonnes,
`et on considere les matrices emboltees de 3 x 3, 5 x 5, 7 x 7, ... (2/ + I) x (2/ + I) elements
`
`centrees sur le centre de cette matrice carree atin de detenniner Ia matrice emboitee de plus
`petite taille dans laquelle !edit signal numerique varie dans une direction orientee a partir dudit
`centre, Ia valeur dudit signal binaire representant un depassement du seuil selon cette direction,
`
`5
`
`10
`
`15
`
`-
`
`ladite matrice est une matrice hexagonale et on considere les matrices hexagonales emboitees
`
`20
`
`de taille croissante centrees sur Je centre de cette matrice hexagonale afin de detenniner Ia
`
`matrice emboitee de plus petite taille dans laquelle !edit signal numerique varie dans une
`
`-
`
`direction orientee,
`Jadite matrice est une matrice en L renverse a une seule ligne et une seule colonne et on
`considere les matrices emboitees de 3 x 3 pixels, 5 x 5 pixels, 7 x 7 pixels ...
`
`(2/ + I) x (2/ + I) pixels, pour Ia ligne et Ia colonne uniques, afin de detenniner Ia mat rice de
`plus petite taille dans laquelle le signal varie dans une direction orientee, a savoir Ia ligne de
`plus grande pente a quantification constante.
`Avantageusement ladite constante de temps est de Ia fonne 2P, p etant un nombre inferieur
`a I 6, pouvant done etre exprime par pas plus de 4 bits, Ia diminution ou I' augmentation de Ia
`constante de temps etant realisee par Ia soustraction ou !'addition d'une unite ap
`
`Dans ce cas, si on Je desire, on considere des portions successives decroissantes de trames
`
`completes suivant l'algorithme temps - echelle de Mallat et selectionne Ia plus grande de ces
`
`portions, qui donne des indications de deplacement, vitesse et orientation, compatible avec Ia
`
`valeur de p
`
`25
`
`JO
`
`
`
` 8
`
`

`

`wo 98/05002
`
`PCT!FR97/01354
`
`7
`
`.
`
`L'invention a egalement pour objet un dispositif, fonctionnant en temps reel, pour le
`
`reperage et Ia localisation d'une zone en mouvement relatif dans une scene observee par un
`systeme d'observation a sortie constituee par un signal video numerique, du type comportant une
`succession de trames correspondantes, des !ignes successives dans chaque trame correspondante
`
`5
`
`et des pixels successifs dans chaque ligne, ainsi que pour Ia determination de Ia vitesse et de Ia
`
`direction orientee du deplacement, par mise en oeuvre du precede susmentionne, ledit dispositif
`
`recevant, en entree, I edit signal video de sortie et etant caracterise en ce qu 'il com porte en
`
`combinaison :
`
`- des moyens de lissage dudit signal video numerique de sortie mettant en oeuvre une constante
`
`10
`
`de temps numerique dont Ia valeur numerique peut etre modifiee pour chacun des pixels dudit
`
`signal de sortie, independamment pour chacun d'entre eux ;
`
`- des moyens de memorisation d'une trame dudit signal de sortie apres lissage, d'une part, et de
`Ia constante de temps de lissage associee a Jadite trame, d'autre part ;
`- une unite de traitement tempore! pour analyser les variations temporelles de !'amplitude du
`
`15
`
`signal de pixel, pour une meme position de pixel, entre Ia trame actuelle et Ia trame juste
`
`anterieure lissee, mise en memoire, dudit signal video numerique, ladite unite comportant, en
`association avec une memoire apte a recevoir, stocker et restituer des informations relatives a
`Ia trame correspondante precedente lissee, des moyens de comparaison pour determiner, pour
`
`chaque position de pixel dans Ia trame du signal video entrant, si Ia valeur absolue de Ia
`
`20
`
`difference entre le signal de pixel actuel et une valeur representative du signal de pixel, pour Ia
`
`meme position de pixel, dans Ia trame anterieure, valeur representative stockee dans ladite
`memoire, depasse ou non un seuil, en generant un signal binaire ou monobit a deux valeurs,
`dent l'une represente !'existence d'un depassement et dent !'autre represente !'absence d' un
`depassement, et des moyens de calcul aptes a determiner un signal numerique d'amplitude
`multibits, a nombre reduit de bits, dont Ia valeur est fonction de !'amplitude de Ia variation de
`Ia valeur du meme pixel entre Ia trame actuelle et Ia trame juste anterieure lissee, mise en
`
`memoire, du signal video numerique ; et
`
`- un ensemble de traitement spatial, dent les entrees re9oivent, de !' unite de traitement tempore!,
`
`lesdits signaux binaire et numerique d'amplitude successifs pour les pixels d'une meme trame,
`ladite unite comportant des moyens aptes a caracteriser les valeurs d 'amplitude des pixels, ces
`moyens repartissant, suivant une matrice a nombre de !ignes et nombre de colonnes reduits par
`rapport respectivement au nombre de !ignes et au nombre de pixels par ligne dans une trame
`
`dudit signal video numerique, uniquement lesdits signaux binaire ct numerique d'amplitude
`relatif a un meme instant. c 'est -a-dire a une meme trame. celle-ci detilant par balayage a travers
`
`25
`
`Jo
`
`
`
` 9
`
`

`

`wo 98/03002
`
`PCTIFR97/013S4
`
`I!
`
`ladite matrice pendant Ia duree d'une trame, des moyens de reperage pour determiner, dans
`ladite matrice, une zone de pixels dans laquelle, a cet instant, le signal binaire a Ia valeur
`
`recherchee et des moyens pour determiner, dans ladite matrice, une zone de pixels dans
`laquelle, a ce meme instant, le signal numerique d'amplitude varie d'une quantile significative
`entre pixels voisins, et des moyens qui, en reponse aux indications des deux demiers moyens
`
`precedents, generent des signaux representatifs de cette zone de pixels, done de !'existence et
`
`de Ia localisation d'une zone en mouvement relatif dans Ia scene observee, ainsi que de Ia
`
`vitesse relative intertrames et de Ia direction orientee de cette zone lorsqu'elle se deplace
`effectivement relativement a son environnement.
`De preference !'unite de traitement spatial comporte, en outre, une sortie debitant un
`
`5
`
`10
`
`signal video numerique retarde constitue par le signal video numerique d'entree retarde d' une
`duree egale a Ia duree des !ignes d'une matrice dirninuee de Ia duree d'une ligne afin de foumir un
`signal de sortie contemporain de !'analyse de Ia matrice dans ladite unite de traitement tempore!.
`
`15
`
`De preference, dans le dispositif selon !'invention, !'ensemble de traitement spatial
`comporte des moyens de retard en cascade dont chacun impose un retard ega! a l'ecart tempore!
`entre les debuts de deux !ignes successives et des moyens a retard en cascade pour chaque ligne
`imposant chacun un retard egal a l'ecart tempore) entre deux pixels successifs d'une ligne, les
`sorties de !'ensemble de tous les registres et de !'entree des premiers registres de chaque ligne
`debitant a un instant donne les valeurs dudit signal binaire et dudit signal numerique d'amplitude,
`20 a un meme instant, vers lesdits moyens de reperage.
`Avantageusement le dispositif seton !'invention comporte egalement des moyens formant
`
`les histogrammes des valeurs de sortie de ladite unite de traitement spatial, ainsi que les
`histogrammes des inclinaisons de deux axes, a pente variable, de coordonnees dans un plan, des
`moyens pour reperer, dans chaque histogramme, un domaine de variation significative de Ia valeur
`
`25
`
`traitee, afin de valider ce domaine en leur sortie et de deduire, pour !'ensemble des histogrammes,
`
`des signaux de sortie qui signalent et localisent une zone de Ia scene observee en mouvement
`
`relatif, si elle existe, ainsi que Ia vitesse et Ia direction orientee de ce mouvement si ladite zone se
`deplace effectivement par rapport a son environnement.
`Si on desi re dctecter le mouvement d'un objet dans un environnement sensiblement
`
`30
`
`immobile, on determine Ia zone de Ia matrice dans laquelle simultanement le signal binaire a Ia
`valeur correspondant a un depassement du seuil et le signal numerique d'amplitude varie d'une
`valeur significative entre pixels voisins d'une trame.
`
`Au contraire, si on desire detecter l'immobilite d'un objet dans un environnement
`
`semiblement en mouvement. on determine Ia zone de Ia matrice dans laquelle simultanement le
`
`
`
`10
`
`

`

`W098/05002
`
`PCTIFR97101354
`
`9
`signal binaire a Ia valeur correspondant a un non-depassement du seuil et le signal numerique
`d'amplitude ne varie pas entre pixels voisins d'une trame.
`
`De preference, dans le dispositif pour le reperage, Ia localisation et Ia detennination de Ia
`
`vitesse et de Ia direction orientee du deplacement d'une zone en mouvement relatif dans une
`
`s
`
`scene, par mise en oeuvre du procede susmentionne :
`
`-
`
`lesdits moyens de lissage comportent une entree qui recoit ledit signal video numerique et
`
`calculent, pour les pixels successifs d'une trame de ce signal video, un signal lisse, dans lequel
`
`les variations temporelles du signal video numerique d'entree sont diminuees, par mise en
`oeuvre d'un signal de seuil recu sur une autre entree et d'une constante de temps relative a
`chaque position de pixel d'une trame, dont Ia valeur est successivement modifiee afin que le
`
`10
`
`lissage conserve, tout en Ia reduisant, Ia tendance de variation du signal video numerique
`
`entrant, ces moyens de lissage cooperant avec !'unite de memoire qui recoit, stocke ct restitue
`
`les valeurs actualisees, pour chaque portion de pixel d'une trame, du signal lisse et de ladite
`
`constante de temps et debitent, sur leurs sorties, au moins Ia succession, pour chaque position
`
`15
`
`de pixel, des valeurs de Ia constante de temps actualisee et des valeurs d' un signal binaire de
`
`depassement ou non-depassement dudit seuil par Ia valeur absolue de Ia difference entre Ia
`
`valeur du pixel et sa valeur lissee ; Jadite unite de traitement spatial realisant Ia repartition
`matricielle, par lignes et colonnes en nombre reduit, des sorties desdits moyens de lissage, a
`savoir des valeurs successives de Ia constante de temps et dudit signal binaire ;
`
`20
`
`25
`
`- on prevoit des moyens de reperage pour reperer, dans ladite repartition matricielle, une zone
`de pixels dans Jaquelle, a Ia fois, soit Ia valeur dudit signal binaire correspond a un depassement
`de seuil et ladite constante de temps varie entre pixels voisins d' une valeur significative dans
`
`une direction, et pour produire des signaux de sortie indiquant Ia localisation de ladite zone et
`
`Ia vites