throbber
(111)923-1939? (J P)
`
`(12) fl fi-fil 4% Eff {LE $fi (A)
`
`(10199911919939
`
`(43)”AEfiEI $32 65130994) 5H 6 El
`
`(51)Int.Cl.5
`
`99919919
`
`EWEE%%
`
`F I
`
`Efiififi%
`
`$3199$6 — 124340
`
`G 0 6 F
`
`15/62
`
`G 0 1C 21/00
`
`G 0 1 s
`
`13/30
`
`3 3 0
`4 1 5
`
`9287—5L
`9287—5L
`
`N
`
`7015—51
`
`13/93
`2 7015—51
`51651395Efiéfiz‘? 19931219103591 5(% 16 E) %%Elzn%<
`
`
`
`
`
`(EILEEEJQ—
`
`49199915— 133145
`
`(22) $999
`
`$119 5 M1993) 6 F1 10 El
`
`(31)1§5E19§35§E%% a1%‘=§EEIZ4—193993
`
`(32)1§§E El
`
`$ 4 (1992) 7 F1 21 El
`
`(33)1§§E19§3‘:1El
`
`E121: (J P)
`
`(71) $19M 000003997
`
`El E 9 Efififlfifi
`
`193%! I Ififiififififimaim 2 $911.
`
`(72)%E)1% 0111
`
`19611
`
`193%) I Ifififimfimaim 2 $119
`
`El E
`
`E 9&132933199
`
`(739999912? 93% 519
`
`192%“ 11919399911193) IIIZEIHI 2 $119
`
`El E
`
`a Ebfifieitésfiw
`
`(74)ffifljk #fli KPH £59sz
`
`(91112.)
`
`
`
`(54) ($3)? OMEEF]
`
`$Wfifi1§flfl%i§
`
`(57)【要約】
`【目的】適切な画像処理を行なうことが出来、かつ車両
`用として実用的に実現可能な車両用画像処理装置を提供
`する。
`【構成】車外の物体との距離と方向の情報を検出する距
`離測定手段66と、その測定結果に基づいて画像処理方
`法を決定する判断手段67と、イメージセンサ68で検
`出した画像に対して、上記の設定された画像処理方法に
`基づいて画像処理を行なう画像処理手段69とを備えた
`車両用画像処理装置。画像処理方法とは、例えば画像処
`理を行なう領域を決定する処理、画像処理を行なう対象
`物を決定する処理および画像中の特定物体を拡大・縮小
`・方向転換する処理である。上記の構成により、注視物
`体を対象として重点的に画像情報を抽出処理を行なうの
`で、データ処理を行なう範囲が限定され、扱うデータ数
`が大幅に減少し、処理過程が高速になり、注視する物体
`の特徴抽出を高速に実行することができる。
`
`IPR2013-00419 - Ex. 1012
`Toyota Motor Corp., Petitioner
`
`1
`
`

`

`(2)
`
`特開平6−124340
`
`【特許請求の範囲】
`【請求項1】車両に搭載され、車両周囲の画像情報を入
`力するイメージセンサと、
`車外に存在する単一あるいは複数の物体までの距離と方
`向の情報を求める距離測定手段と、
`上記距離と方向の情報に基づいて、画像処理方法を判断
`して設定する判断手段と、
`上記イメージセンサで求めた画像情報に対して、上記判
`断手段で設定した画像処理方法に基づいて画像処理を行
`なう画像処理手段と、
`を備えたことを特徴とする車両用画像処理装置。
`【請求項2】上記判断手段は、画像処理を行なう領域を
`決定する処理、画像処理を行なう対象物を決定する処理
`および画像中の特定物体を拡大・縮小・方向転換する処
`理のうちの少なくとも一つの処理を含む画像処理方法を
`判断して設定するものであることを特徴とする請求項1
`に記載の車両用画像処理装置。
`【請求項3】上記イメージセンサは、上記判断手段で設
`定した拡大・縮小・方向転換の処理に応じて画像中の特
`定物体を拡大・縮小・方向転換するものであることを特
`徴とする請求項1に記載の車両用画像処理装置。
`【請求項4】自車両の走行状態を検出する測定手段を備
`え、
`上記判断手段は、上記測定手段の検出結果に応じて画像
`処置を行なう対象物を決定するものであることを特徴と
`する請求項2または請求項3に記載の車両用画像処理装
`置。
`【請求項5】所定角度範囲を掃引しながら自車両の走行
`方向に電磁波を放射し、反射体からの反射波を受信し、
`所定の掃引角度毎に電磁波の放射から受信までの伝播遅
`延時間に基づいて反射体までの距離を算出することによ
`り、自車両から反射体までの距離と方向を検出する反射
`体検出手段と、
`自車両の走行方向前方の風景を撮影する撮影手段と、
`上記撮影手段によって撮影された車両前方の画像を処理
`して前方に存在する先行車両を検出する画像認識手段
`と、
`上記画像認識手段における画像処理領域を、上記反射体
`検出手段から検出された距離および方向に応じて設定す
`る画像処理領域設定手段と、
`上記画像処理認識手段によって先行車と認識された反射
`体までの距離または方向もしくはその両方を出力する先
`行車位置出力手段と、
`を備えたことを特徴とする車両用画像処理装置。
`【発明の詳細な説明】
`【0001】
`【産業上の利用分野】この発明は、車両の周囲の環境を
`認識する車両用画像処理装置に関する。このような車両
`用画像処理装置は、例えば、車両の自動走行制御装置や
`他車両への接近警報装置等に適用される先行車両検出装
`
`置、すなわち自車両の前方を走行する先行車両の位置を
`検出する装置等に利用される。
`【0002】
`【従来の技術】従来の車両用画像処理装置としては、例
`えば図14に示すようなものがある。図14において、
`(a)は1個のイメージセンサを用いて車両の周囲の可
`能な限り広い範囲の情報を取り込み、その情報を認識す
`る車両用画像処理装置である。また、(b)は、2個の
`イメージセンサを用い、それらを所定の角度と距離をお
`いて設置し、各々の情報の視差から物体までの距離と方
`向および特徴を抽出する車両用画像処理装置である。
`【0003】
`【発明が解決しようとする課題】上記のような従来の車
`両用画像処理装置においては、次のごとき問題があっ
`た。すなわち、
`①遠方に存在する物体は画像が小さくなるため、その特
`徴を抽出するのが困難である、
`②取り込まれた画像の全てを処理するため、情報量が多
`い。そのため処理が複雑になって、処理速度が遅くな
`り、かつ処理装置の規模が大きくなるので、車両の設備
`としては使用が困難である、
`③画像処理方法の変更が自由に行なえないため、特定の
`情報しか得られない、
`④さらに、走行する車両においては、物体までの距離が
`正確に計測できないため、画像の情報を得られたとして
`も、運転者への警報や、車両の走行制御に有効に使用で
`きない、という問題があった。
`【0004】本発明は上記のごとき従来技術の問題を解
`決するためになされたものであり、適切な画像処理を行
`なうことが出来、かつ車両用として実用的に実現可能な
`車両用画像処理装置を提供することを目的とする。
`【0005】
`【課題を解決するための手段】上記の目的を達成するた
`め、本発明においては、特許請求の範囲に記載するよう
`に構成している。すなわち、請求項1に記載の発明にお
`いては、車両に搭載され、車両周囲の画像情報を入力す
`るイメージセンサと、車外に存在する単一あるいは複数
`の物体までの距離と方向の情報を求める距離測定手段
`と、上記距離と方向の情報に基づいて、画像処理方法を
`判断して設定する判断手段と、上記イメージセンサで求
`めた画像情報に対して、上記判断手段で設定した画像処
`理方法に基づいて画像処理を行なう画像処理手段と、を
`備えている。上記の判断手段は、例えば、請求項2に記
`載のごとく、画像処理を行なう領域を決定する処理、画
`像処理を行なう対象物を決定する処理および画像中の特
`定物体を拡大・縮小・方向転換する処理のうちの少なく
`とも一つの処理を含む画像処理方法を判断して設定する
`ものである。また、上記のイメージセンサは、例えば請
`求項3に記載のごとく、上記判断手段で設定した拡大・
`縮小・方向転換の処理に応じて画像中の特定物体を拡大
`
`2
`
`

`

`(3)
`
`特開平6−124340
`
`・縮小・方向転換するものである。また、請求項4に記
`載の発明は、上記の構成の他に、自車両の走行状態を検
`出する測定手段を備え、その測定手段の検出結果に応じ
`て上記判断手段が画像処置を行なう対象物を決定するよ
`うに構成したものである。また、請求項5に記載の発明
`は、上記の車両用画像処理装置を先行車両検出装置に適
`用した場合の具体的な構成を示すものである。
`【0006】
`【作用】上記のように本発明においては、距離測定手段
`の測定結果に基づいて、判断手段が画像処理方法を決定
`する。この画像処理方法とは、例えば請求項2に記載の
`ように、画像処理を行なう領域を決定する処理、画像処
`理を行なう対象物を決定する処理および画像中の特定物
`体を拡大・縮小・方向転換する処理である。そして画像
`処理手段は、上記の設定された画像処理方法に基づいて
`画像処理を行なう。したがって、画像処理が必要な重要
`物体、例えば自車両の走行を妨げるような物体を対象と
`して重点的に画像情報を抽出する処理を行なうことにな
`り、画像処理手段でデータ処理を行なう範囲が限定され
`るため、扱うデータ数が大幅に減少し、かつ処理過程が
`高速になり、注視する物体の特徴抽出を高速に実行する
`ことができる。また、請求項3に記載のように、イメー
`ジセンサで画像中の特定物体を拡大・縮小・方向転換す
`るものにおいては、画像処理のための最適な画像が得ら
`れるので、少ない画素データからは得られない詳細な情
`報、例えば車両のナンバープレートを識別するような情
`報を画像処理手段から得ることができる。また、請求項
`4に記載の発明のように、自車両の走行状態を検出する
`測定手段を備え、その検出結果に応じて判断手段が画像
`処置を行なう対象物を決定するものにおいては、車両前
`方に複数の物体が存在する場合に、自車両の走行状態等
`に応じてどの物体を注視するかのを選定することが出来
`る。また、請求項5に記載の発明においては、反射体検
`出手段によって反射体までの距離と方向を検出し、その
`結果に応じて画像処理認識手段における処理領域を設定
`する画像処理領域設定手段を設け、反射体までの距離と
`方向に応じて画像処理領域を定めるように構成してい
`る。そのため、先行車両の位置を確実に検出することが
`可能になると共に、画像処理を行う領域を狭い範囲に限
`定することが出来るので、超高速計算機を用いることな
`しにリアルタイムで演算処理を行うことが可能となる。
`【0007】
`【実施例】以下、この発明を図面に基づいて説明する。
`図1は、この発明の第1の実施例を示すブロック図であ
`る。図1において、距離測定手段60は、例えば光、電
`波、超音波等を使用したレーダであり、物体までの距離
`および方向情報が得られる。光を使用したものには、レ
`ーザとフォトセンサを組み合わせ、レーザ光が物体に反
`射して戻ってくるまでの経過時間を測定することによ
`り、距離を計測するものがある。なお、発射するレーザ
`
`光を上下左右に走査すれば、その方向での距離が計測で
`きるので、距離と方向の情報が得られる。電波や超音波
`を使用したものにおいても上記とほぼ同様の構成で実現
`することが出来る。また、判断手段61は、距離測定手
`段60の測定結果に基づいて画像処理の方法を判断して
`設定する手段である。なお、上記の画像処理方法とは、
`この実施例においては画像処理する領域の決定処理であ
`る。また、イメージセンサ62は、車両周囲の画像情報
`を入力する手段であり、例えばCCDを使用したビデオ
`カメラ装置である。また、画像処理手段63は、例えば
`パターン認識を行なわせる手段である。この画像処理手
`段63と上記判断手段61は、例えばコンピュータで構
`成することが出来る。なお、S1は距離・方向信号、S
`2は画像信号、S3は判断信号、S4は特徴抽出信号で
`ある。
`【0008】次に、図2は、車両と車外の物体との位置
`関係を示す図であり、(a)は上面図、(b)は側面図
`である。図2において、64は車両、65は車外の物体
`である。また、図3は距離測定結果の一例を示す図表、
`図4は図1の装置における処理手順を示すフローチャー
`トである。以下、図2〜図4に基づいて図1の実施例の
`作用を説明する。まず、車両の前方に存在する物体65
`の距離と方向を、自車両64の先端に設けた距離測定手
`段60(図2では図示省略)によって測定する。この距
`離測定手段60は、車両の横方向にθx、高さ方向にθ
`yを設定した場合(図2参照)、各方位に対して、距離
`を示すデータがマトリクスL(θx,θy)上に得るこ
`とが出来るものである。図3に示す距離測定結果の例
`は、図2に示したような右方向に物体65がある場合の
`結果である。判断手段61は、上記の測定結果に基づい
`て物体の位置を推定する。この推定方法は、例えば次の
`ように行なう。すなわち、全てのL(θx,θy)につ
`いて、隣合ったL(θx′,θy′)との値を比較す
`る。そして物体が存在する場所と存在しない場所との境
`界部分では、L(θx,θy)とL(θx′,θy′)
`の値は大きく異なるので、その位置に物体が存在するこ
`とが判る。上述した例では、右方向に物体があることが
`推定される。さらに、判断手段61は、上記の結果に基
`づいて画像処理の方法を設定する。この実施例の場合に
`は、画像処理の方法として、画像処理を行なう領域を決
`定する処理を用いる。したがって判断手段61は、画像
`処理を行なう領域を物体が存在する周辺に決定する。こ
`の際の決定方法は、推定された物体の大きさに或る適当
`な値を掛けて物体よりも大きな領域とする。次に、画像
`処理手段63は、イメージセンサ62で求めた車両前方
`の画像情報に対して、判断手段61から送られたデータ
`に基づき、画像処理を行なう領域を設定し、その領域に
`ついて重点的にデータ処理を行なう。上述した例では、
`右方向の物体に対する画像処理を重点的に行なう。上記
`のように、判断手段61によって自車両の走行を妨げる
`
`3
`
`

`

`(4)
`
`特開平6−124340
`
`ような物体の距離と方向を検知し、その物体を対象とし
`て重点的に画像情報を抽出する処理を行なうことによ
`り、画像処理手段63でデータ処理を行なう範囲が限定
`されるため、扱うデータ数が大幅に減少し、処理過程が
`高速になり、注視する物体の特徴抽出を高速に実行する
`ことができる。
`【0009】次に、図5は、本発明の第2の実施例を示
`すブロック図である。この実施例は、物体に対する詳細
`な画像情報が必要な画像処理装置に本発明を適用したも
`のである。図5において、距離測定手段66は、前記図
`1のものと同様である。また、判断手段67は、前記図
`1のものと同様に物体までの距離と方向を推定するが、
`さらにイメージセンサ68を制御する信号を出力するも
`のである。また、イメージセンサ68は、上記判断手段
`67から与えられる制御信号に応じて、画像情報の拡
`大、縮小、フォーカスおよび回転制御ができるイメージ
`センサである。このようなイメージセンサとしては、ズ
`ーム機構を持つレンズとカメラ全体を回転させることが
`できる機構を有するビデオカメラ装置を用いることが出
`来る。また、画像処理手段69は、例えば、車両のナン
`バープレートを識別するような詳細な画像処理手段であ
`る。なお、S1は距離・方向信号、S2は画像信号、S
`3は判断信号、S4は特徴抽出信号、S5は拡大・縮小
`・方向転換信号である。前記図2に示した環境では、右
`方向に物体が存在している。距離測定手段66では、前
`記図1と同様に、距離データがマトリクス上に得られ
`る。判断手段67は、上記の結果に基づいて、前記第1
`の実施例と同様に、物体までの距離と方向を推定し、イ
`メージセンサ68のパン、チルト、ズーム、フォーカス
`調整機構を制御する。例えば前記図3に示したデータが
`得られた場合には、カメラを右側に動かし、距離に応じ
`たフォーカスの調整を行なう。このように処理すること
`により、画像処理のための最適な画像が得られる。した
`がって、少ない画素データからは得られない詳細な情
`報、例えば車両のナンバープレートを識別するような情
`報を画像処理手段69から得ることができる。なお、上
`記の画像処理手段69で得られる詳細な情報としては、
`先行車両のブレーキランプ、方向指示器の点灯、車両の
`大きさ、進行方向等があり、それらの特徴を抽出するこ
`とが出来る。また、判断手段67で設定した注視物体に
`ついて画像処理手段69が画像処理を行なうことによ
`り、歩行者や建造物の特徴を抽出することも出来るし、
`標識、信号機の位置、踏切の有無、道路設備等の状況を
`認識することも出来る。
`【0010】次に、図6は、本発明の第3の実施例のブ
`ロック図である。図6において、距離測定手段70は、
`前記第1の実施例に用いたものと同様である。また、車
`速センサ71は、車両の走行速度を計測するものであ
`り、例えば単位時間当たりの車輪の回転数を検知し、車
`輪の円周の長さから車両の速度を計測するものや、光や
`
`電波を路面に反射させ、ドップラ効果によって速度を計
`測するもの等がある。また、舵角センサ72は、操舵角
`を検出するものであり、例えばロータリエンコーダを内
`蔵したステアリングホイールを用いることが出来る。ま
`た、ヒューマンインターフェース73は、画像処理装置
`と乗員との間で情報の交換を行なう装置であり、例えば
`車室内に設けた操作スイッチや表示装置である。この操
`作スイッチを乗員が操作して画像処理装置に信号を入力
`し、また画像処理装置の情報を表示装置に表示して乗員
`に与える。また、イメージセンサ74は、前記第2の実
`施例に用いたものと同様のものである。また、判断基準
`設定手段75は判断手段76の判断基準を設定する手段
`(詳細後述)である。また、76は判断手段、77は画
`像処理手段である。上記の判断基準設定手段75、上記
`判断手段76および画像処理手段77は、例えばコンピ
`ュータで構成することが出来る。なお、S1は距離・方
`向信号、S2は画像信号、S3は判断信号、S4は特徴
`抽出信号、S5は拡大・縮小・方向転換信号、S6は車
`速信号、S7は舵角信号、S8は基準値設定用信号、S
`9は基準信号である。
`【0011】次に、作用を説明する。車両前方に複数の
`物体が存在する場合には、複数の画像処理領域を設定す
`ることが必要になるが、本実施例は、このような場合
`に、物体の大きさや距離、さらには自車両の走行状態等
`に応じてどの物体を注視するかを変更するように構成し
`たものである。判断基準設定手段75は、判断手段76
`の判断基準を設定する。すなわち、判断手段76では、
`自車両が現在どのような環境にあるかを判断し、それに
`応じて注視すべき物体を決定するが、判断基準設定手段
`75は、上記の判断における判断基準を設定する。例え
`ば、自車両の状態の検知は、車速センサと舵角センサに
`より、走行速度と操舵角とを検知することによって行な
`い、走行速度が所定値以上で舵角が所定値以下の場合は
`高速道路を走行中であると判断し、また、舵角が所定値
`以上で車速が所定値以下の場合には交差点近傍を走行中
`であると判断することが出来るが、判断基準設定手段7
`5は、上記の判断の基準となる車速値や舵角値の閾値を
`設定するものである。この基準値の設定は、乗員が操作
`スイッチ等のヒューマンインターフェイス73を用いて
`入力する。判断手段76は、上記のように高速道路を走
`行中と判断した場合には前方の障害物を注視物体と判断
`し、また、交差点近傍を走行中である判断した場合は、
`前方の信号機を注視物体と判断する。そして画像処理手
`段77では、その注視物体に対して画像処理を行なう。
`なお、上記の説明では、判断基準設定手段73の基準値
`の設定を、ヒューマンインターフェース73を用いて行
`なう場合を説明したが、画像処理結果を入力することに
`よって、環境設定を自動的に行なうことも可能である。
`例えば、道路上の白線を画像処理手段77が検出するシ
`ステムに本発明を適用した場合には、交差点近傍では連
`
`4
`
`

`

`(5)
`
`特開平6−124340
`
`続した白線は検知されないという特性を利用し、白線欠
`落を検知した場合に交差点近傍と判断し、注視物体を前
`方の信号機とするように設定することが出来る。以上を
`まとめると次のようになる。まず、距離測定手段70に
`よって物体の距離と方向を測定する。この測定結果と車
`両の走行状況によって判断基準設定手段75と判断手段
`76が画像処理を行なう対象物を決定する。例えば、高
`速道路走行中と判断した場合は、先行車両を対象物と
`し、交差点近傍を走行中と判断した場合は、信号機を対
`象物に決める。ただし、状況に応じて適宜設定できるの
`で、上記の例に限定されるものではない。また、判断手
`段76は、画像処理を行なう上で、最適な画像になるよ
`うにイメージセンサ74の調節(拡大、縮小、方向転換
`等)を行ない、また、イメージセンサ74から取り込ま
`れた画像のどの部分を処理するかを決定する。イメージ
`センサ74の画像を取り込んだ画像処理手段77は、対
`象物に応じた物体の特徴抽出を行なう。この特徴抽出
`は、例えば、障害物の検出、衝突の危険性のある車両の
`ブレーキランプ点灯の検出、標識に示された制限速度の
`認識等である。さらに、距離情報の時間的変化を計算す
`ることで、自車両と対象物との相対速度も検出すること
`が出来る。なお、この実施例においても、前記第2の実
`施例と同様に、画像処理手段77で得られる詳細な情報
`としては、先行車両のブレーキランプ、方向指示器の点
`灯、車両の大きさ、進行方向等があり、それらの特徴を
`抽出することが出来る。また、判断手段76で設定した
`注視物体について画像処理手段77が画像処理を行なう
`ことにより、歩行者や建造物の特徴を抽出することも出
`来るし、標識、信号機の位置、踏切の有無、道路設備等
`の状況を認識することも出来る。また、距離測定手段7
`0やイメージセンサ74は、車両の前後左右等必要に応
`じ増設することもできる。この場合、それぞれ独立した
`方向で物体の特徴抽出が可能になる。
`【0012】次に、本発明を先行車両検出に応用した実
`施例について説明する。従来の先行車両検出装置として
`は、例えば特開昭61−23985号公報等に記載され
`ているような電磁波の反射を用いたものがある。これ
`は、車両前方に電磁波(例えばレーザ光など)を所定角
`度掃引しながら放射し、反射体からの反射波を受信し、
`所定の掃引角度毎に電磁波の放射から受信までの伝播遅
`延時間に基づいて反射体までの距離を算出することによ
`り、自車両から反射体までの距離と方向を検出するもの
`であり、自車両から反射物までの方向と距離の情報を得
`ることができる。なお、一般的に車両には後方からの視
`認性を向上させるために、その後部にリフレックス・リ
`フレクタが設置されているが、このリフレックス・リフ
`レクタが反射体となって、レーザ光などの電磁波を反射
`するため、容易に検出することができる。また、これ以
`外にも車両前方に向けたテレビカメラ等を用いて、車両
`前方の風景を入力し、入力された画像に対して画像処理
`
`を行なって先行車両や道路を認識する装置も考えられて
`いる。
`【0013】しかしながら、このような従来の先行車両
`検出装置においては、以下のような問題があった。ま
`ず、レーザレーダ等の電磁波の反射を用いた先行車両検
`出装置においては、反射体として車両後尾に設けられた
`リフレックス・リフレクタだけでなく、道路の路側帯に
`設置されたガードレール上のコーナ・リフレクタ等も考
`えられるため、数多くの反射体の中から、先行車両のリ
`フレックス・リフレクタからの反射だけを選別するのは
`非常に困難である、という問題がある。また、反射体ま
`での検出距離の単位時間における変化量を自車両の走行
`車速と比較し、反射体が停止物であるか移動物体である
`かを判別して移動物体のみを車両として認識することは
`比較的容易に可能である。しかし、この方法では、例え
`ば高速道路における渋滞の最後尾に停止している車両等
`に関しては、停止物であるが故に車両ではないと判断し
`てしまうので、先行車両の位置を検出することができ
`ず、そのため精度の高い走行制御や、他車両への過剰接
`近に対する適切な警報を発することができない、という
`問題がある。また、テレビカメラからの画像を画像処理
`して先行車両を認識するような先行車両検出装置におい
`ては、現在の技術では画像処理を用いて路端や車線を示
`す白線を認知することは比較的容易に可能であるが、先
`行車両の識別に関してはあまり高精度は期待出来ない。
`また、先行車両の識別については処理回数も多く必要で
`あるため、大量の画像データを処理する必要がある。そ
`して、車両の自動走行や追突警報装置などに適用する場
`合には、このような処理を高速(リアルタイム)で行な
`うことが必須であり、非常に高速な計算機が必要にな
`る、という問題がある。また、先行車両検出目的以外の
`通常の画像処理を用いた技術においては、全画面の中か
`ら画像処理を行なう必要のある領域(注目領域)を限定
`し、その中で各種処理を行なうことにより、全体の計算
`量を減少させる方法を適用することが出来るが、先行車
`両検出の場合には、先行車両が自車両のカメラの画面に
`対して、どの領域にでも存在する可能性があり、単純に
`注目領域を設定することができないため、この方法によ
`る高速化は困難であった。本実施例は、上記のごとき従
`来技術の問題を解決し、先行車両を確実に検出すること
`が可能であり、かつ超高速計算機なしでも実用的に実現
`可能な先行車両検出装置を提供するものである。
`【0014】図7は、本実施例の機能ブロック図であ
`る。図7において、反射体検出手段1は、所定角度範囲
`を掃引しながら自車両の走行方向に電磁波を放射し、反
`射体からの反射波を受信し、所定の掃引角度毎に電磁波
`の放射から受信までの伝播遅延時間に基づいて反射体ま
`での距離を算出することにより、自車両から反射体まで
`の距離と方向を検出する。この反射体検出手段1は、例
`えば、後記図8の実施例におけるレーザ光掃引方向検出
`
`5
`
`

`

`(6)
`
`特開平6−124340
`
`装置11、レーザ光掃引装置13およびレーザレーダ装
`置21の部分に相当する。また、撮影手段3は、自車両
`の走行方向前方の風景を撮影する。この撮影手段3は、
`例えば後記図8の実施例におけるテレビカメラ23に相
`当する。また、画像認識手段7は、上記撮影手段3によ
`って撮影された車両前方の画像を処理して前方に存在す
`る先行車両を検出する。この画像認識手段7は、例えば
`後記図8の実施例における画像処理回路25の部分に相
`当する。また、画像処理領域設定手段5は、画像認識手
`段7における画像処理領域を、反射体検出手段1から検
`出された距離および方向に応じて設定する。この画像処
`理領域設定手段5は、例えば、後記図8の実施例におけ
`る信号処理回路31の部分に相当する。また、先行車位
`置出力手段9は、画像処理認識手段7によって先行車と
`認識された反射体までの距離または方向もしくはその両
`方を出力する。この先行車位置出力手段9は、例えば後
`記図8の実施例における先行車両位置出力回路27の部
`分に相当する。なお、画像処理領域設定手段5の内容と
`しては、反射体検出手段1からの距離検出が行なわれた
`方向から所定角度範囲内の領域でのみ画像処理を行なう
`ように画像処理領域を設定するもの、反射体検出手段1
`による検出距離が大きいほど画像処理領域を画面の上方
`に設定する、反射体検出手段1による検出距離が大きい
`ほど画像処理領域の面積を小さく設定するもの等が考え
`られる。上記のごとく本実施例においては、反射体検出
`手段1によって反射体までの距離と方向を検出し、その
`結果に応じて画像処理認識手段7における処理領域を設
`定する画像処理領域設定手段5を設け、反射体までの距
`離と方向に応じて画像処理領域を定めるように構成して
`いる。そのため、先行車両の位置を確実に検出すること
`が可能になると共に、画像処理を行う領域を狭い範囲に
`限定することが出来るので、超高速計算機を用いること
`なしにリアルタイムで演算処理を行うことが可能とな
`る。
`【0015】図8は、本実施例のブロック図である。な
`お、図8は、自車両と先行車両との車間距離を所定の安
`全距離以上に保つように自動的に制御する自動車間距離
`制御装置に本発明を適用した場合を例示している。図8
`において、レーザレーダ装置21は、レーザ光を放射す
`る送光器15、この送光器15から出力されたレーザ光
`の反射光を受光する受光器17、送光器15におけるレ
`ーザ光の放射から受光器17における反射光の受光まで
`のレーザ光の伝播遅延時間に基づいて反射体までの距離
`を検出する距離検出回路19を備えている。この距離検
`出回路19の出力は信号処理回路31に送られる。ま
`た、レーザレーダ装置21の送光器15から放射される
`レーザ光は、レーザ光掃引装置13によって車両の前方
`方向を中心に左右に掃引されるように制御されている。
`このレーザ光掃引装置13は、例えば、ミラーを用いて
`レーザ光を左右方向に例えば振幅±10度程度、周波数
`
`10Hz程度で掃引するものである。このレーザ光掃引
`装置13の掃引角度はレーザ光掃引方向検出装置11に
`よって検出され、信号処理回路31に供給される。上記
`のように、信号処理回路31には、距離検出回路19か
`らの距離信号とレーザ光掃引方向検出装置11からの掃
`引角度信号とが入力される。したがって信号処理回路3
`1に入力する信号は、所定の掃引角度毎における反射体
`までの距離、すなわち、自車両から反射体までの距離と
`方向の情報を有する信号となる。なお、上記のレーザ光
`掃引方向検出装置11としては、上記レーザ光掃引装置
`13のミラーを制御する手段として例えばステップモー
`タを用いている場合にはこのステップモータを駆動する
`パルス数に対応して掃引角度を出力する装置を用いるこ
`とが出来、また、上記レーザ光掃引装置13として例え
`ばガルバノメータ方式のものを用いた場合にはこのガル
`バノメータを制御する制御信号を掃引角度に対応した信
`号として出力する装置を用いることが出来る。次に、信
`号処理回路31は、上記レーザレーダ装置21の距離検
`出回路19から供給された距離と上記レーザ光掃引方向
`検出装置11から供給された掃引角度とに基づいて画像
`処理を行なうべき画像領域を設定し、画像処理装置29
`の画像処理回路25に対して出力する。また、画像処理
`装置29は、自車両前方の画像を取り込むためのテレビ
`カメラ23と、取り込まれた画像を処理して先行車両を
`認識する画像処理回路25と、画像処理回路25の結果
`を出力する先行車両位置出力回路27からなっており、
`検出された先行車両までの距離、方向、速度を出力す
`る。なお、上記の信号処理回路31、画像処理回路25
`および先行車両位置出力回路27の部分は、例えばマイ
`クロコンピュータで構成することが出来る。また、車両
`運動制御回路33は、上記の与えられた先行車両までの
`距離、方向、速度に基づいて、安全車間距離を保って先
`行車両に追従走行できるようにアクチュエータ35に対
`して指令値を出力する。このアクチュエータ35によっ
`てスロットル弁、ブレーキ、ハンドル等の操縦装置37
`を制御することにより、安全に追従走行することが出来
`る。
`【0016】次に、本実施例の全体の作用を説明する前
`に、まず画像処理領域の設定方法について説明する。図
`9は、自車両が緩い右カーブを走行中の状態を模式的に
`示す平面図である。図9において、図示しないレーザレ
`ーダ装置21から放射されたレーザ光は、車体中心線5
`5を中心にして左右に角度θMの範囲で掃引されてい
`る。また、図示しないテレビカメラ23は水平面内の画
`角がレーザレーダ装置21の掃引範囲−θM〜θMと一
`致するように設定され、この範囲の画像を取り込んでい
`る。その他、41および43は路側帯に設けられた反射
`器(例えばキャッツアイのごときもの)、45は先行車
`両、47a、47bは先行車両に取り付けられたリフレ
`ックス・リフレクタ、49はセンターライン、51およ
`
`6
`
`

`

`(7)
`
`特開平6−124340
`
`び53は路端を示すラインである。
`【0017】次に、図10は、図9の状態においてテレ
`ビカメラ23から取り込まれた車両前方画像を示す図で
`あり、図9と同一のものの画像は同じ符号に「′」を付
`けて示している。すなわち45′は先行車両の画像であ
`り、同様に、41′、43′は左右の路側帯に設けられ
`た反射器、47a′、47b′は先行車両に取り付けら
`れたリフレックス・リフレクタ、49′はセンターライ
`ン、51′および53′は路端を示すラインの画像を示
`す。
`【0018】次に、図11は、レーザ光掃引方向検出装
`置11から出力された掃引方向θに対するレーザレーダ
`装置21からの検出距離Lを示した図であり、図9と同
`一のものの画像は同じ符号に「″」を付けて示してい
`る。図11においては、先行車両に取り付けられたリフ
`レックス・リフレクタ47a″、47b″、左右の路側
`帯に設けられた反射器41″、43″およびセンターラ
`イン55″が示されている。
`【0019】以下、図9〜図11に基づいて説明する。
`図10に示す前方画像では、先行車両45の画像45′
`は図示した位置に図示した大きさで表示されるが、この
`表示される位置および大きさは、テレビカメラ23の画
`角範囲や倍率が固定であれば、テレビカメラ23の中心
`軸に対する先行車両45の方向角度θcから画像左右方
`向(X方向)の位置が決まり、距離Lcから画像上下方
`向(Y方向)の位置が決まる。また画像45′の大きさ
`は距離Lcに反比例する。したがって、注目領域だけを
`画像処理して先行車両を検出するには、信号処理回路3
`1において、反射器47a、47bまでの距離および角
`度から車両前方画像における画像処理を行なうべき注目
`領域を、図12に示すような以下の計算方法で決定すれ
`ばよい。
`(1)反射物の検出角度θ(車体中心線55からの角
`度、前記のθcに相当)に応じて、注目領域の中心点P
`の左右方向(X方向)の位置(X0)を決定する。
`(2)反射物の検出距離L(前記のLcに相当)に応じ
`て、注目領域の中心点Pの上下方向(Y方向)の位置
`(Y0)を決定する。
`(3)反射物の検出距離Lに反比例して、注目領域の左
`右方向の幅wおよび上下方向の幅hを決定する。
`(4)注目領域は、以下の2点を対角の2頂点とする長
`方形領域とする。
`点A……(X0−w/2、Y0−h/2)
`点C……(X0+w/2、Y0+h/2)
`上記のごとく、本実施例における注目領域(画像処理領
`域)の決定は、①距離検出が行なわれた方向から所定角
`度範囲内に領域を設定し(X方向)、②検出距離が大き
`いほど画像処理領域を画面の上方に設定し(Y方向)、
`③検出距離が大きいほど画像処理領域の面積を小さく設
`定するものである。
`
`【0020】次に、図13は、図8の実施例における処
`理手順を示すフローチャートである。以下、図13に基
`づいて図8に示す実施例の全体の作用を説明する。図1
`3に示す処理手順は、大別すると、掃引角度毎の検出距
`離を算出して記憶する角度・距離算出部101と、テレ
`ビカメラから自車両前方の画像を取り込む画像取り込み
`部103と、取り込まれた画像の画像処理を行なう領域
`を決定し、その領域で画像処理を行なって先行車両を認
`識する先行車両検出部105と、先行車両がある場合に
`は算出された先行車両の位置を出力する先行車両位置出
`力部107に分けられる。
`【0021】以下、処理手順を詳細に説明する。角度・
`距離算出部101では、まず、ステップ121、123
`で処理用の変数kとjを0にしている。すなわち、レー
`ザの掃引は、角度−θM〜θMの範囲で行なわれるが、
`この間を2θM/Kmax毎にレーザを出力し、一回の掃
`引あたりKmax回の出力が行なわれる。変数kはこの一
`回の掃引におけるレーザ出力の番号であり、最大値はK
`maxである。また変数jは一回の掃引において、距離検
`出があった回数である。次に、ステップ125で自車両
`の走行車速を車速センサ39から読み込む。次に、ステ
`ップ127〜141はループとなっており、このループ
`が一回のレーザ出力毎に行なわれ、一回分掃引が終了す
`ると、ステップ141から次の車両判別部103へ進
`む。このループ内ではまず、掃引角θをレーザ光掃引方
`向検出装置11から読み込み(ステップ127、12
`9)、距離検出回路19から検出距離Lを読み込み(ス
`テップ131)、距離検出がなければステップ139へ
`進み、距離検出があればステップ135へ進む(ステッ
`プ133)。ステップ135、137では、距離検出の
`あった場合だけ配列D(j)にデータを取り込む。配列
`D(j)は、角度θと距離Lの2つのデータを記憶する
`ための配列であり、得られた角度θと距離Lを入力す
`る。その後、次の掃引角度指令値を出力(ステップ13
`9)したのち、ステップ141でkの値をKmaxと比較
`し、kがKmax未満であれば今回の掃引はまだ終わりで
`ないためステップ127へ戻り、そうでなければ今回の
`掃引によるデータは全て検出、取得されたとして、今回
`の掃引における距離検出のあった回数をJmaxに代入し
`(ステップ143)、次の画像取り込み部103へ進
`む。
`【0022】次に、画像取り込み部103では、テレビ
`カメラ23から自車両前方の画像を取り込む。次に、先
`行車両検出部105では、まず、処理のための変数jを
`0にする(ステップ145)。次のステップ147〜1
`55が検出された反射体毎の処理ループを構成してい
`る。まずステップ147では、検出された角度・距離情
`報の配列D(j)=(θ,L)から画像処理を行なう注
`目領域を決定する。この決定方法は前述した通りであ
`り、以下のように算出する。
`
`7
`
`

`

`(8)
`
`特開平6−124340
`
`(1)中心点PのX座標: X0=K1×θ
`(K1は定数)
`(2)中心点PのY座標: Y0=K2×L+T1
`(K2、T1は定数)
`(3)左右方向の幅: w=K3/L
`上下方向の幅: h=K4/L
`(K3、K4は定数)
`(4)注目領域の各頂点の座標算出
`点A……(X0−w/2、Y0−h/2)
`点C……(X0+w/2、Y0+h/2)
`次のステップ149においては、決定された注目領域に
`関して画像処理を行なう。ここでは、例えばエッジ検
`出、二値化等の処理を行なって次のステップ151で車
`両の形状(ほぼ四角)を認識し易くなるような処理を行
`なえばよい。次に、ステップ151では画像処理後の画
`像に先行車両の形状が含まれるかどうかを検出する。こ
`れには、あらかじめ車両と見なせるような形状パターン
`(例えば長方形)を記憶しておいて、画像処理後の画像
`にこの形状パターンが含まれているかどうかを判別する
`ことで先行車両の認識が可能となる。例えば、距離デー
`タが得られた反射体が道路の路側帯に設けられた反射器
`41、43等のような車両以外であった場合には、その
`周りを注目領域として画像処理、先行車両認識を行なっ
`ても記憶された形状パターンに合致する画像は得られな
`いため、先行車両ではないと認識される。この先行車両
`認識処理(ステップ151)が終了すると、次の反射体
`データに対して同じ処理を行ない、今回の掃引における
`データ数に達するまで繰り返す。
`【0023】最後に先行車両位置出力部107に進み、
`ステップ157において先行車両の検出があったかどう
`かを判別し、先行車両がある場合には、その先行車両の
`位置、すなわち角度・距離情報D(j)を出力する。
`【0024】以上説明したように、本実施例によれば、
`反射体までの距離と方向を検出し、その結果に応じて画
`像認識における処理領域を設定するように構成したこと
`により、先行車両の位置を確実に検出することが可能に
`なると共に、画像処理を行う領域を狭い範囲に限定する
`ことが出来るので、超高速計算機なしで実用的に実現す
`ることが出来る。したがって車両の自動走行装置や他車
`両への接近警報装置等に適用することによって、より精
`度の高い自動走行や、適切な警報を発生することができ
`る、という効果が得られる。
`【0025】
`【発明の効果】以上説明してきたように、本発明によれ
`ば、車外の物体までの距離と方向の情報に基づいて画像
`処理手段における画像処理方法を設定するように構成し
`たことにより、(1)画像処理を行なう物体が特定さ
`れ、その物体に応じた処理を行なえば良いので、処理系
`が簡素になる、(2)処理速度の向上が見込まれる、
`(3)画像処理が最適になるように画像情報を調節でき
`
`るため、より正確な物体の特徴抽出が可能となる、
`(4)処理方式の変更が任意に設定できるため、環境に
`応じた処理方式が選択できる、(5)車両運転時の警報
`や、車両の走行制御のために必要な情報を正確に得るこ
`とができる、(6)距離測定や画像処理だけでは検出不
`可能な接近車両の挙動(例えば、車線変更の意思)を検
`知することができる、(7)本発明の画像処理装置を適
`用することにより、物体に対する距離、方向、特徴が得
`られるため、衝突防止装置等の運転支援装置や、自律走
`行車用の画像処理システムの性能を向上させることが出
`来る、等の効果が得られる。また、本発明を先行車両検
`出装置に適用したものにおいては、反射体までの距離と
`方向を検出し、その結果に応じて画像認識における処理
`領域を設定するように構成したことにより、先行車両の
`位置を確実に検出することが可能になると共に、画像処
`理を行う領域を狭い範囲に限定することが出来るので、
`超高速計算機なしで実用的に実現することが出来る。し
`たがって車両の自動走行装置や他車両への接近警報装置
`等に適用することによって、より精度の高い自動走行
`や、適切な警報を発生することができる、という効果が
`得られる。
`【図面の簡単な説明】
`【図1】本発明の第1の実施例のブロック図。
`【図2】車両と車外の物体との位置関係を示す図であ
`り、(a)は上面図、(b)は側面図。
`【図3】距離測定結果の一例を示す図表。
`【図4】図1の装置における処理手順を示すフローチャ
`ート。
`【図5】本発明の第2の実施例のブロック図。
`【図6】本発明の第3の実施例のブロック図。
`【図7】本発明を先行車両検出装置に適用した場合の機
`能ブロック図。
`【図8】本発明を先行車両検出装置に適用した場合の実
`施例のブロック図。
`【図9】自車両が緩い右カーブを走行中の状態を模式的
`に示す平面図。
`【図10】図9の状態においてテレビカメラから取り込
`まれた車両前方画像を示す図。
`【図11】レーザ光掃引方向検出装置から出力された掃
`引方向θに対するレーザレーダ装置からの検出距離Lを
`示した図。
`【図12】画像処理を行なうべき注目領域を決定する方
`法を説明するための図。
`【図13】図8の実施例における処理手順を示すフロー
`チャート。
`【図14】従来の車両用画像処理装置の一例図。
`【符号の説明】
`1…反射体検出手段 11…レーザ光掃
`引方向検出装置
`3…撮影手段 13…レーザ光掃
`
`8
`
`

`

`(9)
`
`特開平6−124340
`
`エータ
`37…スロットル、ブレーキ、ハンドル等の操縦装置
`60、66、70…距離測定手段 65…車外の物
`
`体 6
`
`サ 6
`
`1、67、76…判断手段 71…車速セン
`
`2、68、74…イメージセンサ 72…舵角セン
`
`サ 6
`
`3、69、77…画像処理手段 73…ヒューマ
`ンインターフェイス
`64…車両 75…判断基準
`設定手段
`
`引装置
`5…画像処理領域設定手段 15…送光器
`7…画像処理認識手段 17…受光器
`9…先行車位置出力手段 19…距離検出装
`
`置 2
`
`1…レーザレーダ装置 29…画像処理
`装置
`23…テレビカメラ 31…信号処理
`回路
`25…画像処理回路 33…車両運動
`制御回路
`27…先行車両位置出力回路 35…アクチュ
`
`【図1】
`
`【図2】
`
`【図3】
`
`【図7】
`
`9
`
`

`

`(10)
`
`特開平6−124340
`
`【図4】
`
`【図9】
`
`(図 4)
`
`(g4)
`
`(園 g)
`HEB)
`
`
`
`
`
`マトリクス距離データから
`VFUURE%?W§WB
`障害物の位置を推定する
`E%%®fifi%%fifié
`
`
`障害物の推定位置から画像処理
`@%%®%fifififl%@fiflfi
`領域を決定する。この領域は、
`%fi&fiiiéa:®fiflfl‘
`障害物の大きさよりも適当な値
`fi§W®kfié$U®fi§fifi
`だけ大きくする
`fififié<ié
`
`
`
`
`
`
`設定された領域を重点に
`画像処理演算を実行する
`@%flfi§%&%fi?§
`
` %Eémtfifiéififl
`
`【図5】
`
`(図 5)
`(HE)
`
`6 6
`
`6 7
`
`
`
`6 9
`
`10
`
`

`

`(11)
`
`特開平6−124340
`
`【図6】
`
`(図 6)
`(I6)
`
`ヒューマン
`インターフェイス
`
`S 8
`
`7 3
`'73
`
`7 0
`O7:
`
`距 離 測 定 手 段
`Efififiififlfifiifi’fi
`
`7 5
`
`附l断 基 準 設 定 手
`7&3?
`
`IEFUHfiE‘iE
`
`7 1
`7
`
`SE5
`
`車 速 セ ン サ
`
`7 2
`72
`
`舵 角 セ ン サ
`
`7 4
`
`4S
`
`7 7
`77
`
`【図10】
`
`【図11】
`
`(12110)
`(図 10)
`
`(@113
`〔調 11)
`
`曜事
`
`d
`
`曜喜
`
`長幸:
`
`縁組道総
`
`fimufifi
`
`LC
`LC
`
`45'
`
`。
`
`-x
`
`蜘
`
`l1li
`
`曜D L、5ダJ
`
`る
`470 470
`よ……r ……… }ーー為ぷ
`
`3
`
`Y
`
`。
`
`。u
`
`-91.4
`
`告
`
`8c
`
`携街角度
`
`eM
`
`11
`
`
`
`
`
`

`

`(12)
`
`【図8】
`
`特開平6−124340
`
`図 ロコ )
`(I8)
`
`(
`
`
`
`
`
`トサ・レイ装置ト21
`
`31
`
`r一一一--,--/15
`
`r--ーーーーー・ー---ーー・・ー回目ー可
`
`1 1
`
`12
`
`

`

`(13)
`
`特開平6−124340
`
`【図12】
`
`(@121
`(図 12 )
`
`fiD
`点 D
`
`EEC
`点 C
`(KO-HAW. Y0+hf2)
`(XO+W/2, YO+h/2)
`
`一一一一一
`
`一一一一・中心点 P
`(<0可 YO)
`
`hi2
`h/2
`
`hl2
`
`h/2
`
`A
`
`-- ",/2
`i M
`
`(XO—WIE. Yo—mz)
`(xo-w,尼, YO-h/2)
`
`点 B
`
`13
`
`

`

`(14)
`
`特開平6−124340
`
`【図13】
`
`(凶 13)
`(@113)
`
`ス9ート
`
`NO
`
`YES
`
`,101
`ザ-冊ー-,
`121
`
`125
`
`129
`
`131
`
`133
`
`135
`
`137
`
`141
`
`143
`
`.dmmEQE
`
`103
`
`105
`105
`
`145
`
`NO
`
`107 __ s
`
`157
`
`159
`
`NO
`
`14
`
`

`

`(15)
`
`特開平6−124340
`
`【図14】
`
`(図 14 )
`(@114)
`
`(a)
`(a)
`
`|イメージセンサトーl画像処理装置トーー特徴抽出信号
`1:5;—
`Efiflfii‘éi
`fifimfld '
`
`TX—‘D’t’lflfi
`
`)
`hu
`(
`
`イメージセンサ 1
`
`
`
`イメージセンサ 2
`
`画像処理装置
`
`
`
`─────────────────────────────────────────────────────
`フロントページの続き
`
`(51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所
` G01S 17/88 A 4240−5J
` G08G 1/04 D 2105−3H
`
`15
`
`

`

` H04N 17/06 6942−5C
`// G05D 1/02 K 9323−3H
`
`(16)
`
`特開平6−124340
`
`16
`
`

This document is available on Docket Alarm but you must sign up to view it.


Or .

Accessing this document will incur an additional charge of $.

After purchase, you can access this document again without charge.

Accept $ Charge
throbber

Still Working On It

This document is taking longer than usual to download. This can happen if we need to contact the court directly to obtain the document and their servers are running slowly.

Give it another minute or two to complete, and then try the refresh button.

throbber

A few More Minutes ... Still Working

It can take up to 5 minutes for us to download a document if the court servers are running slowly.

Thank you for your continued patience.

This document could not be displayed.

We could not find this document within its docket. Please go back to the docket page and check the link. If that does not work, go back to the docket and refresh it to pull the newest information.

Your account does not support viewing this document.

You need a Paid Account to view this document. Click here to change your account type.

Your account does not support viewing this document.

Set your membership status to view this document.

With a Docket Alarm membership, you'll get a whole lot more, including:

  • Up-to-date information for this case.
  • Email alerts whenever there is an update.
  • Full text search for other cases.
  • Get email alerts whenever a new case matches your search.

Become a Member

One Moment Please

The filing “” is large (MB) and is being downloaded.

Please refresh this page in a few minutes to see if the filing has been downloaded. The filing will also be emailed to you when the download completes.

Your document is on its way!

If you do not receive the document in five minutes, contact support at support@docketalarm.com.

Sealed Document

We are unable to display this document, it may be under a court ordered seal.

If you have proper credentials to access the file, you may proceed directly to the court's system using your government issued username and password.


Access Government Site

We are redirecting you
to a mobile optimized page.





Document Unreadable or Corrupt

Refresh this Document
Go to the Docket

We are unable to display this document.

Refresh this Document
Go to the Docket