`
`(12) fl fi-fil 4% Eff {LE $fi (A)
`
`(10199911919939
`
`(43)”AEfiEI $32 65130994) 5H 6 El
`
`(51)Int.Cl.5
`
`99919919
`
`EWEE%%
`
`F I
`
`Efiififi%
`
`$3199$6 — 124340
`
`G 0 6 F
`
`15/62
`
`G 0 1C 21/00
`
`G 0 1 s
`
`13/30
`
`3 3 0
`4 1 5
`
`9287—5L
`9287—5L
`
`N
`
`7015—51
`
`13/93
`2 7015—51
`51651395Efiéfiz‘? 19931219103591 5(% 16 E) %%Elzn%<
`
`
`
`
`
`(EILEEEJQ—
`
`49199915— 133145
`
`(22) $999
`
`$119 5 M1993) 6 F1 10 El
`
`(31)1§5E19§35§E%% a1%‘=§EEIZ4—193993
`
`(32)1§§E El
`
`$ 4 (1992) 7 F1 21 El
`
`(33)1§§E19§3‘:1El
`
`E121: (J P)
`
`(71) $19M 000003997
`
`El E 9 Efififlfifi
`
`193%! I Ififiififififimaim 2 $911.
`
`(72)%E)1% 0111
`
`19611
`
`193%) I Ifififimfimaim 2 $119
`
`El E
`
`E 9&132933199
`
`(739999912? 93% 519
`
`192%“ 11919399911193) IIIZEIHI 2 $119
`
`El E
`
`a Ebfifieitésfiw
`
`(74)ffifljk #fli KPH £59sz
`
`(91112.)
`
`
`
`(54) ($3)? OMEEF]
`
`$Wfifi1§flfl%i§
`
`(57)【要約】
`【目的】適切な画像処理を行なうことが出来、かつ車両
`用として実用的に実現可能な車両用画像処理装置を提供
`する。
`【構成】車外の物体との距離と方向の情報を検出する距
`離測定手段66と、その測定結果に基づいて画像処理方
`法を決定する判断手段67と、イメージセンサ68で検
`出した画像に対して、上記の設定された画像処理方法に
`基づいて画像処理を行なう画像処理手段69とを備えた
`車両用画像処理装置。画像処理方法とは、例えば画像処
`理を行なう領域を決定する処理、画像処理を行なう対象
`物を決定する処理および画像中の特定物体を拡大・縮小
`・方向転換する処理である。上記の構成により、注視物
`体を対象として重点的に画像情報を抽出処理を行なうの
`で、データ処理を行なう範囲が限定され、扱うデータ数
`が大幅に減少し、処理過程が高速になり、注視する物体
`の特徴抽出を高速に実行することができる。
`
`IPR2013-00419 - Ex. 1012
`Toyota Motor Corp., Petitioner
`
`1
`
`
`
`(2)
`
`特開平6−124340
`
`【特許請求の範囲】
`【請求項1】車両に搭載され、車両周囲の画像情報を入
`力するイメージセンサと、
`車外に存在する単一あるいは複数の物体までの距離と方
`向の情報を求める距離測定手段と、
`上記距離と方向の情報に基づいて、画像処理方法を判断
`して設定する判断手段と、
`上記イメージセンサで求めた画像情報に対して、上記判
`断手段で設定した画像処理方法に基づいて画像処理を行
`なう画像処理手段と、
`を備えたことを特徴とする車両用画像処理装置。
`【請求項2】上記判断手段は、画像処理を行なう領域を
`決定する処理、画像処理を行なう対象物を決定する処理
`および画像中の特定物体を拡大・縮小・方向転換する処
`理のうちの少なくとも一つの処理を含む画像処理方法を
`判断して設定するものであることを特徴とする請求項1
`に記載の車両用画像処理装置。
`【請求項3】上記イメージセンサは、上記判断手段で設
`定した拡大・縮小・方向転換の処理に応じて画像中の特
`定物体を拡大・縮小・方向転換するものであることを特
`徴とする請求項1に記載の車両用画像処理装置。
`【請求項4】自車両の走行状態を検出する測定手段を備
`え、
`上記判断手段は、上記測定手段の検出結果に応じて画像
`処置を行なう対象物を決定するものであることを特徴と
`する請求項2または請求項3に記載の車両用画像処理装
`置。
`【請求項5】所定角度範囲を掃引しながら自車両の走行
`方向に電磁波を放射し、反射体からの反射波を受信し、
`所定の掃引角度毎に電磁波の放射から受信までの伝播遅
`延時間に基づいて反射体までの距離を算出することによ
`り、自車両から反射体までの距離と方向を検出する反射
`体検出手段と、
`自車両の走行方向前方の風景を撮影する撮影手段と、
`上記撮影手段によって撮影された車両前方の画像を処理
`して前方に存在する先行車両を検出する画像認識手段
`と、
`上記画像認識手段における画像処理領域を、上記反射体
`検出手段から検出された距離および方向に応じて設定す
`る画像処理領域設定手段と、
`上記画像処理認識手段によって先行車と認識された反射
`体までの距離または方向もしくはその両方を出力する先
`行車位置出力手段と、
`を備えたことを特徴とする車両用画像処理装置。
`【発明の詳細な説明】
`【0001】
`【産業上の利用分野】この発明は、車両の周囲の環境を
`認識する車両用画像処理装置に関する。このような車両
`用画像処理装置は、例えば、車両の自動走行制御装置や
`他車両への接近警報装置等に適用される先行車両検出装
`
`置、すなわち自車両の前方を走行する先行車両の位置を
`検出する装置等に利用される。
`【0002】
`【従来の技術】従来の車両用画像処理装置としては、例
`えば図14に示すようなものがある。図14において、
`(a)は1個のイメージセンサを用いて車両の周囲の可
`能な限り広い範囲の情報を取り込み、その情報を認識す
`る車両用画像処理装置である。また、(b)は、2個の
`イメージセンサを用い、それらを所定の角度と距離をお
`いて設置し、各々の情報の視差から物体までの距離と方
`向および特徴を抽出する車両用画像処理装置である。
`【0003】
`【発明が解決しようとする課題】上記のような従来の車
`両用画像処理装置においては、次のごとき問題があっ
`た。すなわち、
`①遠方に存在する物体は画像が小さくなるため、その特
`徴を抽出するのが困難である、
`②取り込まれた画像の全てを処理するため、情報量が多
`い。そのため処理が複雑になって、処理速度が遅くな
`り、かつ処理装置の規模が大きくなるので、車両の設備
`としては使用が困難である、
`③画像処理方法の変更が自由に行なえないため、特定の
`情報しか得られない、
`④さらに、走行する車両においては、物体までの距離が
`正確に計測できないため、画像の情報を得られたとして
`も、運転者への警報や、車両の走行制御に有効に使用で
`きない、という問題があった。
`【0004】本発明は上記のごとき従来技術の問題を解
`決するためになされたものであり、適切な画像処理を行
`なうことが出来、かつ車両用として実用的に実現可能な
`車両用画像処理装置を提供することを目的とする。
`【0005】
`【課題を解決するための手段】上記の目的を達成するた
`め、本発明においては、特許請求の範囲に記載するよう
`に構成している。すなわち、請求項1に記載の発明にお
`いては、車両に搭載され、車両周囲の画像情報を入力す
`るイメージセンサと、車外に存在する単一あるいは複数
`の物体までの距離と方向の情報を求める距離測定手段
`と、上記距離と方向の情報に基づいて、画像処理方法を
`判断して設定する判断手段と、上記イメージセンサで求
`めた画像情報に対して、上記判断手段で設定した画像処
`理方法に基づいて画像処理を行なう画像処理手段と、を
`備えている。上記の判断手段は、例えば、請求項2に記
`載のごとく、画像処理を行なう領域を決定する処理、画
`像処理を行なう対象物を決定する処理および画像中の特
`定物体を拡大・縮小・方向転換する処理のうちの少なく
`とも一つの処理を含む画像処理方法を判断して設定する
`ものである。また、上記のイメージセンサは、例えば請
`求項3に記載のごとく、上記判断手段で設定した拡大・
`縮小・方向転換の処理に応じて画像中の特定物体を拡大
`
`2
`
`
`
`(3)
`
`特開平6−124340
`
`・縮小・方向転換するものである。また、請求項4に記
`載の発明は、上記の構成の他に、自車両の走行状態を検
`出する測定手段を備え、その測定手段の検出結果に応じ
`て上記判断手段が画像処置を行なう対象物を決定するよ
`うに構成したものである。また、請求項5に記載の発明
`は、上記の車両用画像処理装置を先行車両検出装置に適
`用した場合の具体的な構成を示すものである。
`【0006】
`【作用】上記のように本発明においては、距離測定手段
`の測定結果に基づいて、判断手段が画像処理方法を決定
`する。この画像処理方法とは、例えば請求項2に記載の
`ように、画像処理を行なう領域を決定する処理、画像処
`理を行なう対象物を決定する処理および画像中の特定物
`体を拡大・縮小・方向転換する処理である。そして画像
`処理手段は、上記の設定された画像処理方法に基づいて
`画像処理を行なう。したがって、画像処理が必要な重要
`物体、例えば自車両の走行を妨げるような物体を対象と
`して重点的に画像情報を抽出する処理を行なうことにな
`り、画像処理手段でデータ処理を行なう範囲が限定され
`るため、扱うデータ数が大幅に減少し、かつ処理過程が
`高速になり、注視する物体の特徴抽出を高速に実行する
`ことができる。また、請求項3に記載のように、イメー
`ジセンサで画像中の特定物体を拡大・縮小・方向転換す
`るものにおいては、画像処理のための最適な画像が得ら
`れるので、少ない画素データからは得られない詳細な情
`報、例えば車両のナンバープレートを識別するような情
`報を画像処理手段から得ることができる。また、請求項
`4に記載の発明のように、自車両の走行状態を検出する
`測定手段を備え、その検出結果に応じて判断手段が画像
`処置を行なう対象物を決定するものにおいては、車両前
`方に複数の物体が存在する場合に、自車両の走行状態等
`に応じてどの物体を注視するかのを選定することが出来
`る。また、請求項5に記載の発明においては、反射体検
`出手段によって反射体までの距離と方向を検出し、その
`結果に応じて画像処理認識手段における処理領域を設定
`する画像処理領域設定手段を設け、反射体までの距離と
`方向に応じて画像処理領域を定めるように構成してい
`る。そのため、先行車両の位置を確実に検出することが
`可能になると共に、画像処理を行う領域を狭い範囲に限
`定することが出来るので、超高速計算機を用いることな
`しにリアルタイムで演算処理を行うことが可能となる。
`【0007】
`【実施例】以下、この発明を図面に基づいて説明する。
`図1は、この発明の第1の実施例を示すブロック図であ
`る。図1において、距離測定手段60は、例えば光、電
`波、超音波等を使用したレーダであり、物体までの距離
`および方向情報が得られる。光を使用したものには、レ
`ーザとフォトセンサを組み合わせ、レーザ光が物体に反
`射して戻ってくるまでの経過時間を測定することによ
`り、距離を計測するものがある。なお、発射するレーザ
`
`光を上下左右に走査すれば、その方向での距離が計測で
`きるので、距離と方向の情報が得られる。電波や超音波
`を使用したものにおいても上記とほぼ同様の構成で実現
`することが出来る。また、判断手段61は、距離測定手
`段60の測定結果に基づいて画像処理の方法を判断して
`設定する手段である。なお、上記の画像処理方法とは、
`この実施例においては画像処理する領域の決定処理であ
`る。また、イメージセンサ62は、車両周囲の画像情報
`を入力する手段であり、例えばCCDを使用したビデオ
`カメラ装置である。また、画像処理手段63は、例えば
`パターン認識を行なわせる手段である。この画像処理手
`段63と上記判断手段61は、例えばコンピュータで構
`成することが出来る。なお、S1は距離・方向信号、S
`2は画像信号、S3は判断信号、S4は特徴抽出信号で
`ある。
`【0008】次に、図2は、車両と車外の物体との位置
`関係を示す図であり、(a)は上面図、(b)は側面図
`である。図2において、64は車両、65は車外の物体
`である。また、図3は距離測定結果の一例を示す図表、
`図4は図1の装置における処理手順を示すフローチャー
`トである。以下、図2〜図4に基づいて図1の実施例の
`作用を説明する。まず、車両の前方に存在する物体65
`の距離と方向を、自車両64の先端に設けた距離測定手
`段60(図2では図示省略)によって測定する。この距
`離測定手段60は、車両の横方向にθx、高さ方向にθ
`yを設定した場合(図2参照)、各方位に対して、距離
`を示すデータがマトリクスL(θx,θy)上に得るこ
`とが出来るものである。図3に示す距離測定結果の例
`は、図2に示したような右方向に物体65がある場合の
`結果である。判断手段61は、上記の測定結果に基づい
`て物体の位置を推定する。この推定方法は、例えば次の
`ように行なう。すなわち、全てのL(θx,θy)につ
`いて、隣合ったL(θx′,θy′)との値を比較す
`る。そして物体が存在する場所と存在しない場所との境
`界部分では、L(θx,θy)とL(θx′,θy′)
`の値は大きく異なるので、その位置に物体が存在するこ
`とが判る。上述した例では、右方向に物体があることが
`推定される。さらに、判断手段61は、上記の結果に基
`づいて画像処理の方法を設定する。この実施例の場合に
`は、画像処理の方法として、画像処理を行なう領域を決
`定する処理を用いる。したがって判断手段61は、画像
`処理を行なう領域を物体が存在する周辺に決定する。こ
`の際の決定方法は、推定された物体の大きさに或る適当
`な値を掛けて物体よりも大きな領域とする。次に、画像
`処理手段63は、イメージセンサ62で求めた車両前方
`の画像情報に対して、判断手段61から送られたデータ
`に基づき、画像処理を行なう領域を設定し、その領域に
`ついて重点的にデータ処理を行なう。上述した例では、
`右方向の物体に対する画像処理を重点的に行なう。上記
`のように、判断手段61によって自車両の走行を妨げる
`
`3
`
`
`
`(4)
`
`特開平6−124340
`
`ような物体の距離と方向を検知し、その物体を対象とし
`て重点的に画像情報を抽出する処理を行なうことによ
`り、画像処理手段63でデータ処理を行なう範囲が限定
`されるため、扱うデータ数が大幅に減少し、処理過程が
`高速になり、注視する物体の特徴抽出を高速に実行する
`ことができる。
`【0009】次に、図5は、本発明の第2の実施例を示
`すブロック図である。この実施例は、物体に対する詳細
`な画像情報が必要な画像処理装置に本発明を適用したも
`のである。図5において、距離測定手段66は、前記図
`1のものと同様である。また、判断手段67は、前記図
`1のものと同様に物体までの距離と方向を推定するが、
`さらにイメージセンサ68を制御する信号を出力するも
`のである。また、イメージセンサ68は、上記判断手段
`67から与えられる制御信号に応じて、画像情報の拡
`大、縮小、フォーカスおよび回転制御ができるイメージ
`センサである。このようなイメージセンサとしては、ズ
`ーム機構を持つレンズとカメラ全体を回転させることが
`できる機構を有するビデオカメラ装置を用いることが出
`来る。また、画像処理手段69は、例えば、車両のナン
`バープレートを識別するような詳細な画像処理手段であ
`る。なお、S1は距離・方向信号、S2は画像信号、S
`3は判断信号、S4は特徴抽出信号、S5は拡大・縮小
`・方向転換信号である。前記図2に示した環境では、右
`方向に物体が存在している。距離測定手段66では、前
`記図1と同様に、距離データがマトリクス上に得られ
`る。判断手段67は、上記の結果に基づいて、前記第1
`の実施例と同様に、物体までの距離と方向を推定し、イ
`メージセンサ68のパン、チルト、ズーム、フォーカス
`調整機構を制御する。例えば前記図3に示したデータが
`得られた場合には、カメラを右側に動かし、距離に応じ
`たフォーカスの調整を行なう。このように処理すること
`により、画像処理のための最適な画像が得られる。した
`がって、少ない画素データからは得られない詳細な情
`報、例えば車両のナンバープレートを識別するような情
`報を画像処理手段69から得ることができる。なお、上
`記の画像処理手段69で得られる詳細な情報としては、
`先行車両のブレーキランプ、方向指示器の点灯、車両の
`大きさ、進行方向等があり、それらの特徴を抽出するこ
`とが出来る。また、判断手段67で設定した注視物体に
`ついて画像処理手段69が画像処理を行なうことによ
`り、歩行者や建造物の特徴を抽出することも出来るし、
`標識、信号機の位置、踏切の有無、道路設備等の状況を
`認識することも出来る。
`【0010】次に、図6は、本発明の第3の実施例のブ
`ロック図である。図6において、距離測定手段70は、
`前記第1の実施例に用いたものと同様である。また、車
`速センサ71は、車両の走行速度を計測するものであ
`り、例えば単位時間当たりの車輪の回転数を検知し、車
`輪の円周の長さから車両の速度を計測するものや、光や
`
`電波を路面に反射させ、ドップラ効果によって速度を計
`測するもの等がある。また、舵角センサ72は、操舵角
`を検出するものであり、例えばロータリエンコーダを内
`蔵したステアリングホイールを用いることが出来る。ま
`た、ヒューマンインターフェース73は、画像処理装置
`と乗員との間で情報の交換を行なう装置であり、例えば
`車室内に設けた操作スイッチや表示装置である。この操
`作スイッチを乗員が操作して画像処理装置に信号を入力
`し、また画像処理装置の情報を表示装置に表示して乗員
`に与える。また、イメージセンサ74は、前記第2の実
`施例に用いたものと同様のものである。また、判断基準
`設定手段75は判断手段76の判断基準を設定する手段
`(詳細後述)である。また、76は判断手段、77は画
`像処理手段である。上記の判断基準設定手段75、上記
`判断手段76および画像処理手段77は、例えばコンピ
`ュータで構成することが出来る。なお、S1は距離・方
`向信号、S2は画像信号、S3は判断信号、S4は特徴
`抽出信号、S5は拡大・縮小・方向転換信号、S6は車
`速信号、S7は舵角信号、S8は基準値設定用信号、S
`9は基準信号である。
`【0011】次に、作用を説明する。車両前方に複数の
`物体が存在する場合には、複数の画像処理領域を設定す
`ることが必要になるが、本実施例は、このような場合
`に、物体の大きさや距離、さらには自車両の走行状態等
`に応じてどの物体を注視するかを変更するように構成し
`たものである。判断基準設定手段75は、判断手段76
`の判断基準を設定する。すなわち、判断手段76では、
`自車両が現在どのような環境にあるかを判断し、それに
`応じて注視すべき物体を決定するが、判断基準設定手段
`75は、上記の判断における判断基準を設定する。例え
`ば、自車両の状態の検知は、車速センサと舵角センサに
`より、走行速度と操舵角とを検知することによって行な
`い、走行速度が所定値以上で舵角が所定値以下の場合は
`高速道路を走行中であると判断し、また、舵角が所定値
`以上で車速が所定値以下の場合には交差点近傍を走行中
`であると判断することが出来るが、判断基準設定手段7
`5は、上記の判断の基準となる車速値や舵角値の閾値を
`設定するものである。この基準値の設定は、乗員が操作
`スイッチ等のヒューマンインターフェイス73を用いて
`入力する。判断手段76は、上記のように高速道路を走
`行中と判断した場合には前方の障害物を注視物体と判断
`し、また、交差点近傍を走行中である判断した場合は、
`前方の信号機を注視物体と判断する。そして画像処理手
`段77では、その注視物体に対して画像処理を行なう。
`なお、上記の説明では、判断基準設定手段73の基準値
`の設定を、ヒューマンインターフェース73を用いて行
`なう場合を説明したが、画像処理結果を入力することに
`よって、環境設定を自動的に行なうことも可能である。
`例えば、道路上の白線を画像処理手段77が検出するシ
`ステムに本発明を適用した場合には、交差点近傍では連
`
`4
`
`
`
`(5)
`
`特開平6−124340
`
`続した白線は検知されないという特性を利用し、白線欠
`落を検知した場合に交差点近傍と判断し、注視物体を前
`方の信号機とするように設定することが出来る。以上を
`まとめると次のようになる。まず、距離測定手段70に
`よって物体の距離と方向を測定する。この測定結果と車
`両の走行状況によって判断基準設定手段75と判断手段
`76が画像処理を行なう対象物を決定する。例えば、高
`速道路走行中と判断した場合は、先行車両を対象物と
`し、交差点近傍を走行中と判断した場合は、信号機を対
`象物に決める。ただし、状況に応じて適宜設定できるの
`で、上記の例に限定されるものではない。また、判断手
`段76は、画像処理を行なう上で、最適な画像になるよ
`うにイメージセンサ74の調節(拡大、縮小、方向転換
`等)を行ない、また、イメージセンサ74から取り込ま
`れた画像のどの部分を処理するかを決定する。イメージ
`センサ74の画像を取り込んだ画像処理手段77は、対
`象物に応じた物体の特徴抽出を行なう。この特徴抽出
`は、例えば、障害物の検出、衝突の危険性のある車両の
`ブレーキランプ点灯の検出、標識に示された制限速度の
`認識等である。さらに、距離情報の時間的変化を計算す
`ることで、自車両と対象物との相対速度も検出すること
`が出来る。なお、この実施例においても、前記第2の実
`施例と同様に、画像処理手段77で得られる詳細な情報
`としては、先行車両のブレーキランプ、方向指示器の点
`灯、車両の大きさ、進行方向等があり、それらの特徴を
`抽出することが出来る。また、判断手段76で設定した
`注視物体について画像処理手段77が画像処理を行なう
`ことにより、歩行者や建造物の特徴を抽出することも出
`来るし、標識、信号機の位置、踏切の有無、道路設備等
`の状況を認識することも出来る。また、距離測定手段7
`0やイメージセンサ74は、車両の前後左右等必要に応
`じ増設することもできる。この場合、それぞれ独立した
`方向で物体の特徴抽出が可能になる。
`【0012】次に、本発明を先行車両検出に応用した実
`施例について説明する。従来の先行車両検出装置として
`は、例えば特開昭61−23985号公報等に記載され
`ているような電磁波の反射を用いたものがある。これ
`は、車両前方に電磁波(例えばレーザ光など)を所定角
`度掃引しながら放射し、反射体からの反射波を受信し、
`所定の掃引角度毎に電磁波の放射から受信までの伝播遅
`延時間に基づいて反射体までの距離を算出することによ
`り、自車両から反射体までの距離と方向を検出するもの
`であり、自車両から反射物までの方向と距離の情報を得
`ることができる。なお、一般的に車両には後方からの視
`認性を向上させるために、その後部にリフレックス・リ
`フレクタが設置されているが、このリフレックス・リフ
`レクタが反射体となって、レーザ光などの電磁波を反射
`するため、容易に検出することができる。また、これ以
`外にも車両前方に向けたテレビカメラ等を用いて、車両
`前方の風景を入力し、入力された画像に対して画像処理
`
`を行なって先行車両や道路を認識する装置も考えられて
`いる。
`【0013】しかしながら、このような従来の先行車両
`検出装置においては、以下のような問題があった。ま
`ず、レーザレーダ等の電磁波の反射を用いた先行車両検
`出装置においては、反射体として車両後尾に設けられた
`リフレックス・リフレクタだけでなく、道路の路側帯に
`設置されたガードレール上のコーナ・リフレクタ等も考
`えられるため、数多くの反射体の中から、先行車両のリ
`フレックス・リフレクタからの反射だけを選別するのは
`非常に困難である、という問題がある。また、反射体ま
`での検出距離の単位時間における変化量を自車両の走行
`車速と比較し、反射体が停止物であるか移動物体である
`かを判別して移動物体のみを車両として認識することは
`比較的容易に可能である。しかし、この方法では、例え
`ば高速道路における渋滞の最後尾に停止している車両等
`に関しては、停止物であるが故に車両ではないと判断し
`てしまうので、先行車両の位置を検出することができ
`ず、そのため精度の高い走行制御や、他車両への過剰接
`近に対する適切な警報を発することができない、という
`問題がある。また、テレビカメラからの画像を画像処理
`して先行車両を認識するような先行車両検出装置におい
`ては、現在の技術では画像処理を用いて路端や車線を示
`す白線を認知することは比較的容易に可能であるが、先
`行車両の識別に関してはあまり高精度は期待出来ない。
`また、先行車両の識別については処理回数も多く必要で
`あるため、大量の画像データを処理する必要がある。そ
`して、車両の自動走行や追突警報装置などに適用する場
`合には、このような処理を高速(リアルタイム)で行な
`うことが必須であり、非常に高速な計算機が必要にな
`る、という問題がある。また、先行車両検出目的以外の
`通常の画像処理を用いた技術においては、全画面の中か
`ら画像処理を行なう必要のある領域(注目領域)を限定
`し、その中で各種処理を行なうことにより、全体の計算
`量を減少させる方法を適用することが出来るが、先行車
`両検出の場合には、先行車両が自車両のカメラの画面に
`対して、どの領域にでも存在する可能性があり、単純に
`注目領域を設定することができないため、この方法によ
`る高速化は困難であった。本実施例は、上記のごとき従
`来技術の問題を解決し、先行車両を確実に検出すること
`が可能であり、かつ超高速計算機なしでも実用的に実現
`可能な先行車両検出装置を提供するものである。
`【0014】図7は、本実施例の機能ブロック図であ
`る。図7において、反射体検出手段1は、所定角度範囲
`を掃引しながら自車両の走行方向に電磁波を放射し、反
`射体からの反射波を受信し、所定の掃引角度毎に電磁波
`の放射から受信までの伝播遅延時間に基づいて反射体ま
`での距離を算出することにより、自車両から反射体まで
`の距離と方向を検出する。この反射体検出手段1は、例
`えば、後記図8の実施例におけるレーザ光掃引方向検出
`
`5
`
`
`
`(6)
`
`特開平6−124340
`
`装置11、レーザ光掃引装置13およびレーザレーダ装
`置21の部分に相当する。また、撮影手段3は、自車両
`の走行方向前方の風景を撮影する。この撮影手段3は、
`例えば後記図8の実施例におけるテレビカメラ23に相
`当する。また、画像認識手段7は、上記撮影手段3によ
`って撮影された車両前方の画像を処理して前方に存在す
`る先行車両を検出する。この画像認識手段7は、例えば
`後記図8の実施例における画像処理回路25の部分に相
`当する。また、画像処理領域設定手段5は、画像認識手
`段7における画像処理領域を、反射体検出手段1から検
`出された距離および方向に応じて設定する。この画像処
`理領域設定手段5は、例えば、後記図8の実施例におけ
`る信号処理回路31の部分に相当する。また、先行車位
`置出力手段9は、画像処理認識手段7によって先行車と
`認識された反射体までの距離または方向もしくはその両
`方を出力する。この先行車位置出力手段9は、例えば後
`記図8の実施例における先行車両位置出力回路27の部
`分に相当する。なお、画像処理領域設定手段5の内容と
`しては、反射体検出手段1からの距離検出が行なわれた
`方向から所定角度範囲内の領域でのみ画像処理を行なう
`ように画像処理領域を設定するもの、反射体検出手段1
`による検出距離が大きいほど画像処理領域を画面の上方
`に設定する、反射体検出手段1による検出距離が大きい
`ほど画像処理領域の面積を小さく設定するもの等が考え
`られる。上記のごとく本実施例においては、反射体検出
`手段1によって反射体までの距離と方向を検出し、その
`結果に応じて画像処理認識手段7における処理領域を設
`定する画像処理領域設定手段5を設け、反射体までの距
`離と方向に応じて画像処理領域を定めるように構成して
`いる。そのため、先行車両の位置を確実に検出すること
`が可能になると共に、画像処理を行う領域を狭い範囲に
`限定することが出来るので、超高速計算機を用いること
`なしにリアルタイムで演算処理を行うことが可能とな
`る。
`【0015】図8は、本実施例のブロック図である。な
`お、図8は、自車両と先行車両との車間距離を所定の安
`全距離以上に保つように自動的に制御する自動車間距離
`制御装置に本発明を適用した場合を例示している。図8
`において、レーザレーダ装置21は、レーザ光を放射す
`る送光器15、この送光器15から出力されたレーザ光
`の反射光を受光する受光器17、送光器15におけるレ
`ーザ光の放射から受光器17における反射光の受光まで
`のレーザ光の伝播遅延時間に基づいて反射体までの距離
`を検出する距離検出回路19を備えている。この距離検
`出回路19の出力は信号処理回路31に送られる。ま
`た、レーザレーダ装置21の送光器15から放射される
`レーザ光は、レーザ光掃引装置13によって車両の前方
`方向を中心に左右に掃引されるように制御されている。
`このレーザ光掃引装置13は、例えば、ミラーを用いて
`レーザ光を左右方向に例えば振幅±10度程度、周波数
`
`10Hz程度で掃引するものである。このレーザ光掃引
`装置13の掃引角度はレーザ光掃引方向検出装置11に
`よって検出され、信号処理回路31に供給される。上記
`のように、信号処理回路31には、距離検出回路19か
`らの距離信号とレーザ光掃引方向検出装置11からの掃
`引角度信号とが入力される。したがって信号処理回路3
`1に入力する信号は、所定の掃引角度毎における反射体
`までの距離、すなわち、自車両から反射体までの距離と
`方向の情報を有する信号となる。なお、上記のレーザ光
`掃引方向検出装置11としては、上記レーザ光掃引装置
`13のミラーを制御する手段として例えばステップモー
`タを用いている場合にはこのステップモータを駆動する
`パルス数に対応して掃引角度を出力する装置を用いるこ
`とが出来、また、上記レーザ光掃引装置13として例え
`ばガルバノメータ方式のものを用いた場合にはこのガル
`バノメータを制御する制御信号を掃引角度に対応した信
`号として出力する装置を用いることが出来る。次に、信
`号処理回路31は、上記レーザレーダ装置21の距離検
`出回路19から供給された距離と上記レーザ光掃引方向
`検出装置11から供給された掃引角度とに基づいて画像
`処理を行なうべき画像領域を設定し、画像処理装置29
`の画像処理回路25に対して出力する。また、画像処理
`装置29は、自車両前方の画像を取り込むためのテレビ
`カメラ23と、取り込まれた画像を処理して先行車両を
`認識する画像処理回路25と、画像処理回路25の結果
`を出力する先行車両位置出力回路27からなっており、
`検出された先行車両までの距離、方向、速度を出力す
`る。なお、上記の信号処理回路31、画像処理回路25
`および先行車両位置出力回路27の部分は、例えばマイ
`クロコンピュータで構成することが出来る。また、車両
`運動制御回路33は、上記の与えられた先行車両までの
`距離、方向、速度に基づいて、安全車間距離を保って先
`行車両に追従走行できるようにアクチュエータ35に対
`して指令値を出力する。このアクチュエータ35によっ
`てスロットル弁、ブレーキ、ハンドル等の操縦装置37
`を制御することにより、安全に追従走行することが出来
`る。
`【0016】次に、本実施例の全体の作用を説明する前
`に、まず画像処理領域の設定方法について説明する。図
`9は、自車両が緩い右カーブを走行中の状態を模式的に
`示す平面図である。図9において、図示しないレーザレ
`ーダ装置21から放射されたレーザ光は、車体中心線5
`5を中心にして左右に角度θMの範囲で掃引されてい
`る。また、図示しないテレビカメラ23は水平面内の画
`角がレーザレーダ装置21の掃引範囲−θM〜θMと一
`致するように設定され、この範囲の画像を取り込んでい
`る。その他、41および43は路側帯に設けられた反射
`器(例えばキャッツアイのごときもの)、45は先行車
`両、47a、47bは先行車両に取り付けられたリフレ
`ックス・リフレクタ、49はセンターライン、51およ
`
`6
`
`
`
`(7)
`
`特開平6−124340
`
`び53は路端を示すラインである。
`【0017】次に、図10は、図9の状態においてテレ
`ビカメラ23から取り込まれた車両前方画像を示す図で
`あり、図9と同一のものの画像は同じ符号に「′」を付
`けて示している。すなわち45′は先行車両の画像であ
`り、同様に、41′、43′は左右の路側帯に設けられ
`た反射器、47a′、47b′は先行車両に取り付けら
`れたリフレックス・リフレクタ、49′はセンターライ
`ン、51′および53′は路端を示すラインの画像を示
`す。
`【0018】次に、図11は、レーザ光掃引方向検出装
`置11から出力された掃引方向θに対するレーザレーダ
`装置21からの検出距離Lを示した図であり、図9と同
`一のものの画像は同じ符号に「″」を付けて示してい
`る。図11においては、先行車両に取り付けられたリフ
`レックス・リフレクタ47a″、47b″、左右の路側
`帯に設けられた反射器41″、43″およびセンターラ
`イン55″が示されている。
`【0019】以下、図9〜図11に基づいて説明する。
`図10に示す前方画像では、先行車両45の画像45′
`は図示した位置に図示した大きさで表示されるが、この
`表示される位置および大きさは、テレビカメラ23の画
`角範囲や倍率が固定であれば、テレビカメラ23の中心
`軸に対する先行車両45の方向角度θcから画像左右方
`向(X方向)の位置が決まり、距離Lcから画像上下方
`向(Y方向)の位置が決まる。また画像45′の大きさ
`は距離Lcに反比例する。したがって、注目領域だけを
`画像処理して先行車両を検出するには、信号処理回路3
`1において、反射器47a、47bまでの距離および角
`度から車両前方画像における画像処理を行なうべき注目
`領域を、図12に示すような以下の計算方法で決定すれ
`ばよい。
`(1)反射物の検出角度θ(車体中心線55からの角
`度、前記のθcに相当)に応じて、注目領域の中心点P
`の左右方向(X方向)の位置(X0)を決定する。
`(2)反射物の検出距離L(前記のLcに相当)に応じ
`て、注目領域の中心点Pの上下方向(Y方向)の位置
`(Y0)を決定する。
`(3)反射物の検出距離Lに反比例して、注目領域の左
`右方向の幅wおよび上下方向の幅hを決定する。
`(4)注目領域は、以下の2点を対角の2頂点とする長
`方形領域とする。
`点A……(X0−w/2、Y0−h/2)
`点C……(X0+w/2、Y0+h/2)
`上記のごとく、本実施例における注目領域(画像処理領
`域)の決定は、①距離検出が行なわれた方向から所定角
`度範囲内に領域を設定し(X方向)、②検出距離が大き
`いほど画像処理領域を画面の上方に設定し(Y方向)、
`③検出距離が大きいほど画像処理領域の面積を小さく設
`定するものである。
`
`【0020】次に、図13は、図8の実施例における処
`理手順を示すフローチャートである。以下、図13に基
`づいて図8に示す実施例の全体の作用を説明する。図1
`3に示す処理手順は、大別すると、掃引角度毎の検出距
`離を算出して記憶する角度・距離算出部101と、テレ
`ビカメラから自車両前方の画像を取り込む画像取り込み
`部103と、取り込まれた画像の画像処理を行なう領域
`を決定し、その領域で画像処理を行なって先行車両を認
`識する先行車両検出部105と、先行車両がある場合に
`は算出された先行車両の位置を出力する先行車両位置出
`力部107に分けられる。
`【0021】以下、処理手順を詳細に説明する。角度・
`距離算出部101では、まず、ステップ121、123
`で処理用の変数kとjを0にしている。すなわち、レー
`ザの掃引は、角度−θM〜θMの範囲で行なわれるが、
`この間を2θM/Kmax毎にレーザを出力し、一回の掃
`引あたりKmax回の出力が行なわれる。変数kはこの一
`回の掃引におけるレーザ出力の番号であり、最大値はK
`maxである。また変数jは一回の掃引において、距離検
`出があった回数である。次に、ステップ125で自車両
`の走行車速を車速センサ39から読み込む。次に、ステ
`ップ127〜141はループとなっており、このループ
`が一回のレーザ出力毎に行なわれ、一回分掃引が終了す
`ると、ステップ141から次の車両判別部103へ進
`む。このループ内ではまず、掃引角θをレーザ光掃引方
`向検出装置11から読み込み(ステップ127、12
`9)、距離検出回路19から検出距離Lを読み込み(ス
`テップ131)、距離検出がなければステップ139へ
`進み、距離検出があればステップ135へ進む(ステッ
`プ133)。ステップ135、137では、距離検出の
`あった場合だけ配列D(j)にデータを取り込む。配列
`D(j)は、角度θと距離Lの2つのデータを記憶する
`ための配列であり、得られた角度θと距離Lを入力す
`る。その後、次の掃引角度指令値を出力(ステップ13
`9)したのち、ステップ141でkの値をKmaxと比較
`し、kがKmax未満であれば今回の掃引はまだ終わりで
`ないためステップ127へ戻り、そうでなければ今回の
`掃引によるデータは全て検出、取得されたとして、今回
`の掃引における距離検出のあった回数をJmaxに代入し
`(ステップ143)、次の画像取り込み部103へ進
`む。
`【0022】次に、画像取り込み部103では、テレビ
`カメラ23から自車両前方の画像を取り込む。次に、先
`行車両検出部105では、まず、処理のための変数jを
`0にする(ステップ145)。次のステップ147〜1
`55が検出された反射体毎の処理ループを構成してい
`る。まずステップ147では、検出された角度・距離情
`報の配列D(j)=(θ,L)から画像処理を行なう注
`目領域を決定する。この決定方法は前述した通りであ
`り、以下のように算出する。
`
`7
`
`
`
`(8)
`
`特開平6−124340
`
`(1)中心点PのX座標: X0=K1×θ
`(K1は定数)
`(2)中心点PのY座標: Y0=K2×L+T1
`(K2、T1は定数)
`(3)左右方向の幅: w=K3/L
`上下方向の幅: h=K4/L
`(K3、K4は定数)
`(4)注目領域の各頂点の座標算出
`点A……(X0−w/2、Y0−h/2)
`点C……(X0+w/2、Y0+h/2)
`次のステップ149においては、決定された注目領域に
`関して画像処理を行なう。ここでは、例えばエッジ検
`出、二値化等の処理を行なって次のステップ151で車
`両の形状(ほぼ四角)を認識し易くなるような処理を行
`なえばよい。次に、ステップ151では画像処理後の画
`像に先行車両の形状が含まれるかどうかを検出する。こ
`れには、あらかじめ車両と見なせるような形状パターン
`(例えば長方形)を記憶しておいて、画像処理後の画像
`にこの形状パターンが含まれているかどうかを判別する
`ことで先行車両の認識が可能となる。例えば、距離デー
`タが得られた反射体が道路の路側帯に設けられた反射器
`41、43等のような車両以外であった場合には、その
`周りを注目領域として画像処理、先行車両認識を行なっ
`ても記憶された形状パターンに合致する画像は得られな
`いため、先行車両ではないと認識される。この先行車両
`認識処理(ステップ151)が終了すると、次の反射体
`データに対して同じ処理を行ない、今回の掃引における
`データ数に達するまで繰り返す。
`【0023】最後に先行車両位置出力部107に進み、
`ステップ157において先行車両の検出があったかどう
`かを判別し、先行車両がある場合には、その先行車両の
`位置、すなわち角度・距離情報D(j)を出力する。
`【0024】以上説明したように、本実施例によれば、
`反射体までの距離と方向を検出し、その結果に応じて画
`像認識における処理領域を設定するように構成したこと
`により、先行車両の位置を確実に検出することが可能に
`なると共に、画像処理を行う領域を狭い範囲に限定する
`ことが出来るので、超高速計算機なしで実用的に実現す
`ることが出来る。したがって車両の自動走行装置や他車
`両への接近警報装置等に適用することによって、より精
`度の高い自動走行や、適切な警報を発生することができ
`る、という効果が得られる。
`【0025】
`【発明の効果】以上説明してきたように、本発明によれ
`ば、車外の物体までの距離と方向の情報に基づいて画像
`処理手段における画像処理方法を設定するように構成し
`たことにより、(1)画像処理を行なう物体が特定さ
`れ、その物体に応じた処理を行なえば良いので、処理系
`が簡素になる、(2)処理速度の向上が見込まれる、
`(3)画像処理が最適になるように画像情報を調節でき
`
`るため、より正確な物体の特徴抽出が可能となる、
`(4)処理方式の変更が任意に設定できるため、環境に
`応じた処理方式が選択できる、(5)車両運転時の警報
`や、車両の走行制御のために必要な情報を正確に得るこ
`とができる、(6)距離測定や画像処理だけでは検出不
`可能な接近車両の挙動(例えば、車線変更の意思)を検
`知することができる、(7)本発明の画像処理装置を適
`用することにより、物体に対する距離、方向、特徴が得
`られるため、衝突防止装置等の運転支援装置や、自律走
`行車用の画像処理システムの性能を向上させることが出
`来る、等の効果が得られる。また、本発明を先行車両検
`出装置に適用したものにおいては、反射体までの距離と
`方向を検出し、その結果に応じて画像認識における処理
`領域を設定するように構成したことにより、先行車両の
`位置を確実に検出することが可能になると共に、画像処
`理を行う領域を狭い範囲に限定することが出来るので、
`超高速計算機なしで実用的に実現することが出来る。し
`たがって車両の自動走行装置や他車両への接近警報装置
`等に適用することによって、より精度の高い自動走行
`や、適切な警報を発生することができる、という効果が
`得られる。
`【図面の簡単な説明】
`【図1】本発明の第1の実施例のブロック図。
`【図2】車両と車外の物体との位置関係を示す図であ
`り、(a)は上面図、(b)は側面図。
`【図3】距離測定結果の一例を示す図表。
`【図4】図1の装置における処理手順を示すフローチャ
`ート。
`【図5】本発明の第2の実施例のブロック図。
`【図6】本発明の第3の実施例のブロック図。
`【図7】本発明を先行車両検出装置に適用した場合の機
`能ブロック図。
`【図8】本発明を先行車両検出装置に適用した場合の実
`施例のブロック図。
`【図9】自車両が緩い右カーブを走行中の状態を模式的
`に示す平面図。
`【図10】図9の状態においてテレビカメラから取り込
`まれた車両前方画像を示す図。
`【図11】レーザ光掃引方向検出装置から出力された掃
`引方向θに対するレーザレーダ装置からの検出距離Lを
`示した図。
`【図12】画像処理を行なうべき注目領域を決定する方
`法を説明するための図。
`【図13】図8の実施例における処理手順を示すフロー
`チャート。
`【図14】従来の車両用画像処理装置の一例図。
`【符号の説明】
`1…反射体検出手段 11…レーザ光掃
`引方向検出装置
`3…撮影手段 13…レーザ光掃
`
`8
`
`
`
`(9)
`
`特開平6−124340
`
`エータ
`37…スロットル、ブレーキ、ハンドル等の操縦装置
`60、66、70…距離測定手段 65…車外の物
`
`体 6
`
`サ 6
`
`1、67、76…判断手段 71…車速セン
`
`2、68、74…イメージセンサ 72…舵角セン
`
`サ 6
`
`3、69、77…画像処理手段 73…ヒューマ
`ンインターフェイス
`64…車両 75…判断基準
`設定手段
`
`引装置
`5…画像処理領域設定手段 15…送光器
`7…画像処理認識手段 17…受光器
`9…先行車位置出力手段 19…距離検出装
`
`置 2
`
`1…レーザレーダ装置 29…画像処理
`装置
`23…テレビカメラ 31…信号処理
`回路
`25…画像処理回路 33…車両運動
`制御回路
`27…先行車両位置出力回路 35…アクチュ
`
`【図1】
`
`【図2】
`
`【図3】
`
`【図7】
`
`9
`
`
`
`(10)
`
`特開平6−124340
`
`【図4】
`
`【図9】
`
`(図 4)
`
`(g4)
`
`(園 g)
`HEB)
`
`
`
`
`
`マトリクス距離データから
`VFUURE%?W§WB
`障害物の位置を推定する
`E%%®fifi%%fifié
`
`
`障害物の推定位置から画像処理
`@%%®%fifififl%@fiflfi
`領域を決定する。この領域は、
`%fi&fiiiéa:®fiflfl‘
`障害物の大きさよりも適当な値
`fi§W®kfié$U®fi§fifi
`だけ大きくする
`fififié<ié
`
`
`
`
`
`
`設定された領域を重点に
`画像処理演算を実行する
`@%flfi§%&%fi?§
`
` %Eémtfifiéififl
`
`【図5】
`
`(図 5)
`(HE)
`
`6 6
`
`6 7
`
`
`
`6 9
`
`10
`
`
`
`(11)
`
`特開平6−124340
`
`【図6】
`
`(図 6)
`(I6)
`
`ヒューマン
`インターフェイス
`
`S 8
`
`7 3
`'73
`
`7 0
`O7:
`
`距 離 測 定 手 段
`Efififiififlfifiifi’fi
`
`7 5
`
`附l断 基 準 設 定 手
`7&3?
`
`IEFUHfiE‘iE
`
`7 1
`7
`
`SE5
`
`車 速 セ ン サ
`
`7 2
`72
`
`舵 角 セ ン サ
`
`7 4
`
`4S
`
`7 7
`77
`
`【図10】
`
`【図11】
`
`(12110)
`(図 10)
`
`(@113
`〔調 11)
`
`曜事
`
`d
`
`曜喜
`
`長幸:
`
`縁組道総
`
`fimufifi
`
`LC
`LC
`
`45'
`
`。
`
`-x
`
`蜘
`
`l1li
`
`曜D L、5ダJ
`
`る
`470 470
`よ……r ……… }ーー為ぷ
`
`3
`
`Y
`
`。
`
`。u
`
`-91.4
`
`告
`
`8c
`
`携街角度
`
`eM
`
`11
`
`
`
`
`
`
`
`(12)
`
`【図8】
`
`特開平6−124340
`
`図 ロコ )
`(I8)
`
`(
`
`
`
`
`
`トサ・レイ装置ト21
`
`31
`
`r一一一--,--/15
`
`r--ーーーーー・ー---ーー・・ー回目ー可
`
`1 1
`
`12
`
`
`
`(13)
`
`特開平6−124340
`
`【図12】
`
`(@121
`(図 12 )
`
`fiD
`点 D
`
`EEC
`点 C
`(KO-HAW. Y0+hf2)
`(XO+W/2, YO+h/2)
`
`一一一一一
`
`一一一一・中心点 P
`(<0可 YO)
`
`hi2
`h/2
`
`hl2
`
`h/2
`
`A
`
`-- ",/2
`i M
`
`(XO—WIE. Yo—mz)
`(xo-w,尼, YO-h/2)
`
`点 B
`
`13
`
`
`
`(14)
`
`特開平6−124340
`
`【図13】
`
`(凶 13)
`(@113)
`
`ス9ート
`
`NO
`
`YES
`
`,101
`ザ-冊ー-,
`121
`
`125
`
`129
`
`131
`
`133
`
`135
`
`137
`
`141
`
`143
`
`.dmmEQE
`
`103
`
`105
`105
`
`145
`
`NO
`
`107 __ s
`
`157
`
`159
`
`NO
`
`14
`
`
`
`(15)
`
`特開平6−124340
`
`【図14】
`
`(図 14 )
`(@114)
`
`(a)
`(a)
`
`|イメージセンサトーl画像処理装置トーー特徴抽出信号
`1:5;—
`Efiflfii‘éi
`fifimfld '
`
`TX—‘D’t’lflfi
`
`)
`hu
`(
`
`イメージセンサ 1
`
`
`
`イメージセンサ 2
`
`画像処理装置
`
`
`
`─────────────────────────────────────────────────────
`フロントページの続き
`
`(51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所
` G01S 17/88 A 4240−5J
` G08G 1/04 D 2105−3H
`
`15
`
`
`
` H04N 17/06 6942−5C
`// G05D 1/02 K 9323−3H
`
`(16)
`
`特開平6−124340
`
`16
`
`