`
`(12) 5} fi-fil 4%: if]: a} $5 (A)
`
`(11)fifi¥fiififlfififi%
`
`
`
`(43)”RBE El Eli/52 7 4150995) 5 HIGEI
`
`(51)Int.C1.6
`
`fifiufifi
`
`J‘T‘Wfififi%
`
`F I
`
`fififififififif
`
`fiflfiifl— 125567
`
`B 6 0 K 31/00
`
`B 6 0 R 21/00
`
`F 0 2 D 29/02
`
`z
`
`C 9434—3D
`
`3 0 1 D
`
`4240—51
`17/ 88
`A
`gfifififik fléfifiifi fifilfimfil OL ($ 7 E) EKEKE<
`
`
`
`G0 1 s
`
`11/ 00
`
`13
`
`(21) [EHE3%
`
`HESFE —275184
`
`(22) HEIE El
`
`EF3533 5 5130993) 11H 4 El
`
`(71) {IBEA 000006286
`
`3% E fifii¥fiifié¥i
`
`fififil‘xifiTEfifi 8 %
`
`(72)fi|fifi E315
`
`fifil
`
`fiflfifiEETE33$8% Eifififi
`
`I¥fifiéfifi
`
`(72)%|fi% fifi W
`
`fiflfifiEETE33$8% Eifififi
`
`I¥fiifiéfiw
`
`(79%0355‘
`
`fifi} —%
`
`fifiEEEfiTE33§8% Eifiififi
`
`I¥fiifiéfiw
`
`(”NEE/x #fli ir'fiE {EEK
`
`(51.145)
`
`
`
`(54)
`
`[filfiwfififil
`
`fifiiwifififlflfifiwfifififiiflfifi
`
`(57)【要約】
`【目的】 画像処理のための時間を短縮化して先行車を
`迅速に検出する。
`【構成】 レーザレーダ2はレーザビームをスキャンし
`つつ前方に出射することにより前方の物体を検出する。
`またステレオ視カメラ1は自車の前方を撮影し撮影画像
`を画像処理部61に送る。処理エリア設定部64は、レ
`ーザレーダ2で検出した物体の位置に応じて、画像処理
`部61の画面61P内に処理エリア61Q1 ,61Q2
`を設定する。画像処理部61は設定された処理エリア内
`の画像データのみを処理することにより先行車を認識す
`る。
`
`IPR2013-00419 - Ex. 1006
`Toyota Motor Corp., Petitioner
`1
`
`
`
`1
`
`【特許請求の範囲】
`【請求項1】 カメラ手段により自車より前方の状況を
`撮影して得た画像を、画像処理して先行車を認識し、こ
`の先行車を追尾しつつ走行するようエンジン出力を制御
`する自動車の走行制御装置において、
`レーザビームを水平面内でスキャンしつつ自車から前方
`に向けて出射すると共に反射してきたレーザビームを受
`信することにより、自車の前方に存在する物体の位置を
`検出するレーザレーダと、
`画像を画像処理して先行車を認識する際に、前記レーザ
`レーダで検出した物体の位置に対応して画面内の処理エ
`リアを設定し、この処理エリアの画像についてのみ画像
`処理して先行車を認識する画像処理手段とを有すること
`を特徴とする自動車の走行制御装置の先行車検出機構。
`【発明の詳細な説明】
`【0001】
`【産業上の利用分野】本発明は自動車の走行制御装置に
`関するものである。更に詳述すると、先行車を画像処理
`により認識し、認識した先行車を追尾しつつ走行する際
`に、画像処理の高速化および誤認識の低減を図るように
`したものである。
`【0002】
`【従来の技術】自動車の運転操作を軽減するために、定
`速走行装置が実用化され、また車間距離制御装置が開発
`されている。
`【0003】「定速走行装置」は、「オートマチック・
`スピード・コントロール」や「クルーズ・コントロー
`ル」とも称ばれている。この装置を備えた自動車では、
`セットスイッチを押すと、アクセルペダルから足を離し
`ても、設定した車速を維持して走行を行う。設定車速は
`コントロールスイッチの操作により変更することができ
`る。運転者がブレーキを踏んだり、クラッチを踏んだ
`り、ギヤシフトをするなどの操作をすると、この機能が
`キャンセルされるようになっている。
`【0004】上述した定速走行装置を利用したときの安
`全性を確保するため、次のような機能を付加したものも
`ある。即ち先行車との距離をレーザレーダ等で検出して
`おき、先行車に異常接近したときには、警報を発して運
`転者に注意を促したり、ギヤシフト段を4速(オーバー
`ドライブ)から3速へシフトダウンしてエンジンブレー
`キを作動させるオーバドライブオフにより減速したりす
`る。
`【0005】一方「車間距離制御装置」を備えた自動車
`では、セットスイッチを押すと、そのときの自車の車速
`から目標車間距離を演算し、また先行車との車間距離を
`検出し、先行車との車間距離が目標車間距離となるよう
`にエンジン出力やブレーキの制御をして、先行車を追尾
`して走行する。この場合、先行車との車間距離の検出
`は、カメラでとらえた画像を画像処理して求めたり、レ
`ーザレーダ等により求める。
`
`(2)
`
`10
`10
`
`20
`20
`
`30
`30
`
`40
`40
`
`50
`50
`
` 特開平7−125567
`2
`
`【0006】
`【発明が解決しようとする課題】ところで従来の「定速
`走行装置」では、車速の遅い先行車に追いついた場合に
`は、運転者が減速操作をして定速走行制御を解除しなけ
`ればならない。そのため、混雑した道路では操作が頻繁
`になり、かえって面倒で危険度が高くなる。
`【0007】一方、従来の「車間距離制御装置」では、
`先行車がいないときには制御ができない。
`【0008】本願発明者は、定速走行装置と車間距離制
`御装置の機能を併せ持った「自動車の走行制御装置」を
`開発している。この「自動車の走行制御装置」を備えた
`自動車では、詳細は後述するが、先行車がいない場合は
`設定車速で定速走行し、先行車が存在する場合には目標
`車間距離を保持しつつ先行車を追尾していき、更に割り
`込みがあったときや高速の自車が低速の先行車に追いつ
`いたときに減速制御をする。この「自動車の走行制御装
`置」を高速道路の本線を走行するときに利用すれば、運
`転者はハンドル操作するだけで走行でき、いわゆるイー
`ジードライブが実現できる。しかもちょっとした傍見や
`いねむりをしても、前方車に異常接近したり追突したり
`する危険を回避できることを考えれば、安全性の向上も
`期待できる。
`【0009】本発明は、この「自動車の走行制御装置」
`において追尾走行制御をするときに行う先行車認識のた
`めの画像処理を、高速に誤りなく行うことができるよう
`にすることを目的とする。
`【0010】
`【課題を解決するための手段】上記目的を達成する本発
`明は、カメラ手段により自車より前方の状況を撮影して
`得た画像を、画像処理して先行車を認識し、この先行車
`を追尾しつつ走行するようエンジン出力を制御する自動
`車の走行制御装置において、レーザビームを水平面内で
`スキャンしつつ自車から前方に向けて出射すると共に反
`射してきたレーザビームを受信することにより、自車の
`前方に存在する物体の位置を検出するレーザレーダと、
`画像を画像処理して先行車を認識する際に、前記レーザ
`レーダで検出した物体の位置に対応して画面内の処理エ
`リアを設定し、この処理エリアの画像についてのみ画像
`処理して先行車を認識する画像処理手段とを有すること
`を特徴とする。
`【0011】
`【作用】本発明ではレーザレーダにより、自車の前方に
`存在する物体の位置を検出し、検出位置に合わせて画面
`内での処理エリアを設定し、この処理エリアについて画
`像処理して先行車の認識をする。例えば検出物体までの
`距離が遠いと処理エリアを小さくしこの距離が近いと処
`理エリアを大きくし、検出物体が左右にズレていたら処
`理エリアを左右にズラす。
`【0012】
`【実施例】
`
`
`
`
`2
`
`
`
`3
`<「自動車の走行制御装置」の全体説明>まずはじめに
`自動車の走行制御装置を説明する。この自動車の走行制
`御装置は、高速道路及び自動車専用道路(以下両者を代
`表して「高速道路」と記す)を走行するときに使用す
`る。
`【0013】図1は自動車の走行制御装置を備えた自動
`車を示す。同図において、1はステレオ視カメラ、2は
`レーザレーダ、3はスロットルアクチュエータ、4はブ
`レーキアクチュエータ、5は操作スイッチ・情報表示
`部、6はコントローラ、7は車速センサ、7aはハンド
`ル角センサ、7bはブレーキスイッチ、7cはブレーキ
`ペダルスイッチ、7dはアクセルペダルスイッチであ
`る。
`【0014】ステレオ視カメラ1は、正面図である図2
`に示すように、自動車の前方の景色を撮影する2つのC
`CDカメラ11,12を横置き配置したものであり、ボ
`ディー13内に映像基板,絞り基板等の電子部品を搭載
`している。このステレオ視カメラ1は、車室内でルーム
`ミラーの近傍に取り付けられている。各カメラ11,1
`2の水平面内での視野角はそれぞれ23度である。そし
`てカメラ11,12で撮影した画像を示すビデオ信号が
`コントローラ6に送られる。
`【0015】2つのカメラ11,12で撮像した画像
`を、コントローラ6の画像処理部にて画像処理をするこ
`とにより、次の認識をする。
` 先行する自動車(先行車)の認識。
` 高速道路の複数の車線(レーン)のうち、自車が走
`行している車線を示す白線の認識。
` 先行車と自車との間の車間距離の認識。
`【0016】上述した の先行車の認識は、例えば次の
`ようにして行う。即ち画像の中から縦方向の直線に囲ま
`れるエリアを抽出し、抽出したエリアのうち左右対称
`で、且つ、次々と取り込んでいく画像の中で位置があま
`り動かないものを、先行車として認識する。
`【0017】上述した の自車の走行車線を示す白線の
`認識は例えば次のようにして行う。即ち、図3(a)に
`示すように、ステレオ視カメラ1から前方道路画面の取
`り込みをし、次に図3(b)に示すように、水平方向の
`4本のラインW1〜W4に沿い画素の明度を調べ、明る
`い点を白線候補として選定し、図3(c)に示すよう
`に、上方の候補点と下方の候補点を補間して結んだ線分
`を白線として抽出する。
`【0018】上述した の先行車と自車との間の車間距
`離の認識は次のようにして行う。即ち、ステレオ視カメ
`ラ1の2つのカメラ11,12からは、図4(a)
`(b)に示すように2つの画像が得られる。右側の画像
`のウインドウで囲まれた自動車画像と同じ画像は、左側
`の画像の中に少し横方向にズレた位置にある。そこでウ
`インドウで囲んだ右側の自動車画像を、左側の画像のサ
`ーチ領域内で1画素づつシフトしながら、最も整合する
`
`(3)
`
`10
`10
`
`20
`20
`
`30
`30
`
`40
`40
`
`50
`50
`
` 特開平7−125567
`4
`画の位置を求める。このとき図5に示すようにカメラ1
`1,12のレンズの焦点距離をf、左右カメラ11,1
`2の光軸間の距離をLとし、CCDの画素ピッチをP、
`図4(a)(b)において左右の自動車画像が整合する
`までに右画像をシフトした画素数をnとすると、先行し
`ている自動車までの距離(車間距離)Rは、三角測量の
`原理により、次式で計算できる。
`R=(f・L)/(n・P)
`【0019】コントローラ6の指令によりスロットルア
`クチュエータ3が作動しスロットルの開度が大きくなっ
`ていったら、エンジンの回転数が上昇して車速が大きく
`なる。逆にスロットルの開度を小さくしていくとエンジ
`ンブレーキが作動して減速していく。後述する追尾走行
`制御や定速走行制御は、スロットル開度を調整して実行
`する。またコントローラ6の指令によりブレーキアクチ
`ュエータ4が作動してブレーキがかかると、急減速して
`いく。この急減速は、自車の直前に他車が割り込んでき
`たときや、後述するブレーキ制御をするとき、即ち高速
`で走行していた自車が低速走行している先行車に近づい
`てきて、車間距離が安全車間距離よりも短くなったとき
`などに行なう。なお、本システムではコントローラ6の
`指令により、急減速することはあっても急停車すること
`はなく、急停車は運転者がブレーキペダルを踏むことに
`よってのみ行なわれる。
`【0020】次に図6を基に、コントローラ6を中心と
`して行う走行制御の概要を説明する。コントローラ6の
`画像処理部61は、ステレオ視カメラ1で撮影した画像
`を画像処理し、車両認識部61aでは前方の景色の中か
`ら自動車の画像を認識し、レーン認識部61bでは自車
`が走行している車線を示す白線を認識し、車間距離認識
`部61cでは先行車と自車との間の車間距離を認識す
`る。目標追尾車両認識部62は、自車が走行している車
`線に先行する自動車があった場合に、この自動車を目標
`追尾車両と認識する。
`【0021】目標追尾車両認識部62により目標追尾車
`両を認識したときには、設定指令部63は追尾走行制御
`をする。つまり設定指令部63は車間距離認識部61c
`またはレーザレーダ2を利用して目標追尾車両までの車
`間距離Dを求めると共に、車速センサ7から得た自車の
`車速Va に設定時間(例えば2秒)を乗算して目標車間
`距離D0 を求める。そして実際の車間距離Dが目標車間
`距離D0 に等しくなるように、スロットルアクチュエー
`タ3を作動させてエンジン回転数(∽スロットル開度)
`をコントロールする。このようにすれば、車速に応じた
`目標車間距離D0 をとった状態で、目標追尾車両を追尾
`しつつ自車が走行していく。したがって、目標追尾車両
`が高速走行(例えば120km/h)しているときには、
`目標車間距離D0 が長くなり(例えば66.7m)、自
`車は目標追尾車両を追尾しつつ高速走行(例えば120
`km/h)する。また目標追尾車両が低速走行(例えば6
`
`
`
`
`3
`
`
`
`5
`0km/h)しているときには、目標車間距離D0 が短く
`なり(例えば33.3m)、自車は目標追尾車両を追尾
`しつつ低速走行(例えば60km/h)する。
`【0022】追尾走行制御をしているときに、目標追尾
`車両が高速走行して自車よりも先に進みステレオ視カメ
`ラ1やレーザレーダ2により目標追尾車両を捕捉するこ
`とができなくなったり、目標追尾車両が他の車線に移っ
`たりしたときには、設定指令部63は、その時点の自車
`の速度をあらかじめ設定した保持時間(例えば2秒)だ
`け保持するように、スロットルアクチュエータ3による
`スロットル開度(∽エンジン回転数)をコントロールす
`る。つまり追尾走行制御から車速保持制御に移行する
`(図7参照)。
`【0023】上述した保持時間が経過する前に、他の先
`行車を目標追尾車両と認識したとき、つまり自車の走行
`車線上に先行車を捕捉することができたときには、再び
`前述した追尾走行制御をする。上述した保持時間が経過
`したら、次に述べる定速走行制御に移る(図7参照)。
`【0024】定速走行制御に移ったら、設定指令部63
`は、先行車を捕捉できなくなった時点の速度またはあら
`かじめ設定した設定速度Vs で自車が走行するように、
`スロットルアクチュエータ3によるスロットル開度(∽
`エンジン回転数)をコントロールする。定速走行制御中
`に目標追尾車両を捕捉したら追尾走行制御に移る(図7
`参照)。
`【0025】また追尾走行制御や車速保持制御や定速走
`行制御をしているときに、レーザレーダ2により割り込
`み車の存在が検出されたときは割り込み制御に移行し、
`設定指令部63は、一定時間スロットルを全閉とするよ
`うスロットルアクチュエータ3をコントロールする。全
`閉とする一定時が経過した後は、目標追尾車両を捕捉で
`きるときは追尾走行制御に移行し、目標追尾車両を捕捉
`できないときは定速走行制御に移行する(図7参照)。
`【0026】追尾走行制御、車速保持制御、定速走行制
`御、割り込み制御をしている際に、安全車間距離(後述
`するように自車と走行車との相対速度と、自車車速によ
`り決定する)よりも近い位置に先行車が存在することを
`検出したときには、減速走行制御に移行する。つまり設
`定指令部63は、スロットルアクチュエータ3を作動さ
`せてスロットルを全閉とすると共に、ブレーキアクチュ
`エータ4を作動させてブレーキを作動させて減速する。
`この減速走行制御は、低速走行している先行車に高速走
`行している自車が追いついていったときや、先行車が急
`に減速したときなどに行なわれる。そして減速制御は、
`先行車との車間距離が安全車間距離に戻るまで行なわれ
`る。減速走行制御が終了したときに、目標追尾車両を捕
`捉できるときは追尾走行制御に移行し、目標追尾車両を
`捕捉できないときは車速保持制御に移行する(図7参
`照)。
`【0027】追尾走行制御、車速保持制御、定速走行制
`
`(4)
`
`10
`10
`
`20
`20
`
`30
`30
`
`40
`40
`
`50
`50
`
` 特開平7−125567
`6
`御、割り込み制御、減速走行制御をしているときに、運
`転者がアクセルペダル、ブレーキペダル、ウインカを操
`作したときにはマニュアル操作に移行する。このときに
`は、設定指令部63からスロットルアクチュエータ3及
`びブレーキアクチュエータ4への制御指令を解除し、運
`転者の操作を優先させる。マニュアル操作時にセットス
`イッチ(後述)を投入すると、追尾走行制御や定速走行
`制御に移行する。
`【0028】<本発明のポイントに対応した部分の説明
`>次に本発明のポイントに対応した部分の説明をする。
`本発明では図8に示すように、自車に備えたレーザレー
`ダ2から前方に出射するレーザビーム2aを水平面内で
`スキャンするようにしている。このためレーザレーダ2
`は、反射してきたレーザビーム2aを受信することによ
`り、前方に存在する物体の位置を検出することができ
`る。検出位置は、図8に示すように自車の前方にY軸
`を、自車の車幅方向にX軸を設定することにより、座標
`(x,y)で示す情報として出力される。また、図10
`に示すように車両中央部にレーザレーダを設けてもよ
`い。
`【0029】そして図9に示すように、レーザレーダ2
`から検出物体の位置座標データ(x,y)がコントロー
`ラ6に送られると、コントローラ6の処理エリア設定部
`64は、画像処理部61の画面61Pに最適な処理エリ
`アを設定する。即ち、検出物体までの距離が短く座標値
`xの値が小さいときには、画面61P全体を処理エリア
`とし、検出物体までの距離が長く座標値xの値が大きく
`なるにつれ処理エリアを61Q1 ,61Q2 というごと
`く狭くしていく。また、座標軸yの値を基に、設定した
`処理エリアを画面61P内で左右にシフトさせていく。
`【0030】具体的には、図11に示す画像座標系にお
`いて、次式を用いて処理エリアの基準点α,βを算出す
`る。
`β = H LINE + A/Y (A:定数)
`α = CENTER + B ・ X/Y (B:定
`数)
`r = B/Y…(1m分の画素数)
`次に、画像座標系の処理エリアi,jを次のように設定
`する。
`処理エリア
`={(i,j)|α−k1 ・r<i<α+k1 ・r
`β−k2 ・r<j<β+k3 ・r}
`k1 ,k2 ,k3 は定数。
`k1 = 0.9〜1.5(m)
`k2 = 1.5〜2.5(m)
`k3 = 0.1〜0.5(m)
`【0031】画像処理部61は、画面61Pのうち設定
`された処理エリア内の画像データのみを画像処理して物
`体が先行車であるか否かの判定をする。なお、画面処理
`の一連の流れを図12に示す。
`
`
`
`
`4
`
`
`
`7
`【0032】画像処理部61は、設定された処理エリア
`内のデータだけで画像処理するので、全画面のデータを
`画像処理するのに比べ、高速で画像処理ができまた誤っ
`て物体検出をすることがなくなる。
`【0033】
`【発明の効果】以上実施例と共に具体的に説明したよう
`に本発明によれば、レーザレーダにより検出した物体の
`位置に応じて画像処理するエリアを絞っているため、処
`理の高速化が図れると共に物体を誤認識することが低減
`する。
`【図面の簡単な説明】
`【図1】自動車の走行制御装置を備えた自動車を示す構
`成図。
`【図2】ステレオ視カメラを示す正面図。
`【図3】画像処理により白線を検出する手法を示す説明
`図。
`【図4】画像処理により車間距離を検出する手法を示す
`説明図。
`【図5】ステレオ視カメラによる三角測量の原理を示す
`説明図。
`【図6】コントローラを示すブロック図。
`【図7】走行制御の遷移状態を示す状態図。
`【図8】レーザビームのスキャン状態を示す説明図。
`【図9】本発明の実施例を示すブロック図。
`【図10】レーザビームのスキャン状態を示す説明図。
`【図11】画像座標系を示す説明図。
`【図12】画像処理による車両認識手順を示すフローチ
`
`(5)
`
`*
`
`
`
`1010
`
`20
`20
`
`*
`
` 特開平7−125567
`8
`
`ャート。
`【符号の説明】
`1 ステレオ視カメラ
`1a 視野
`11,12 CCDカメラ
`13 ボディー
`2 レーザレーダ
`2a レーザビーム
`3 スロットルアクチュエータ
`31 偏差部
`32 スロットル指令部
`4 ブレーキアクチュエータ
`5 操作スイッチ・情報表示部
`6 コントローラ
`61 画像処理部
`61a 車両認識部
`61b レーン認識部
`61c 車間距離認識部
`62 目標追尾車両認識部
`63 設定指令部
`64 処理エリア設定部
`7 車速センサ
`7a ハンドル角センサ
`7b ブレーキスイッチ
`7c ブレーキペダルスイッチ
`7d アクセルペダルスイッチ
`
`【図1】
`
`【図3】
`
`【図2】
`
`
`
`
`5
`
`
`
`(6)
`
` 特開平7−125567
`
`【図4】
`
`【図5】
`
`【図8】
`
`【図6】
`
`【図11】
`
`【図12】
`
`【図7】
`
`【図10】
`
`
`
`
`6
`
`
`
`(7)
`
` 特開平7−125567
`
`【図9】
`
`
`
`─────────────────────────────────────────────────────
`フロントページの続き
`
`(51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所
` G01S 11/12
` 17/93
`
`
`
`
`7
`
`