`【目的】 ビデオ映像からDEMデータを作成する。
`【構成】 対象地域を上空からビデオ撮影する(S
`1)。このとき、カメラの位置をディファレンシャルG
`PSにより測定する。カメラは防振装置に載置され、そ
`のジャイロ出力及び磁方位センサの出力により、カメラ
`の傾きを精密に測定する。ビデオ映像の中で60%重複
`するフィールドのマッチングにより外部標定要素を正確
`に決定する(S2)。各フィールドの先頭ライン、中央
`ライン及び最終ラインを抽出し、別個に合成して、前方
`視画像、直下視画像及び後方視画像となる連続モザイク
`画像を作成する(S3)。連続モザイク画像から縦視差
`を除去する(S4)。前方視画像と後方視画像(又は直
`下視画像)とから視差差を算出し(S5)、視差差から
`高さを算出する(S6)。
`
`Petition for Inter Partes Review
`of U.S. Pat. No. 7,477,284
`IPR2013‐00219
`EXHIBIT
`Sony‐
`
`
`
`1
`
`(2)
`
`【特許請求の範囲】
`【請求項1】 3次元データの抽出対象を移動しながら
`撮影し、その映像信号を記録すると共に、撮影するカメ
`ラの位置及び傾きを含む撮影情報を記録する基礎情報収
`集ステップと、当該基礎情報収集ステップで収集した映
`像及び撮影情報から当該抽出対象の3次元データを生成
`する3次元データ生成ステップとからなる3次元データ
`抽出方法であって、当該3次元データ生成ステップが、
`撮影映像の連続する画面の中の所定画面における所定ラ
`インの画像データを抽出して、前方視画像、直下視画像
`及び後方視画像の少なくとも2つの連続モザイク画像を
`生成する連続モザイク画像生成ステップと、
`当該連続モザイク画像生成ステップで生成された連続モ
`ザイク画像から縦視差を除去する縦視差除去ステップ
`と、
`当該縦視差除去ステップで縦視差を除去した連続モザイ
`ク画像における所定位置に対する視差差を算出する視差
`差算出ステップと、
`当該視差差算出ステップで算出された視差差から当該所
`定位置の高さを算出する高さ算出ステップとからなるこ
`とを特徴とする3次元データ抽出方法。
`【請求項2】 更に、撮影映像の連続する画面から、相
`互標定及び接続標定により外部標定要素を確定する標定
`計算ステップを具備する請求項1に記載の3次元データ
`抽出方法。
`【請求項3】 上記標定計算ステップが、撮影映像の連
`続する画面から、所定割合重複する2画面を抽出し、相
`互標定する相互標定ステップと、当該相互標定ステップ
`により相互標定されたモデルを接続する接続標定ステッ
`プとを具備する請求項2に記載の3次元データ抽出方
`法。
`【請求項4】 上記所定割合が、60%である請求項3
`に記載の3次元データ抽出方法。
`【請求項5】 上記縦視差除去ステップが、上記標定計
`算ステップで決定された外部標定要素に従い、上記連続
`モザイク画像生成ステップで生成された連続モザイク画
`像の各ラインに外部標定要素を内挿する外部標定要素内
`挿ステップと、上記連続モザイク画像生成ステップで生
`成された連続モザイク画像の各ラインを、当該ラインの
`外部標定要素に従い所定高度への投影画像に変換する投
`影ステップとからなる請求項2乃至4の何れか1項に記
`載の3次元データ抽出方法。
`【請求項6】 上記視差差算出ステップは、上記連続モ
`ザイク画像の間の1以上の中間的な画像を形成する中間
`画像形成ステップと、当該1以上の中間的な画像を経
`て、上記連続モザイク画像における対応点を検出する対
`応点検出ステップと、当該対応点検出ステップの検出結
`果に従い当該対応点の視差差を算出する演算ステップと
`を具備する請求項1乃至5の何れか1項に記載の3次元
`データ抽出方法。
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
` 特開平8−159762
`2
`【請求項7】 上記中間画像形成ステップは、撮影映像
`の連続する画面の中の所定画面における中間的なライン
`の画像データを抽出し、上記中間的な画像を形成する請
`求項6に記載の3次元データ抽出方法。
`【請求項8】 上記カメラの位置を検出する手段とし
`て、GPS受信手段を具備する請求項1乃至7の何れか
`1項に記載の3次元データ抽出方法。
`【請求項9】 更に、GPS受信手段の出力をディファ
`レンシャル補正する補正手段を具備する請求項8に記載
`の3次元データ抽出方法。
`【請求項10】 上記カメラが防振手段により防振され
`ている請求項1乃至9の何れか1項に記載の3次元デー
`タ抽出方法。
`【請求項11】 3次元データの抽出対象を撮影するビ
`デオ・カメラと、当該ビデオ・カメラの位置を測定する
`測位手段と、当該ビデオ・カメラによる撮影映像及び当
`該測位手段の測定値を記録する記録手段と、当該ビデオ
`・カメラ及び当該測位システムを搬送する搬送手段と、
`当該記録手段に記録される映像情報及び位置情報を再生
`する再生手段と、撮影映像の連続する画面の中の所定画
`面における所定ラインの画像データを抽出して、前方視
`画像、直下視画像及び後方視画像の少なくとも2つの連
`続モザイク画像を生成する連続モザイク画像生成手段
`と、当該連続モザイク画像生成手段で生成された連続モ
`ザイク画像の縦視差を除去する縦視差除去手段と、当該
`縦視差除去手段で縦視差を除去した連続モザイク画像に
`おいて視差差を算出する視差差算出手段と、当該視差差
`算出手段で算出された視差差から当該所定位置の高さを
`算出する高さ算出手段とからなることを特徴とする3次
`元データ抽出装置。
`【請求項12】 更に、撮影映像の連続する画面から、
`相互標定及び接続標定により外部標定要素を確定する標
`定計算手段を具備する請求項11に記載の3次元データ
`抽出装置。
`【請求項13】 上記標定計算手段が、撮影映像の連続
`する画面から、所定割合重複する2画面を抽出し、相互
`標定する相互標定ステップと、当該相互標定ステップに
`より相互標定されたモデルを接続する接続標定ステップ
`とを具備する請求項12に記載の3次元データ抽出装
`置。
`【請求項14】 上記所定割合が、60%である請求項
`13に記載の3次元データ抽出装置。
`【請求項15】 上記縦視差除去手段が、上記標定計算
`手段で決定された外部標定要素に従い、上記連続モザイ
`ク画像生成手段で生成された連続モザイク画像の各ライ
`ンに外部標定要素を内挿する外部標定要素内挿手段と、
`上記連続モザイク画像生成手段で生成された連続モザイ
`ク画像の各ラインを、当該ラインの外部標定要素に従い
`所定高度への投影画像に変換する投影手段とからなる請
`求項12乃至14の何れか1項に記載の3次元データ抽
`
`
`
`3
`
`(3)
`
`出装置。
`【請求項16】 上記視差差算出手段は、上記連続モザ
`イク画像の間の1以上の中間的な画像を形成する中間画
`像形成手段と、当該1以上の中間的な画像を経て、上記
`連続モザイク画像における対応点を検出する対応点検出
`手段と、当該対応点検出手段の検出結果に従い当該対応
`点の視差差を算出する演算手段とを具備する請求項11
`乃至15の何れか1項に記載の3次元データ抽出装置。
`【請求項17】 上記中間画像形成手段は、撮影映像の
`連続する画面の中の所定画面における中間的なラインの
`画像データを抽出し、上記中間的な画像を形成する請求
`項16に記載の3次元データ抽出装置。
`【請求項18】 上記測位手段が、GPS受信手段であ
`る請求項11乃至17の何れか1項に記載の3次元デー
`タ抽出装置。
`【請求項19】 更に、GPS受信手段の出力をディフ
`ァレンシャル補正する補正手段を具備する請求項18に
`記載の3次元データ抽出装置。
`【請求項20】 上記カメラが、防振手段を介して上記
`搬送手段に載置される請求項11乃至19の何れか1項
`に記載の3次元データ抽出装置。
`【請求項21】 上記搬送手段が飛行体である請求項1
`1乃至20の何れか1項に記載の3次元データ抽出装
`置。
`【請求項22】 更に、上記カメラの方位を検出する方
`位検出手段を具備し、当該方位検出手段の出力も上記記
`録手段に記録される請求項11乃至21の何れか1項に
`記載の3次元データ抽出装置。
`【請求項23】 上記搬送手段の移動方向が上記カメラ
`の走査線方向に垂直な方向であるように上記カメラが設
`置される請求項11乃至22の何れか1項に記載の3次
`元データ抽出装置。
`【請求項24】 ビデオ撮影した映像の、画面上の2以
`上の異なる所定ライン位置のライン画像データを抽出す
`る抽出手段と、同じライン位置のライン画像データを合
`成する合成手段とからなることを特徴とするステレオ画
`像形成装置。
`【請求項25】 更に、上記合成手段で合成した画像の
`縦視差を、元になるライン画像データ毎の外部標定要素
`により除去する縦視差除去手段を具備する請求項24に
`記載のステレオ画像形成装置。
`【発明の詳細な説明】
`【0001】
`【産業上の利用分野】本発明は、3次元データ抽出方法
`及び装置並びにステレオ画像形成装置に関し、より具体
`的には、ビデオ映像から3次元データを抽出する方法及
`び装置、並びにビデオ映像からステレオ画像を形成する
`ステレオ画像形成装置に関する。
`【0002】
`【従来の技術】3次元地形図を作成するには、従来、航
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
` 特開平8−159762
`4
`空写真による航空測量技術が利用されている。しかし、
`航空測量技術は、現地上空をヘリコプタ又は軽飛行機を
`飛ばしながら地上をステレオ撮影し、それで得たステレ
`オ写真を解析処理するものであり、ステレオ写真を得る
`だけでも多大な費用と時間がかかる上に、その解析にも
`非常な手間と費用がかかる。低高度で撮影した空中写真
`を使ってステレオ・マッチングにより3次元計測する場
`合、オクルージョンの影響によりマッチング・エラーが
`発生する。これは、ステレオ画像を形成する2つの画像
`が別の視線方向から見られたものであり、観察方向の相
`違に起因する画像の相違が、完全なマッチングを不可能
`にするからである。従来例は、地上の複数の標定点を使
`うことで、このような影響を除去しようとしているが、
`これでは自動化は不可能である。
`【0003】
`【発明が解決しようとする課題】これに対して、ビデオ
`映像を利用して地形図を作成する技術は、自動化しやす
`い。しかし、従来の技術では、写真3次元データを抽出
`するのに、航空写真測量と同様に、画像内に数点の対空
`標識(明確な3次元座標が分かっている標識)が必要と
`され、必要な数の対空標識が確保されても、誤差がメー
`トル単位で精度が悪く、実用に耐えない。
`【0004】道路、河川及び鉄道等の管理、その新規路
`線計画、並びに都市等の開発状況調査には、3次元地形
`図が有益であり、3次元地形データを迅速、安価且つ簡
`単に入手できるシステムが望まれている。3次元地形デ
`ータが得られれば、鳥瞰図も容易に作成(ディスプレイ
`表示又はプリンタ出力)でき、各種のシミュレーション
`を行なうことができる。また、ビデオ映像処理により3
`次元データを得ることができれば、変化部分のみを抽出
`するのも容易になるので、都市等の開発状況調査も容易
`になる。
`【0005】本発明は、3次元データを自動抽出する3
`次元データ抽出方法及び装置を提示することを目的とす
`る。
`【0006】本発明はまた、ビデオ映像から3次元デー
`タを抽出する3次元データ抽出方法及び装置を提示する
`ことを目的とする。
`【0007】本発明はまた、ビデオ映像からステレオ画
`像(ステレオ・マッチングに適した2つの画像)を形成
`するステレオ画像形成装置を提示することを目的とす
`る。
`【0008】
`【課題を解決するための手段】本発明では、ビデオ映像
`の所定ラインの画像データを抽出して、視差の異なる連
`続モザイク画像を形成する。それらの連続モザイク画像
`から縦視差を除去した後、ステレオ・マッチングにより
`視差差を算出する。得られた視差差から高さを算出す
`る。
`【0009】好ましくは、撮影映像の連続する画面か
`
`
`
`5
`ら、所定割合で重複する少なくとも3以上の画面を抽出
`し、その重複部分で各画面をマッチングし、外部標定要
`素を確定する。そして、この標定計算で決定された外部
`標定要素に従い、連続モザイク画像の各ラインに外部標
`定要素を内挿し、連続モザイク画像の各ラインを、当該
`ラインの外部標定要素に従い所定高度への投影画像に変
`換する。
`【0010】
`【作用】上記の各処理は、コンピュータ上で自動化可能
`であり、従って、ビデオ撮影による映像から、ステレオ
`・マッチングに必要なステレオ画像を得て、高さを算出
`する全行程を、コンピュータ上で自動実行できるように
`なり、迅速に所望地域等の3次元データを得ることがで
`きる。
`【0011】ビデオ映像なので、外部標定要素を確定す
`るのに必要な画像情報を豊富に得ることができ、外部標
`定要素の精度が高まる。これにより、最終的に得られる
`高さデータも精度の良いものになる。また、ステレオ画
`像のマッチング演算でも、当該ステレオ画像の中間的な
`画像を一時的に作って対応点を連鎖的に検索することに
`より、ステレオ写真の場合に比べ、ステレオ画像間の対
`応点をより精度良く確定できるようになり、オクルージ
`ョンの問題を完全に解決できる。
`【0012】
`【実施例】以下、図面を参照して本発明の実施例を詳細
`に説明する。
`【0013】図1は、本発明の一実施例の空中計測シス
`テムの概略構成ブロック図、図2は、地上計測システム
`の概略構成ブロック図、図3は、地上解析システムの概
`略構成ブロック図を示す。
`【0014】図1に示す空中計測システムを説明する。
`図1に示す空中計測システムは、本実施例ではヘリコプ
`ターに搭載される。本実施例では、高品位カメラ10を
`高精度防振安定装置(防振装置)12に搭載し、その高
`品位映像信号出力を高品位ビデオ・テープ・レコーダ1
`4によりビデオ・テープに記録する。なお、カメラ10
`は、一般に下向きであって、直下の映像が走査線に垂直
`な方向に移動するように設置される。カメラ10の出力
`映像信号は、高品位モニタ16にも印加されている。こ
`れにより、カメラ10の被写体及び撮影状況を視覚的に
`確認できる。
`【0015】高精度防振安定装置12は、機体からの振
`動がカメラ10に影響しないようにする。これにより、
`ブレの無い映像を収録できるようになる。即ち、高精度
`防振安定装置12は、ジャイロとジンバル・サーボを組
`み合わせることにより、カメラの10光軸が機体に発生
`するロール軸、ピッチ軸及びヨー軸回りの角度の動揺に
`対して慣性空間の一定方向に常に向くような空間安定化
`機能を持つ。
`【0016】18は、測定データを収集・記録すると共
`
`(4)
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
` 特開平8−159762
`6
`に、3軸制御装置20を介して防振安定装置12を制御
`し、カメラ制御装置22を介してカメラ10を制御し、
`VTR制御装置24を介してVTR14を制御するパー
`ソナル・コンピュータである。3軸制御装置20によ
`り、防振安定装置12の目標方位を任意に設定でき、カ
`メラ制御装置22によりカメラ10のフォーカス、ズー
`ム、絞り値及び色バランス等を制御し、VTR制御装置
`24により、VTR14の録画開始、録画終了及びポー
`ズを制御し、また、カメラ10の出力映像信号と一緒に
`記録されるタイムコードを取得して、コンピュータ18
`に転送する。このタイムコードは、VTR14に記録さ
`れる映像情報と、その他の測定データを地上解析システ
`ムで解析する際に同期をとるのに利用される。
`【0017】対地高度センサ26は、対地高度を検出
`し、磁方位センサ28は磁方位を検出する。高精度防振
`安定装置12によっても、ジャイロ・ドリフトによりゆ
`っくりとした方向移動があるので、磁方位センサ28に
`より、カメラ10の向きを補正する必要がある。センサ
`26,28の出力は、ディジタル・データとして、コン
`ピュータ18に印加される。コンピュータ18には他
`に、防振安定装置12からカメラ10の3軸方向を示す
`3軸ジャイロ・データ(ロール角、ピッチ角及びヨー
`角)が入力し、カメラ10からズーム値を示すズーム・
`データが入力する。
`【0018】30はGPS(全地球測位システム)の受
`信アンテナ、32はGPSアンテナ30の受信信号から
`現在地座標(緯度、経度及び高度)を参集するGPS受
`信装置である。GPS受信装置32から出力されるGP
`S測位データは、記録するためにコンピュータ18に印
`加され、また、ナビゲーションのためにナビゲーション
`・システム34にも印加される。ナビゲーション・シス
`テム34は、予めフロッピー36に記録しておいたナビ
`ゲーション・データ(測線データ)に従い、設定した測
`線に対する現在位置をモニタ38の画面に3次元的グラ
`フィック表示する。これにより、地上に目標物の無い地
`域や分かりにくい地域(例えば、山間地又は海域等)で
`所望の測線に沿った撮影が可能になる。
`【0019】なお、GPSの測定精度を向上する方法と
`して、座標が既知の基準点でもGPSで測定し、その測
`定誤差でGPS測位データを補正するディファレンシャ
`ルGPS(D−GPS)方式が知られている。本実施例
`では、このディファレンシャルGPS方式を採用し、座
`標が既知の基準局の座標を同時にGPSで測定し、その
`測定誤差データをGPS補正データとして無線通信によ
`りヘリコプターに送信する。通信装置40は、基準局か
`らのGPS補正データを受信し、コンピュータ18に転
`送する。
`【0020】コンピュータ18は、入力する飛行データ
`(対地高度データ、磁方位データ、ズーム・データ、3
`軸ジャイロ・データ)とGPS補正データ、VTR制御
`
`
`
`7
`装置24からのタイムコードと共に、フロッピー42に
`記録する。コンピュータ18はまた、各入力データを必
`要によりモニタ44に表示することができ、オペレータ
`はキーボード46からコンピュータ18に種々の指示を
`入力できる。
`【0021】通信装置40による基準局との通信が不良
`になった場合に備えて、本実施例では、図2に示すよう
`に、基準局でも、計測したGPS補正データを独自にフ
`ロッピーに保存する。即ち、GPS受信装置50は、G
`PSアンテナ52の出力からGPSアンテナ52の現在
`地を算出し、GPS測位データをコンピュータ54に出
`力する。GPSアンテナ52の正確な座標(基準位置デ
`ータ)は予め測定されており、そのデータがコンピュー
`タ54に入力又は設定されている。コンピュータ54
`は、GPS受信装置50からのGPS測位データと基準
`位置データとの誤差を算出し、GPS補正データとして
`フロッピー56に記録する。勿論、測定時刻の情報も同
`時に記録する。GPS測位データ及びその誤差(即ち、
`GPS補正データ)は、必要により、モニタ58の画面
`に表示される。オペレータはキーボード60により種々
`の指令をコンピュータ54に入力できる。コンピュータ
`54はまた、通信装置62を介してGPS補正データ
`を、図1に示す空中計測システム(のコンピュータ1
`8)に送信する。
`【0022】図1に示す空中計測システム(及び、必要
`により図2に示す地上計測システム)により計測された
`各データは、図3に示す地上解析システムにより解析さ
`れ、3次元データが算出される。即ち、高品位VTR7
`0は、図1に示す空中計測システムで録画されたビデオ
`・テープを再生し、映像映像信号をフレーム・バッファ
`74に、再生されたタイムコードをエンジニアリング・
`ワークステーション76に印加する。フレーム・バッフ
`ァ74に一時記憶された映像データはモニタ78に印加
`され、映像表示される。再生されたタイムコードもモニ
`タ78に同時に表示されることがあるのは、いうまもで
`もない。
`【0023】パーソナル・コンピュータ80は、図1に
`示す空中計測システムで同時に収集された飛行データ及
`びGPS補正データ(通信不良の場合には、図2に示す
`地上計測システムで計測されたGPS補正データ)を読
`み出し、GPS測位データをGPS補正データで補正す
`と共に、3軸ジャイロ・データを磁方位データで補正
`し、その他の計測データ及び一緒に記録されていたタイ
`ムコードと共にワークステーション76に転送する。ワ
`ークステーション76は、コンピュータ80から供給さ
`れるタイムコードに従いVTR70を制御し、同じタイ
`ムコードの映像をVTR70に再生させる。これによ
`り、ワークステーション76は、撮影時の条件及び撮影
`位置と、そのときの撮影映像とを対応付けることがで
`き、以下に詳細に説明する演算により、3次元データを
`
`(5)
`
` 特開平8−159762
`8
`
`生成する。
`【0024】図4は、本実施例における計測から3次元
`データ抽出までのフローを示す。先ず、図1に示す各装
`置を航空機に搭載し、対象地域上空を可能な限り一定高
`度及び一定速度で飛行しながら対象地域を撮影し、飛行
`情報を収録する(S1)。このとき、撮影対象は、基本
`的に、カメラ10の走査線の垂直方向に移動していく。
`カメラ10により撮影された映像は、VTR14により
`ビデオテープに録画される。同時に、カメラ10の正確
`な位置(緯度、経度、高さ)と向きの情報が、VTR1
`4からのタイムコードと共にフロッピー42に記録され
`る。タイムコードは、地上での解析時に、カメラの位置
`及び向きと、再生映像との同期をとるのに使用される。
`【0025】カメラ10の位置は、基本的にはGPS受
`信機32から出力されるGPS測位データから分かり、
`精度向上のために、基準局からのGPS補正データによ
`りディファレンシャル処理される。ディファレンシャル
`処理は、航空機上でもよいが、GPS補正データの通信
`不良などを考慮すると、GPS受信機32の出力(GP
`S測位データ)とGPS補正データとを別々にフロッピ
`ー42に記録しておき、地上での解析時にディファレン
`シャル処理するのが好ましい。GPS補正データの通信
`不良があったときには、図2に示す地上計測システムで
`記録保存したGPS補正データでGPS測位データをデ
`ィファレンシャル処理する。
`【0026】カメラ10の向きに関しては、防振安定装
`置12のジャイロ・センサの出力を磁方位センサ28の
`出力で補正した値をフロッピー42に記録する。具体的
`には、3軸の傾き(ピッチ、ロール及びヨー)をフロッ
`ピーに記録する。勿論、簡略のため、または、防振安定
`装置12の性能が良好な場合や、簡略化してもよい場合
`には、カメラ10の傾きが一定であるとしてもよい。
`【0027】ちなみに、撮影高度を1,000フィート
`とし、200万画素CCDイメージ・センサを使用する
`ハイビジョン・カメラの場合で、焦点距離が8.5mm
`のとき、撮影範囲は339m、分解能は17.7cmで
`あり、焦点距離が102.0mmのとき、撮影範囲は2
`8m、分解能は1.5cmである。
`【0028】収録された情報(映像と飛行情報)は、図
`3に示す地上解析システムで再生され、解析される。先
`に説明したように、ワークステーション76は、コンピ
`ュータ80からの撮影時の情報(カメラの位置と方位、
`並びにタイムコード)に従い、VTR70を制御し、同
`じタイムコードの映像を再生させる。再生された映像信
`号は、ディジタル化されて、フレーム・バッファ74に
`格納される。このようにして、ワークステーション76
`は、映像データと、撮影時のカメラ位置及び傾きのデー
`タを得ることができ、標定計算(S2)、連続モザイク
`画像作成(S3)、縦視差除去(S4)、視差差算出
`(S5)及びDEM作成の各処理を経て、DEMデータ
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
`
`
`9
`
`(6)
`
`を出力する。
`【0029】標定計算(S2)を説明する。写真測量で
`は、2枚のステレオ画像から3次元計測を行なう場合、
`各画像の正確な標定要素が必要になる。標定要素には、
`撮影時のカメラの位置及び3軸の傾きからなる外部標定
`要素と、カメラ主点位置ズレ量、レンズ歪係数及びフィ
`ルム平面度などからなる内部標定要素とがある。内部標
`定要素は、カメラ毎に個体差がありうるものも、予め測
`定しておくことができる。
`【0030】外部標定要素は、次のような一般的な写真
`測量の手法で求めることができる。即ち、ビデオ撮影時
`に同時に収録した飛行情報、具体的にはカメラ10の位
`置と傾きから、重複率が60%(又はほぼ60%)にな
`るようなシーン(本実施例では、フィールド画)を、撮
`影映像から抽出する。例えば、図5に示す例では、シー
`ン#1に対してシーン#2は60%重複し、シーン#3
`はシーン#2に対して60%重複する。シーン#3はシ
`ーン#1に対しても20%重複する。抽出したシーンの
`フィールド番号は、後述の縦視差除去処理における外部
`標定要素の内挿処理で必要となるので、抽出された各シ
`ーンの外部標定要素と対にして、図示しない補助記憶装
`置(例えば、ハードディスク装置)に記憶する。
`【0031】しかし、飛行情報に従って抽出した3シー
`ンの重複部分は、センサ誤差及び地形の高さによる影響
`が含まれているので、ピッタリ合うことは稀である。そ
`こで、実際には、次のようにして重複部分を確定する。
`即ち、図6に示すように、各シーンの重複部分に複数の
`マッチング領域を設定し、残差逐次検定法又は相互相関
`係数法などのマッチング手法により、各シーンの各マッ
`チング領域内で共通ポイントを計算する。この計算は勿
`論、自動化可能であり、この共通ポイントをパス・ポイ
`ントと呼ぶ。
`【0032】立体画像を構成する2つの画像からなる対
`をモデルと呼び、その重複部分のパス・ポイントの座標
`値から相対的な位置及び傾きの関係を求めるのを相互標
`定と呼び、複数のモデルをモデル相互の共通したパス・
`ポイントをもとに統一したコース座標系に変換すべく結
`合するのを接続標定と呼ぶ。相互標定と接続標定の関係
`を図7に示す。
`【0033】一連の撮影映像で上述の相互標定と接続標
`定を繰り返し行なうことにより、各モデルを統一したコ
`ース座標系に変換できる。ビデオ撮影時に収録した飛行
`情報(外部標定要素)は、その測定系に依存する測定誤
`差又は変動を含むが、このような標定計算(相互標定と
`接続標定)により、外部標定要素の値を高精度に確定で
`きる。
`【0034】以上により、標定計算(S2)を終了し、
`次に、連続モザイク画像を作成する(S3)。カメラの
`撮像面(CCD面)と地上撮影範囲の関係は、図8のよ
`うになる。ビデオ映像は、周知の通り、1秒間に30フ
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
` 特開平8−159762
`10
`レームからなり、1フレームは奇フィールドと偶フィー
`ルドの2つのフィールドからなる。奇フィールドと偶フ
`ィールドは、走査線が重複しないようにずらして配列さ
`れ、1/60秒毎に交互に表示される。
`【0035】即ち、カメラ10により撮影したビデオ映
`像は、1/60秒毎に撮影位置を変えたシーン(フィー
`ルド)からなり、本実施例では、図9に示すように、各
`フィールドから、その先頭ライン、中心ライン及び最終
`ラインの各ライン・データを抽出する。各フィールドの
`先頭ラインのデータから形成した画像を前方視画像、各
`フィールドの中心ラインのデータから形成した画像を直
`下視画像、各フィールドの最終ラインのデータから形成
`した画像を後方視画像とそれぞれ呼ぶ。撮影時の移動速
`度が一定で、且つカメラの傾きも一定であれば、これ
`ら、前方視画像、直下視画像及び後方視画像を使って立
`体視することができる。なお、高さを強調する、即ち分
`解能を上げるには、短い焦点距離のレンズを使えばよ
`い。
`【0036】但し、航空機によるビデオ撮影では、飛行
`速度の変化、飛行コースのズレ、飛行高度の変化、及び
`3軸(ピッチ、ロール及びヨー)の変化といった変動要
`因があり、これらの影響で生じる縦視差を除去する必要
`がある(S4)。
`【0037】縦視差除去処理(S4)では先ず、標定計
`算(S2)で得られた重複率60%の各画像の外部標定
`要素をもとに、連続モザイク画像(前方視画像、直下視
`画像及び後方視画像)の各ライン・データに対応する外
`部標定要素の値を内挿する。例えば、図10に示すよう
`に、3つの撮影地点P,Q,Rでの外部標定要素、即ち
`カメラの位置と傾きが、それぞれ、(Xp,Yp,Zp,
`ωp,φp,κp)、(Xq,Yq,Zq,ωq,φq,κq)
`及び(Xr,Yr,Zr,ωr,φr,κr)であるとしたと
`き、連続モザイク画像上で、各撮影地点P,Q,Rでの
`直下視画像に相当するラインにこれらの外部標定要素の
`値を割り当て、それ以外のラインには、内挿値を割り当
`てる。このようにして、連続モザイク画像の各ライン
`に、図11に示すように、外部標定要素(Xi ,Yi ,Z
`i ,ωi ,φi ,κi )を割り当てる。
`【0038】本実施例では、写真測量の演算ソフトウエ
`アを流用するので、ビデオ映像の座標系を、図12に示
`すように、通常の写真測量の単写真の座標系に変換す
`る。即
`【0039】ち、
`【数1】に示すように、画像座標系(u,v)を写真座
`標系(x,y)に変換する。
`【0040】
`【数1】
`x=(u−u0 )×xC
`y=(v−v0 )×yC
`但し、u0 及びv0 は、ビデオ画像の中心画像座標値、x
`
`
`
`11
`C 及びyC は、1画素あたりのx,y方向のCCD結像面
`での長さである。
`【0041】そして、写真座標系を地上座標系に変換す
`る。写真座標系(x,y)と地上座標系(X,Y,Z)
`との間には、図13に示す幾何学的関係があり、その変
`換式は、下式で表わされる。
`【0042】
`【数2】
`
` 特開平8−159762
`12
`【0043】ここで、fは、画面距離、(Xo,Yo,
`Zo)は、写真の投影中心Oの地上座
`【0044】標である。
`【数2】は、共線条件式と呼ばれる。9個の係数a11 〜
`a33 は、カメラの撮影軸の傾き(ω,φ,κ)より、数
`3により求められる。ω,φ,κはそれぞれX軸、Y軸
`及びZ軸のまわりの回転角を示し、それぞれの軸の正方
`向に向かって右まわりを正とする。
`【0045】
`【数3】
`
`(7)
`
`*
`
`1010
`
`*
`
`【0046】従って、
`【0047】
`【数4】
`
`【0048】
`【数2】の逆変換式は、次のようになる。即ち、
`【0049】
`【数5】
`
`【0050】
`
`【数2】及び
`【数5】における未知変量は、写真の投影中心の地上座
`標(Xo,Yo,Zo)及び撮影軸の傾き(ω,φ,
`κ)の6つである。この6つの未知変量が外部標定要素
`であり、先に求めたライン毎の外部標定要素により、ラ
`イン毎に、写真座標系を地上座標系に変換できる。
`【0051】このように地上座標系に変換された連続モ
`ザイク画像に
`【数5】を適用し、図14に示すように、縦視差を除去
`した画像を作成する(S4)。即ち、先にライン毎に決
`定した外部標定要素を用いて、係数a11 〜a33 を求め、
`連続モザイク画
`【0052】像の前方視画像、直下視画像及び後方視画
`像に
`【数5】を適用して、標高0mに投映した画像を作成す
`る。この時、作成する画像の1画素の大きさは、撮影高
`度、カメラ焦点距離及びビデオ画像1画素のCCD長等
`から計算して、最適な値に設定する。
`【0053】出力画像の1画素の大きさを最適な値に設
`定しても、ビデオ撮影時の飛行速度や撮影方向の変化で
`画素ヌケの箇所が発生する場合がある。これは、フィル
`タ処理により周囲の画素から内挿又は補間する。内挿手
`法には、内挿したい点に最も近い観測点の値をそのまま
`流用する最近隣内挿法、内挿したい点の周囲の4つの観
`測点の値の平均値を求める値とする共一次内挿法、及
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
`
`
`13
`び、内挿したい点の周囲の16個の観測点の値を三次畳
`み込み処理する三次畳み込み内挿法などがある。
`【0054】最近隣内挿法は、最大1/2画素の位置誤
`差を生じるが、オリジナルな画像データを壊さない利点
`があり、また、アルゴリズムが簡単である。共一次内挿
`法は、オリジナルのデータが壊される欠点があるが、平
`均化によりスムージングの効果がでる利点がある。三次
`畳み込み内挿法は、オリジナルのデータが壊される欠点
`があるが、画像の平滑化と鮮鋭化を同時に実現できると
`いう利点がある。目的に応じて、また最終結果を見て、
`全体又は部分的に何れの内挿法を適用するかを選択すれ
`ばよい。
`【0055】縦視差を除去した画像から視差差を算出す
`る(S5)。視差差の算出には、自動ステレオ・マッチ
`ング手法を使用する。本実施例では、図15に示すよう
`に、縦視差除去画像の撮影方向が水平走査線に直交する
`方向になるように縦視差除去画像を再配列した上で、ス
`テレオ・マッチングのための画像、即ち、マッチング画
`像を作成する。これにより、以下の処理を高速化できる
`だけでなく、処理に必要なメモリ容量を節減できる。
`【0056】以上の処理により得られたマッチング画像
`の前方視画像上に、高さを算出する目的のテンプレート
`画像(例えば、N×N画素)を設定し、このテンプレー
`ト画像に近似する画像を、他のマッチング画像、即ち後
`方視画像又は直下視画像上の所定の探索範囲内で探索す
`る。本実施例では、予め縦視差を除去しているので、探
`索範囲は、水平走査線に直交する方向のみで良い。マッ
`チングしたら、その位置の差、即ち視差差を算出する。
`【0057】ビデオ映像のフィールドの隣接するライン
`のデータから形成したモザイク画像は、非常に良く近似
`するが、抽出するラインが離れる程、得られたモザイク
`画像は、視線方向がそれだけ異なることになり、最適に
`マッチングしたときでも、マッチング・エラーが大きく
`なる。そこで、本実施例では、前方視画像と後方視画像
`とでステレオ・マッチングする場合でも、中間的なライ
`ンからモザイク画像を形成(勿論、縦視差も除去す
`る。)し、逐次的に対応点を探索するようにした。これ
`により、オクルージョンによる影響を排除でき、高い精
`度で対応点を検出できるようになる。
`【0058】図17に示すような四角錐台状の物体を例
`に、説明する。図18は、この物体をビデオ撮影したと
`きの、撮影画面内の抽出ラインと、各ラインを合成して
`得られるモザイク画像(縦視差除去済み)との対応を示
`す。図18(1)は、先頭ライン及び最終ラインを抽出
`する場合、同(2)はより内側のラインを抽出した場
`合、同(3)は更に内側のラインを抽出した場合、同
`(4)はほぼ中央の隣接するラインを抽出した場合であ
`る。このように、本実施例では、本来の前方視画像F1
`と後方視画像R1のほかに、中間的な前方視画像F2,
`F3,F4及び後方視画像R2,R3,R4がある。中
`
`(8)
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
` 特開平8−159762
`14
`間的な前方視画F4及び後方視画像R4の代わりに直下
`視画像を採用してもよい。
`【0059】いうまでもないが、中間的な画像F2,F
`3,F4,R2,R3,R4は、必要に応じて、より少
`なく又はより多く設定してもよい。試行的なマッチング
`演算の結果により、適当な数を設定してもよい。
`【0060】前方視画像F1の点Aに対応する点を後方
`視画像R1から探索する場合、まず、中間的な前方視線
`画像F2上で点Aの対応点を探索する。画像F1と画像
`F2は少し視線がずれているだけなので、自動ステレオ
`・マッチングによっても、高い精度で対応点を探索でき
`る。画像F2で探索した対応点を含むテンプレートが像
`を設定し、画像F3上で対応点を探索する。そして、逐
`次、画像F4、画像R4、画像R3、画像R2、画像R
`1とステレオ・マッチング演算する。このようにして、
`画像F1上の点Aの対応点を画像R1上で高い精度で探
`知できる。画像F1と画像R1を直接、ステレオ・マッ
`チングした場合には、オクルージョンの影響により物体
`によっては大きな誤差を避けられないが、本実施例で
`は、このように逐次探索することで、オクルージョンの
`影響を完全の除去できる。
`【0061】ここでは、中間的な画像を予め作成すると
`したが、視差差算出のためのマッチング演算を実行しな
`がら、マッチグ・エラーが許容値以下になるまで2分探
`索法により逐次的に中間的な画像を形成して対応点を探
`索するようにしてもよい。例えば、後方視画像でのマッ
`チング処理で許容値以上のマッチング・エラーがある場
`合に、中間的なラインから抽出したモザイク画像を形成
`し(勿論、縦視差も除去する。)、そのモザイク画像上
`でマッチング演算する。ここで一定精度以上で対応点が
`見つかれば、その発見された対応点を目安に、後方視画
`像上でマッチング処理により対応点を探索する。中間的
`なモザイク画像でも許容値以上のマッチング・エラーが
`ある場合には、更に中間的なラインから抽出したモザイ
`ク画像を形成し、そのモザイク画像上でマッチング演算
`する。このような繰り返し処理により、最終的に、前方
`視画像と後方視画像との間で対応点を検出する。おのよ
`うにすることで、オクルージョンの影響を完全に排除し
`て、高精度で対応点を検出できる。
`【0062】何れにしても、中間的な画像は、マッチン
`グ演算に必要な部分のみを形成すれば良い。そうすれ
`ば、マッチング演算の時間を短縮でき、中間的な画像デ
`ータを格納するメモリ容量も少なくて済む。
`【0063】次に、DEM(Digital Elev
`ation Model)を作成するために、下記式に
`従い視差差から高さを計算できる。即ち、
`【0064】
`【数6】h=d×H/B
`但し、hは求める高さ(m)、dは視差差(m)、Bは
`ベース長(m)、Hは撮影高度(m)である。図19
`
`
`
`15
`は、視差差と高さの関係を示す。
`【0065】カメラ10のCCD撮像素子の結像面の長
`さをc1(mm)、1画素あたりのCCD結像面での長
`さをdc(mm)、焦点距離をf(mm)とした場合、
`前方視画像と後方視画像による視差差から高さを求める
`ときには、
`【0066】
`【数7】h=d×f/(c1−dc)
`であり、前方視画像又は後方視画像と直下視画像による
`視差差から高さを求めるときには、
`【0067】
`【数8】h=d×2×f/(c1−dc)
`となる。
`【0068】高さの精度は、B/H比で決まるが、撮影
`時にカメラ10の焦点距離を変えることにより自由に設
`定できる。
`【0069】高さデータが得られたら、メジアン・フィ
`ルタ等により、特に周囲のデータより凹凸のあるデータ
`を検出し、周囲のデータで修整する。
`【0070】以上の処理により、撮影対象内の所望地域
`について高さデータを算出でき、3次元データを得るこ
`とができる。
`【0071】本実施例では、対空標識の設置及びその位
`置計測のための測量作業が不要になるので、任意の地域
`で迅速に調査できる。また、人が立ち入ることの出来な
`い危険地域(土砂崩れ、土石流及び火山噴火地帯等)に
`ついても、3次元地形図を作成できる。また、標定計算
`が自動化されているので、解析処理を手早く進めること
`が出来る。高さの精度は、カメラ10の焦点距離を変え
`ることで自由に設定できる。
`【0072】本発明は、3次元地形図の作成に留まら
`ず、防災情報の収集システム、鉄道や道路などの路線計
`画、及び、海・河岸の侵食調査などにも利用できる。
`【0073】標定計算(S2)及び視差差算出(S5)
`で利用したマッチング手法を簡単に説明する。先に説明
`したように、従来、使用されているマッチング手法に
`は、残差逐次検定法と相互相関係数法がある。
`【0074】先ず、残差逐次検定法を説明する。図20
`に示すようにN×N画素のテンプレート画像を、それよ
`り大きいM×M画素の入力画像内の探索範囲(M−N+
`1)
`【0075】2 上で動かし、
`
`(9)
`
` 特開平8−159762
`16
`【数9】の残差が最小になった位置で、重ね合わせが達
`成されたと看做す。
`【0076】
`【数9】
`
`【0077】ただし、(a,b)は、入力画像内におけ
`るテンプレート画像の左上位置を示し、I(a,b) (m,
`n)は入力画像の部分画像、T(m,n)はテンプレー
`ト画像、R(a,b)は、入力画像の部分画像とテンプ
`レート画像との残差である。
`【0078】重ね合わせがずれていると、各画素につい
`て順次加算していくときに残差が急激に増大する。そこ
`で、加算の途中で残差があるしきい値を超えたら、重ね
`合わせが良くないものと判断して、加算を打ち切り、次
`の(a,b)に移行する。これが、残差逐次検定法(s
`equentia1 similarity dete
`ction algorithmであり、以降SSDA
`法と略す。)である。SSDA法は、Barneaらに
`よって提案されたが、しきい値をいかに与えるかが問題
`であった。この点に関して尾上らは、いかに述べるしき
`い値自動決定法を提案している。
`【0079】尾上らの提案するしきい値自動決定法は、
`取り敢えずのしきい値として過去の残差の最小値を採用
`する。なお、最初は、しきい値無しで最後まで加算さ
`せ、その結果の残差を最初のしきい値とする。以降、最
`後まで、しきい値を超えることなく加算されるごとにそ
`の残差を新しいしきい値とする。この方法では、常に真
`の最小値に達することが保証されている。
`【0080】SSDA法は、加算だけからなり、しかも
`多くの場合に途中で打ち切られるので、計算時間を大幅
`に短縮できる。尾上らは、雲の移動追跡に応用して、相
`互相関係数による方法と比べて精度が同等、処理時間が
`1桁以上短縮というきわめて良好な結果を得ている。
`【0081】相互相関係数法を説明する。相互相関係数
`法では、
`【数10】が最大になる入力画像内におけるテンプレー
`ト画像の左上位置(a,b)を求める。
`【0082】
`【数10】
`
`
`
`1010
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`17
`
`(10)
`
` 特開平8−159762
`18
`
`N-1 N-1 {l(a’b)(msn}'T}{T(m-n}'fi
`C(a.b)= E
`2 —““—"‘_—
`m=0 ”=0
`"IO-EDT“
`
`{EL
`
`_ 1 N-1 N-1
`=— E
`2
`”2.11:0 ”=0
`
`|
`
`ta-b)‘
`
`m,n
`
`’
`
`_ 1 N-1 N-1
`T=— E
`E
`N2m=D n=0
`
`T(m.n)
`
`_2
`N1 N1
`IUab: mEO r30 {|(a,b) (mm-I}
`
`To:
`
`N-1 N-1
`2
`2
`mzo n=0
`
`_ 2
`{T(m.n)—T}
`
`【0083】この方法では、SSDA法のような計算の
`打ち切りが無いので、計算時間をあまり短縮できない。
`しかし、写真測量の分野では、ステレオ航空写真のディ
`ジタル画像から格子点の標高を計測し、等高線を描画す
`る場合に、左右の画像で対応する点を探索する手法とし
`て相互相関係数法が、手軽なのでよく使われている。
`【0084】本実施例によれば、従来良く利用された航
`空写真に代わって、高解像度ビデオカメラで収録した映
`像からに3次元地形図等を作成できるので、非常に幅広
`い用途に利用可能である。例えば、道路、河川及び鉄道
`等の各種の管理に利用でき、また、画像処理で変化部分
`のみを抽出すれば都市等の開発状況調査に利用できる。
`また、3次元鳥瞰図を作成し、新規路線計画の完成状況
`をシミュレーションするのにも利用できる。
`【0085】ヘリコプターから地上を撮影する例で説明
`したが、本発明は、ヘリコプター以外に、その他の飛行
`機、監視衛星及び地上を走行する自動車から撮影する場
`合にも適用できるこというまでもない。
`【0086】また、上記実施例では、フィールド画像の
`最先ラインから前方視画像を形成し、最後のラインから
`後方視画像を形成したが、それぞれ、2番目以降のライ
`ン、最後のラインの1又は2以上前のラインであっても
`よいことは勿論である。
`【0087】
`【発明の効果】以上の説明から容易に理解できるよう
`に、本発明によれば、移動しながらのビデオ撮影により
`基礎データを収集でき、その画像処理により高さデータ
`を得ることができる。撮影後の解析処理はその全て又は
`そのほとんどを自動化できるので、迅速に所望の3次元
`データを得ることができるようになる。また、従来より
`も安価に3次元データを得ることが出来る。
`【図面の簡単な説明】
`【図1】 本発明の一実施例の空中計測システムの概略
`
`
`
`2020
`
`
`
`3030
`
`
`
`4040
`
`
`
`5050
`
`構成ブロック図である。
`【図2】 本実施例の地上計測システムの概略構成ブロ
`ック図である。
`【図3】 本実施例の地上解析システムの概略構成ブロ
`ック図である。
`【図4】 本実施例における計測から3次元データ抽出
`までのフロー・チャートである。
`【図5】 標定計算のための60%重複シーンの説明図
`である。
`【図6】 相互標定とパス・ポイントの説明図である。
`【図7】 相互標定と接続標定の説明図である。
`【図8】 カメラの撮像面と地上撮影範囲との関係図で
`ある。
`【図9】 連続モザイク画像作成の概念図である。
`【図10】 連続モザイク画像と外部標定要素との関係
`図である。
`【図11】 外部標定要素の内挿を説明する図である。
`【図12】 撮像面の画像座標系と写真座標系を説明す
`る図である。
`【図13】 写真座標系と地上座標系の関係図である。
`【図14】 縦視差除去の前後の画像例である。
`【図15】 視差差算出のためのマッチング画像の説明
`図である。
`【図16】 視差差算出のためのステレオ・マッチング
`の説明図である。
`【図17】 測定対象とした四角錐台状の物体モデルで
`ある。
`【図18】 図17に示す物体をビデオ撮影したとき
`の、撮影画面内の抽出ラインと、各ラインを合成して得
`られるモザイク画像(縦視差除去済み)との対応を示す
`図である。
`【図19】 視差差と高さの関係の説明図である。
`【図20】 入力画像とテンプレート画像のマッチング
`
`
`
`19
`
`の基本図である。
`【符号の説明】
`10:高品位カメラ
`12:高精度防振安定装置(防振装置)
`14:高品位ビデオ・テープ・レコーダ
`16:高品位モニタ
`18:パーソナル・コンピュータ
`20:3軸制御装置
`22:カメラ制御装置
`24:VTR制御装置
`26:対地高度センサ
`28:磁方位センサ
`30:GPSアンテナ
`32:GPS受信装置
`34:ナビゲーション・システム
`36:フロッピー
`38:モニタ
`40:通信装置
`42:フロッピー
`
` 特開平8−159762
`20
`
`44:モニタ
`46:キーボード
`50:GPS受信装置
`52:GPSアンテナ
`54:コンピュータ
`56:フロッピー
`58:モニタ
`60:キーボード
`62:通信装置
`70:高品位VTR
`74:フレーム・バッファ
`76:エンジニアリング・ワークステーション
`78:モニタ
`80:パーソナル・コンピュータ
`F1:前方視画像
`F2,F3,F4:中間的な前方視画像
`R1:後方視画像
`R2,R3,R4:中間的な後方視画像
`
`(11)
`
`*
`
`1010
`
`*
`
`【図2】
`
`【図3】
`
`【図9】
`
`【図5】
`
`【図17】
`
`
`
`(12)
`
` 特開平8−159762
`
`【図1】
`
`【図6】
`
`【図7】
`
`
`
`(13)
`
` 特開平8−159762
`
`【図4】
`
`【図8】
`
`【図12】
`
`【図10】
`
`
`
`(14)
`
` 特開平8−159762
`
`【図11】
`
`【図13】
`
`【図14】
`
`【図16】
`
`【図15】
`
`
`
`(15)
`
` 特開平8−159762
`
`【図18】
`
`【図20】
`
`【図19】
`
`
`
`─────────────────────────────────────────────────────
`フロントページの続き
`
`(51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所
` G06T 17/00
` 7/00
`
`