動画像のノイズ除去

スマートフォンなど撮影デバイスの普及により、カメラを用いる機会は企業、個人関係なく増加しています。よって必然的に夜間を例として撮影環境が悪い状況でもカメラを用いて撮影する機会は増えています。
監視カメラや車載カメラを代表として、暗所での撮影においては、光量不足が原因でデバイスが長時間の露光を必要とするため、結果としてノイズが発生してしまうという問題があります。
このような問題に対して、学習法によるノイズ除去手法を用いて画質改善を図り、従来法との比較を行うことを目的としています。

学習法として近年注目されているものの一つとしてGAN(Generative Advasarial Networks)と呼ばれる敵対的生成ネットワークがあります。
GAN は生成モデルの一種であり,データから特徴を学習することで, 実在しないデータを生成したり, 存在するデータの特徴に沿って変換できることができます。
GANの一つとしてBSRGANというものがあり、BSRGANは訓練用の画像を合成するための新しい劣化モデルを設計するもので、劣化をランダムに実行(Degradation Shuffle) することで画像を合成します。
代表的なノイズ除去手法であるBM3D, DnCNN, BSRGANの出力結果は以下のようになります。

1n.jpg

ノイズ画像

bm3d.jpgdncnn1003.jpgbsr.png
(a) BM3D(b) DnCNN(c) BSRGAN

また、本研究室では、本来学習に必要であるノイズのない画像を必要としない手法も検討しています。
一般的な学習では同じ背景からなるノイズの含まれた画像と含まれていない画像をペアとして学習を行います。
しかし、監視カメラなどの低露光での撮影ではノイズのない画像を取得することが困難です。また、人工的に付加するノイズと実際のノイズは正確には異なり、思うような出力結果が出ないこともあります。
そこで本研究では、Noise2Noiseという理論を採用し、ノイズの含まれた画像のみで学習を可能にすることを検討しています。
この手法が確立すれば、ノイズのない画像を収集する手間が省かれ、コスト面が大きく軽減され、技術の普及につながります。
それだけでなく、人口ノイズでは表現できなかった実際のノイズを学習に使用することができるため、画質改善にもつながります。
現時点での出力結果は以下のようになります。

EIZO_NUMBER.png

ノイズ画像

EIZO_NUMBER_Normal.pngEIZO_NUMBER_N2N.png
(a) 通常の学習(人口ノイズを使用)(b) 提案法(実際のノイズを使用)