医療画像処理

超解像拡大の手順を示したブロック図を以下に示します。

1. 入力画像をTotal Vriation正則化で骨格成分とテクスチャ成分に分離します。
2. 骨格成分には線形拡大とエッジ強調を行い、テクスチャ成分には線形拡大のみを行います。
3. 骨格成分とテクスチャ成分を合成し出力画像とします。

手のレントゲン画像に対して超解像拡大を行った結果を以下に示します。

(a) 原画像	(b) 超解像拡大画像
図2: 超解像拡大結果

関節リウマチは、炎症により関節の隙間の距離が少しずつ短くなっていく病気です。
発症から時間がたつと骨が変形し、日常生活が困難になるので、病気を早期に発見し早めに薬を処方することが重要になります。
しかし、医師の目視では初期症状の関節リウマチを見分けることは困難です。そこで、レントゲン画像から関節の距離を自動で測定し、定量的な評価を行うアプリケーションの開発を目指します。

1. 原画像に超解像拡大を行い、画像を拡大する。
2. 関節のエッジ部分をマウスを用いて選択する。
3. 選択した点に対してカーブフィッティングを行い、曲線を描く。
4. 下のエッジも同様にして、曲線を2つ描く。
5. 2つの曲線から関節の間の距離を測定する。

(a) 原画像	(b) カーブフィッティング
図3: 距離測定アプリケーション

先に述べたように、マウスを用いて選択することで、関節のエッジ部分を検知することができます。一方で、毎度エッジを選択するとなると、医療現場におけるアプリケーションの実用化が難しくなります。そのため、エッジを自動で検知する手法が求められます。

本節では関節リウマチの炎症により関節の隙間の距離が狭くなっていくという特徴を利用して、関節画像に様々な画像処理を加え、畳み込みニューラルネットワークを使用し、リウマチ画像の異常検知を行った。以下の図では関節間の抽出を行いガウシアンフィルタによりぼかし処理を適用した実験結果の画像を示します。上二段をあらかじめ関節リウマチが進行している関節画像とし、下八段があらかじめ正常と判断した関節画像として仮定しており、赤の枠で囲まれた関節画像が関節リウマチが進行したと判断された関節画像であり、黄色の枠で囲まれた関節画像が正常と判断された関節画像となります。

畳み込みニューラルネットワークは人間の視覚をモデルに考案されており、一般的なニューラルネットワークとは異なる特殊な構造を持ちます。人間の視覚には単純型細胞と複雑型細胞が使用されており、下の図のようにそれぞれの細胞が働いているのが視覚の仕組みとなります。畳み込みニューラルネットワークはこの 2 つの細胞の働きを模倣するように考案されており、単純型細胞に対応する「畳み込み層」、複雑型細胞に対応する「プーリング層」というコンポーネントが用意されている。

現在関節画像が少ないという問題点の解決を目指して、StyleGAN2という敵対的生成ネットワークを使用して、画像生成を研究しています。実際に生成した関節画像は図6である。