CNNで画像とその画​像の説明変数を合わせ​て学習させる方法はあ​りますか？

図のような学習用の画像データを1000枚以上用意し、教師データとは別にそれぞれの画像の説明変数をもたせて学習をさせたいのですが実現可能でしょうか？現状、CNNの回帰モデルを用いて画像データと教師信号のみを与え簡単な予測を行っています。 今後具体的には、衛星画像に気温や気圧などのデータを学習をさせて日射量を予測するようなネットワークモデルを作ろうと思っております。 よろしくお願いします。

[michio]

それぞれの画像の説明変数は、画像一枚につき数値１つといったものですか？それとも、気温や圧力だとピクセルごとに存在する値でしょうか？

[taka]

返信ありがとうございます。説明変数は画像1枚につき数値1つです。つまり、1枚の画像に1つの教師信号(今回の場合、ある地点の日射量）と、説明変数（ある地点の気圧、気温等）それぞれ１つです。

Answer 1

[michio]

画像とスカラー値を入力とするという意味では、下記に似たような質問がありましたが、紹介されている論文の手法をMATLABのCNNで実行するのは難しそうです。 Combining image and scalar inputs into a neural network

現実的な線ですと、、

１：CNNで画像の特徴量を抽出

例えば、例： Image Category Classification Using Deep Learningですと、 "Extract Training Features Using CNN" の節にあるように、1 画像から4096の特徴量ベクトルを抽出し、そのベクトルを SVM にかけて分類をしています。 １画像を 4096個の説明変数に変換しているとも考えることができます。

２：追加の説明変数（ある地点の気圧、気温など）を上記の特徴量ベクトルに追加して、回帰アルゴリズムにかける。

例えば追加の説明変数が 2 個であれば、合計 4098 個の説明変数として、回帰学習するというのも１つの方法かと思いますが、いかがでしょうか。

[mizuki]

michio さんの回答の方向性が良さそうです。

ただし、画像とそれ以外の特徴量があるとのことで、画像から大きなサイズの特徴ベクトルをそのまま抽出するとアンバランス（画像特徴次元が膨大でそれ以外の次元が小さい）な特徴になってしまう可能性が考えられます。

CNN あるいは Autoencoders で特徴量抽出時に画像とそれ以外の特徴量を両方入れて、適切な特徴量を学習すると良い結果となるかもしれません。

[taka]

非常にわかりやすい説明ありがとうございました。まずは説明変数なしである程度予測できるネットワークを構成したあとで試してみようと思います。