毎回結果が微妙にちがうのは乱数が原因だと思います。例えば、semantic segmentationのネットワークの初期値や各エポックでのサンプルのシャッフルの具合など複数のランダムな行程が含まれます。また、フォルダの画像全体を訓練（・検証）・テストに分けているのなら、その別れ具合でも変化が生じます。こちらは、あらかじめフォルダわけしておき、そのほかの要因は
rngをうまく使えば制御できるかもしれません。しかし、実行ごとの差が小さいのであれば、それはそれでしかたのないのかもしれません。何かすべての実行において固定されるべき内容などがあるのでしょうか？内容によってはほかの工夫で解決できるかもしれません。
