ICLR2019気になった論文メモ (3)

ICLR DeepLearning Model Compression Generative Models Domain Adaptation Review

ICLR2019採択論文のうち，気になったものをメモしていく．

その2.

noconocolib.hatenablog.com

Combinatorial Attacks on Binarized Neural Networks

モデルの重みを2値化することで軽量化を達成するBinarized Neural Networksは離散的な性質を持つため，勾配ベースのAdversarial Attacksの実行は難しいという観測がある．論文では，この問題に対処するため，Mixed Integer Linear Programming (MILP)として定式化することを提案する．

また，MILPは計算量的な問題点が存在するため，MILPと同様の概念でかつ効率よくAdversarial Attacksを実行できる攻撃手法であるIProp (Integer Propagation)を提案．

Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency

現在のimage-translationタスクの問題設定としては，学習に異なるドメイン画像のペアを用いるone-to-one mappingと，異なるドメインの画像集合同士を用いるmany-to-many mappingが存在する．これに対し，より実用的な問題設定として，unsupervisedなmany-to-many mappingが考えられる．この問題設定は，ドメインを識別するための情報があまりにも少ないためとても難しい．

この問題を解くため，論文ではExemplar Guided & Semantically Consistent Image-to-image Translation (EGSC-IT) networkを提案している． 提案手法では，任意の画像はドメイン間で共通の特徴とドメイン固有の特徴を内包していると仮定し，ターゲットドメインのサンプルの共通特徴に対してAdaptive Instance Normalizationをかけることでドメイン固有の特徴を転移することを目指す．

f:id:noconocolib:20190107055832p:plain
Figure 1: Exemplar guided image translation examples of GTA5 → BDD. Best viewed in color.

f:id:noconocolib:20190107055910p:plain
Figure 2: The xA to xAB translation procedure of our EGSC-IT framework.

The Unusual Effectiveness of Averaging in GAN Training

GANの学習時における，以下の２つのパラメータ平均化の手法の実験．

  • Moving Average
  • Exponential Moving Average

これらの両方がGANの学習に対して有効であることを実験的に示した．

f:id:noconocolib:20190107060327p:plain
Table 2: Inception and FID scores on CIFAR-10, STL-10 and ImageNet. (100k), (250k) etc. refer to number of iterations of the generator. nA = no Averaging, EMA = Exponential Moving Average, MA = Moving Average. The experiments have been repeated 3 times.

Label super-resolution networks

セマンティックセグメンテーションのような，画像がラベルになっているものについて，ラベル画像の超解像を行う手法を提案．

f:id:noconocolib:20190107060708p:plain
Figure 2: Proposed statistical matching loss function for label super-resolution shown with example images from our land cover labeling application. The model’s high-resolution predictions in each low-resolution block are summarized by a label counting layer and matched with the distributions dictated by the low-resolution labels.