<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=145304570664993&amp;ev=PageView&amp;noscript=1">

91视频APP

Memory-efficient convolutional neural network training with Proxy Norm

Jul 07, 2021 \ Computer Vision, Research

??? ??? ???? ?? ,CNN(??? ???)?? ?? ??? ??

???

Antoine Labatie

91视频APP Research? ??? ??? ?????? ???? ??? ??? ???? ??? ??? ??? ?? ??? ?????? ????. 91视频APP? ? ???? ??? ???? ??? ????? ??? ???? ?? ???? ???? ????? ?? ???? ??? ???? ??? ????. ??? ???? ?? ?? ?? ??? ?? ???? ??? ??? ?? ??? ?? AI ????? ?? ?? ???? ???? ? ??? ? ? ??.

?????? ??

???? ???? ?? ?? ??? ????? ???? ? ????. ???? ??? ?? ?? ??? ?????? (), ???? ???? ???? ?? ???? ???? ?? ??? () ??? ???? ?? ?? ??? ???.

?? ???? ???? ?? ???? ??? ?????. ?? ????? ?? ???? ??? ??? ?? ??? ?? ??? ??? ?? ???? ?????? ?? ????. ?? ?? ???? ???? ???? ???? ?? ??? ??? ???? ????. ?, ?? ???? ????? ???? ????? ????? ???? ????. ? ? ?? ??, ? ??? ???? ??? ??? ?? ????? ?? ? ? ??.

????? ?? ???? ???? ??? ??? ?? ???? ????. ?? ??? ??? ?? ??? ?? ? ??? ?? ??? ? ?? ??? ?? ???? ?? ?? ??? ?? ??? ??? ?? ???? ???? ??? ???? ???? (?? 1 ??). ?? ???? ???? ?? ?? ??? ???? ?? ????? ??? ??? ??? ??? ? ???? ??? ?? ??? ?? ?? ???? ????. ?, ?? ?? ??? ??? ?? ?? ??? ???? ?? ???? ??? ?? ???? ????.

?? 1: ? ?? ??? ??? ??? ??? ???? ????? ?? ??? ?? ?? ??? ???? ?? ?? ??? ??? ????. ? ?? ???? ?? ??? ??? ?? ? N, ?? ? C ? ?? ? (H, W)?? ????. (Wu & He, 2015)? ??.

?? ?? ???? ??? ???? ??? ??? ? ??? ??? ??? ??? ?? ???? ??? ??? ?? ????. ? ??, “? ??? 91视频APP Research? ??? ??? ??? ???? ?? ???? ?? ???? ????? ??? ???? ???? ?? ???? ? ?? ??? ???? ??? ?????.

?? ???? ? ?? ??: ??? ???

??? ????? ?? ???? ???? ???? ?? ???? ? ????? ????????????. ? ??? ????? ? ?? ??? ??.

  1. ????? ???? ??? ??? ???????? ??? ??? ??? ??? ???? ????? ???? ? ? ??. ?? ?? ? ???? ???? ???? ???? ?? ??? ????? ????.
  2. ?? ?? ??? ??? ???? ??? ??? ??? ? ?? ?? ???? ?? ??? ????? ????.

??? ??, ??? ???? ?? ???? ?? ??? ????? ??? ? ??. ??? ??? ??? ?? ???? ?? ????? ?? ??? ???? ???? ???(?? 1 ??). ??? ??? ???? ???? ???? ????? ??? ??? ?? ?? ?????? ???? ???. ?? 2? ?? ?? ???? ?? ??? ??? ? ?? ???? ??? ??? ? ?? ??? ?? ???? ????.

?? ???? ? ?? ??: ??? ??

??? ??? ?? ?? ?? ???? ??? ??? ???? ???? ???? ???? ??? ??? ???. ?, ?? ???? ?? ? ?? ?? ??? ???? ???? ?? ????? ????? ?? ???? ???? (?? ?? ????)? ???? ??? ? ??. ??? ???? ???? ????? ???? ???? ?? ?? ???? ????(?? ?? ????)? ????? ????? ???? ??? ? ??. ??? ?? ???? ???? ??? ??? ???? ?? ??????? ?? ??.

??? ???? ??? ?? ???? ? ?? ????. ??? ???? ??? ??? ??? ????? ?? ???? ?? ?? ??? ??? ??? ???? ??? ? ???? ???? ?? ??? ??. ???? ??? ? ?? ???? ?? ??? ??? ??? ?? 2? ?? ???? ?? ? ?? ?? ???? ? ? ?? ??? ????? ?? ? ?? ??? ?? ????. ???? ??? ??? ?? ??? ???? ?? ???? ?? ??? ?? ??? ???? ?? ??? ???? ??? ????.

Proxy Norm Figure 2

?? 2: ????? ?? ??(??) ? ??(???)? ??? Norm? ???? ResNet-50? ImageNet ??? ?? ??? ?? ??(?) ? ???? ?? ??(??)? ????. ???? ??? ??? ???? ??(x ?)?? ??? ? ????.

?? ???? ???: ?? ???

?? ???? ?? ???? ?? ??? ? ?? ???? ?? ?? ??? ??? ???? ???? ???? ??? ???. ? ???? ?? ?? ??? ?? ?? ??? ??? ? ?? ??? ?? ???? ???? ?? ?? ??? ????????. ??? ?? ??? ? ?? ? ???? ? ????. ? ??? ??? ??? ??? ?? ?? ??? ?? ???? ?? ???()? ?? ???? ????.

???? ? ???? ?? ??? ? ??. ??? ? ???? ??? ??? ???? ?? ???? ??? ??? ?? ?? ??? ??? ???. ?? ? ??? ??? ??? ?? ?? ???? ??? ??? ???? ?? ??? ??? ??? ????. “????? ?? ??? ? ???? ?? ? ??? ??? ????? ?? ????? ???????????????? ???? ?????? ??? ???? ?? (). ??? ?? ????? ?? ??? ? ?? ?? ??? ??? ??????.

? ??? ???? 91视频APP? IPU? ??? ? ???? ??? ?? ? ??. IPU? ???? ?? ?? ? ??? ??? ? ??? ??? ??? ???? ?? ? ?? ????. ?? ???? ? ???? ?? ???? ?????? ? ??? ??? ???? ? ??. ??? ??? ?? ? ??? ?? ? ?? ? ? ??? ???? ? ??? ??? ??? ??? ??? ????. ??? ?? ??? ?? ? ? ??? ??? ????? ?? ?? ? ?? ???? ????? ?? ????? ?? ???? ?? ?? ?? ??? ??? ? ??? ??? ???? ?? ?? ? ?????? ??? ????.

??? ???: ?? ???? ????? ?? ???? ??? ??

???? ?? ???? ????? ?? ???? ??? ????? ??? ?? ???

?? ???? ? ?? ??(?: ??? ??? ? ??? ??)? ?? ???? ?? ????? ?? ??? ???? ??? ??? ? ??. ??, ??? ???? ???? ???? ? ?????? ??? ????? ???? ??. ??? ???? ???? ??? ???? ????? ???? ?? ???? ??. ?? ???? ??? ???? ??? ???? ???? ?? ??? ? ?? ??? ??? ? ??? ??? ?? ????? ?? ?? ??. ???, ?? ???? ?? ?? ??? ?? ?? ??? ??? ?? ??? ????.

? ??? ????? ???? ????? ??? ??? ????? ?? ? ?? ?? ??? ???? ????. ?? ??? ???? ? ? ?? ????? ?? ???? ?? ? ??.

  1. ??? ????? ???? ?? ??? (i) ??? ??? ??? ????? ?? ?? (ii) ??????
  2. ???? ???? ?? ??? ??? ? ????.

??? ??? ??? ??? ??? ???? ??? ????. ??? ???? ??? ??? ??? ??? ???? ???? ???? ????????? ????. ? ??? ???? ?? ???? ??? ? ??, ? ??? ?? ??? ?? ?? ? ??? ?? ??? ????. ? ? ?? ? ???? ??? ??? ????? ?? ??? ??? ????? ? ????. ??? ?? 3? ???? ??.

proxy norm diagram

?? 3: ??? ???? ??? ?? ?? ?? "???" ?? ??? ???? ???? ????.

??? ???? ??? ????? ? ?? ?? ??, ? ?? ??? ?? ?? ? ?? ??? ????? ???? ??? ? ??. ?? ??? ???? ??? ??? ?? ?? ???? ?? ?? ??? ???? ?? ??? ??? ?? ??? ????? ??. ?? 2?? ? ? ??? ? ?? ??? ??? ?? ??? ??? ???? ????? ???? ??? ?????. ? ?? ??? ?? ?? ???? ????? ?? ???? ??? ????. 

?? ??? ? ?? ??? ??? ?? ???? ????? ????. ?? ???? ?? ??? ????? ????? ?? ????? ?? ????? ?? ??? ???? ??? ???? ?? ??? ??? ???? ??. ??? ? ??? ??????? ? ??? ?? ???? ????.

?? 4?? ? ? ??? ??? ??? ???? ?? ??? ?? ??? ImageNet ??? ??? ?? ?? ? ???? ?? ???? ??? ???? ????? ?? ???? (EfficientNet? ??? ?? ??? ??? ? ? ???? ??). ?? ?? ??? ?? ??? ???? ??? ????? ?? ???? ???? ????!

??? ????? ??? ImageNet ??? ???? ???? ???? ????? ??? ???? ?? ????? ??? ?? ?? ???. ? ? ??? ????? ???? ? ????? ?? ??? ? ???? ?????? ??? ??? ???? (; ).

Proxy Norm Figure 4

?? 4: ?? ???, ?? ??? ? ?? ??? + ??? ???? ??? ??? ?? ?? ? ????? ImageNet ??.

??

? ???? ??? ??? ????? ???? ?? ??? ????. ???? ???? (i) ??? ???? ???? (ii) ???? ???? ??? ??? ? ??? ??? ?? ????. ?? ???? ??? ? ?? ??? ????? ?? ???? ???? ????.

?? ???? ?? ??? ?? ?? ??? ??? ??? ? ??? ???? ???? ??? ??? ?? ?? ???? ?? ????. ?? ?? ??? ???? ????? ???? ???? ??? ??? ??? ???? ???? ???. ?? ??? ???? ??? ??? ?? ?? ???? ?? ?? ??? ???? ?? ??? ??? ?? ??? ????? ??. ??? ?? ??? ?? ?? ???? ????? ??? ?? ???? ?? ???? ???? ????? ?? ????.

??? ?? ??? ??? ???? ??? ???? ??? ?? ?? ???. ??? ??? ???? ?? ???? ??? ?? ?? ???? ???? 91视频APP? IPU? ?? ???? ??? ??? ????. ????? ? ??? ???? ?? ??????? ??? ??? ????.

 

 

??? ? ??