91视频APP

91视频APP Research? ??? ?? ?? EfficientNet? IPU(Intelligence Processing Unit) ??? ????? ? ?? ??? ???? ??? ??? ????. ? ?? ??? ?? ???? ?? ???? 7?, ?? ???? 3.6? ?? ?? ???.

???? ??????? ?? EfficientNet ???

??? "EfficientNet? ? ????? ???: ?? ??? ???, ?? ???? ? ??? ??? ?? ??”, ??? ??? ? ????? ???? ??? ?? EfficientNet? ???? IPU ??? ?? ??? ? ????? ??? ? ?? ??? ?? ??. 

?? ?? IPU?? ?? ? ???? ??? ???? ?? ????? ???? ??? ??? ??? ??? ?????? ?? ?? ???? ?? 3? ???? ? ???.

??? ? ?? ??? ?? ???? ?? ??? ?? ???? ?? ?? ???? ?? 7? ????? IPU ??? ??? 3.6? ?????.

????? ?? ??? ??(FLOP)?? ???? ?? ??? ??? ??? ???? ?? ?? ?? ???? ? ????? ??? ??? ?? ???.  ??? ?? ??? ? ???? ??? ??? ?? ? ???? ??? ? ??? ???? ??? ??? ???. 

??? ???? ?? ??? ??? ???? ?? ?? ??? ??? ??? ??. ?? ??? ?? ??? ?? ???? ??? ?? ? ??? ??? ?? ?? ?? ??? ??? ???? ?? ????.

?? ???? ??

??? ???? ? ?? ??? ??? ????(?, ?? ??? 1? ?? ????)? ??? ??? ???? ????. EfficientNet? ????? ?? ?? ???? ??? ??? ????? ????. ???? FLOP ? ?? ?? ???? ??? ? ??? ??? ?? ??? ??? ???(CNN)?? ????? ?????. ??? ???? ??? ??? ?? ? ?? ??? ????.

?? ??, ? ?? ??? ??? ??? ????? ????? ?? ?? ?? ????? ?? ???? ??? ??? ?? ??? ??? ????. ?, ? ????? ?? ??? ??? ?? ???? “????” ???? ????.

??? ????? ?? ??? FLOP ?? ?? ??? ?? ??? ??? ????? ?? ??? ?? ??. ?, ??? ??? ??? ??? ????. ?? ?? ?? ????? ???? ??? ? ??? IPU? In-Processor Memory ????? ?? ?? ???? ??? ???? ???? ?? ?? ?? ?? ?? ??? ??? ?? ?????.

?????, ??? ????? MBConv ??? ???? ?? ? ?? ??? ???? “??” ???? ??? ??? ? ?? ???? ??? ????. ??? ???? ????? ??? ??? ???? ???? 6? “?? ??”?? ???? ??? ?? ? ?????. ? ??? ?? ?? ???? ????? ?? ? ??? ??? ???? ??? ????? ?? ??? ??? ?? ????? ??? ? ?? ?? ?? ??? ??? ? ??.

? ? ?? ??? ???? ?? ??? MBConv ??? ????? ??? ????. ??? ???? ??? ??? 1?? 16?? ???. ?? ? ?? IPU ???? ??? ? ? ?? ??. ?? ?? FLOP ? ?? ??? ??? ???? ??? ??? ???? ?? ?? ??? 4? ???. ?? ??? G16-EfficientNet??? ??? EfficientNet? ?? ??? ????? ??? ???? ??? ???? ??. 

??? ??? ?? ??? ??? ?? ????, ??? ?? ?? ???? ??? ?? ?? 1 (G1-EfficientNet) ???? ? ?? ImageNet ??? ?? ???? ??? ? ??? ?? ????. ? ??? ???? ???? ?? ?????.

??? ???? ???

???? ? ?? ?? ??? ??? ????? ?? ?? ??? ???(CNN)? ?? ??? ???? ?? ???? ? ??? ???? ?? ???? ??? ????. ??? ?? ???(Batch Norm)? ?? ??? ?? ??? ?? ??? ?? ??? ???? ??? ??? ???? ? ??? ????. ??? ?? ? ?? ??? ResNet ??? ? ?????, ? ? ?? ?? EfficientNet? ?? ???? ??? ??? ???? ??? ??? ????.

?? ???? ?? ??? ??? ???? ?? ??? ?? ? ??? ??? ?? ??? ??? ??? ??? ???(Proxy Norm)? ????. ? ??? ?? ???? ?? (? ???) ??? ??? ???? ??.

?? ???(Group Norm) ? ??? ???(Layer Norm)? ???? ???? ???? ? ? ?? ??? ???? ???. ????? ?? ????? ???? ??? ? ??? ??? ??? ????. ? ??? ?? ????? ??? ??? ??? ????? ?? ? ???, ??? ?? ??? ??? ???? ??? ?? ??? ?????.

??? ???? ????? ? ?? ?? ??? ????? ?? ??? ?? ??? ???? ??? ?? ??? ????? ???? ?????? ? ?? ???? ????. ?????, ????? ?? ??? ?? ??? ???? ??? ???? “???” ??? ????? ? ??? ??? ??? ?? ?? ? ??? ?? ??? ???? ????. ?? ?? ????? ??? ??? ??? ?? ????? ???? ?? ??? ???? ? ????.

??? ???? ???? ?? ??? ?????(?, ??? ???? ??) ??? ???? ???? ???? ??? ? ??.

? ??? ??? ??? ?? ?? ??? ?? ??.

??? ?? ? ???? ?? ??? ?? ???? ???? ??? ??? ???? ???? ???. ??? ??? ?? ???? ????. ? ???? ??? mixup? cutmix? ??? ????. ??? ??? + ??? ???(LN + PN)? ??? ?? ??? ? AutoAugment(AA)? ???? ? ?? ?? ???(BN) ???? ??? ? ?? ??? ?? ???? LN + PN? ?? ???? ???? BN? ??? ????? ?? ????? ?? ????. ??? LN + PN? AA? ?? ????? “??”?? ??? ?? ?? ????? ????? ???? AA? ?? BN?? ????.

??? ??? ??

Touvron ?? ?? ??? ??? ? ? ???? ???? ??? ? ???? ?? ? ?? ??? ?? ??? ??? ??? ??? ? ??? ?????. ? ?? ?? ??? ?? ???? ??? ???? ?? ??? ??? ?? ? ??? ?? ????. ?? ??? ? ???? ?? ??? ????.  ???? ????? ?? ??? ???? ??? ???? ???? ? ???? ??? ??? ???? ?? ??? ? ??? ?? ???? ?? ??? ?????

??? ??? ??? ?? “??” ??? (?? EfficientNet ??? ??? ??) ?? ?? ?? ? ??? ???? ????? ? ???? ?? ??? ????. ?? ?? ??? ??? ??? ?? ???? ?????. ?? ?? ???? ?? ??? ???? ???? ??? ???? ?? ? ??? ?? ??? ??-??? ??? ??? Pareto ?? ??? ??? ? ???. 

?? ???? ??? ? ? ?? ??? ????? ????. ?? ??? ??? ?? ?? ??? ???? ??? ?? ???? ????? ?? ??? ???? ???? ???. 

?? ????? ???? ? ?? ?? ???? ???? ??? ??? ? ??? ??? ??? ?? ? ??. ????, ??? ?? ??? ?? ??? ???? ???? ?? ????? ?? ???? ?? ????? ??, ?? ?? ? ????? ??? ? ?? ?? ???? ?? ? ??. ? ??? ImageNet ??? ?? ?? ??? ?? ?? ????? ????? ?? ????. ?? ??? ?? ????? ????? ????. 

???? “??”? ??? ???? ???? ? ??? ?? ???? ???? ?? ???? ?? ???? Pareto Front??? ?? ???? ?? ? ? ??. 

??? ?? ???? ???? “??” ?? ??? ?? “??”? ??? ???? ??? ?? ??? ??? ???? ??? ?? ? ???? ?? ???? ??. ?? ?? ?? ? ????? ?? ????.

? ??? ??? ? ?? ?? ?? (i) ?? ???? [G16 (??) ? G1]; (ii) ??? ???? ??? [LN + PN (??) ? GN] ? (iii) ?? ??? ?? [?? ???(??) ? ?? ???]? ?? ??? ?? ???? ?? ??? ????. ?? ???? ?? ??? ??? ?? ??? ???? ???? ?? ???? ??.

??? ???? ????? ??? ?? ?? ???? ???? ?? ??? ???? Pareto ?? ???? ?? ? ??. ?? ???? ???? FLOP ??? ?? ?? ??? ??? ????. ?? ?? ??? ?? ??? Pareto Front? ???? ?? ???? ???? ????. 

?? ??? ????? ??? ???? ???? ??? ?? ???? ???? ??? ????? ?? ? ?? ??? ???. ?? ?? 10%? ????? ?? ???? ???? ?? ??? ????. ??? ??? ?? ??? ???? ???? ??? ?? Pareto Front?? ? ?? ?? ??? ???? ?? ??? ??? ??? ???? ??? ???? ?? ??? ???? ??.

EfficientNet? ?? ????? ??? ??

? ??? ????? ?? ? ??? ???? ???? ???? ?? EfficientNet ??? ?? ? ?? ?? ??? ?? ???.

• MBConv ???? ?? ????? ???? ???? ????? ?? ????? IPU ???? ???? ???? ??? ??? ???. 
• ???? ??? ???? ?????? ?? ??? ???? ?? ???? ?? ?????.
• ??? ??? ??? ??? ???? ???? ?? ??? ???? ?? ?? ??? ??? ?????. ??? ?? ? ??? EfficientNet? ?? ?? ???? ? ?? ????.

? ?? ??? ???? ??? IPU?? ?? ?? ???? ?? 7? ????? ?? ?? ???? 3.6? ?????. ? ??? EfficientNet? IPU? ?? ?? ???? ??? ??? ????? ???? ??? ?? ???? ?? ??????? ??? ? ?? ? ?? ???? ??? ? ??? ????.