?????? ?????? ?? ???? ?? ?? ?? ?????? ????? Optimum?? ??? ? ?? ??? ??? ??? ?? ??????. ????? ?? ?????? IPU?? ??? ??? ????? ???? ??? ????? ????? ?? ??? ???? ???? ? ????.
?? ??? BERT ????? ??? ???? ????? ?? ??? ??(NLP), ?? ? ??? ??? ???? 10? ??? ???? ? ????. ???? IPU ?? ??, ?? ?? ???? ?? ?? ? ?? ??? ?? ???? ?? ?????.
?? Optimum ??
??? ??
(Vision Transformer)? ????? ????? ?? ?? ??? ???? ???? ??? ?? ?????. ViT? ??? ???? ?? ????? ??? ???? ?? ??? ???? ?? ??? ????. ? ??? ?????(???)? ????? ????? ??? ? ????.
NLP
(Generative Pre-trained Transformer 2)? ?? ?? ???? ?? ? ??? ?? ??? ???? ?? ??? ??? ?? ????? ?????. ?, ?? ?????? ?? ???????. ?? ????? ??? ???? ???? ??(? ??? ????? ???? ??? ???? ??? ? ??), ?? ????? ??? ???? ???? ?? ????? ?????. ? ??? ???, ??? ?? ??? ???? ?????? ???? ????? ?????.
(Robustly optimized BERT approach)? ???? ?? ??? ???? ?? ?? ???? ?? ??? GPT-2? ?? ????? ?????. ? ??? ???, RoBERTa? MLM(Masked Language Modeling) ???? ?? ???????. ??? ???? ??? ??? ??? 15%? ???? ???? ??, ???? ???? ?? ??? ??? ???? ???? ??? ?????. RoBERTa? ???? ?? ???? ??? ? ??? ??? ????? ???? ?? ????? ???????.
(Decoding-enhanced BERT with disentangled attention)? NLP ??? ?? ?? ??? ?? ?? ?????. DeBERTa? Disentangled Attention Mechanism? Enhanced Mask Decoder?? ? ?? ??? ??? ???? 2018 BERT ? 2019 RoBERTa ??? ???? ?? ?? ??? ??? ????? ??? ??? ?? ??????.
? ???(BERT? ??) ???? ?? ??(GPT? ??) ???? ?? ????? ???-???(seq2seq) ?????. BART? (1) ??? ??? ???? ???? ????? (2) ??? ?? ???? ?????? ???? ???? ?? ?????. BART? ??? ??(?: ??, ??)? ?? ?? ??? ? ?? ?????? ?? ??(?: ??? ??, ?? ??)?? ??? ??? ????.
(Learning Cross-Modality Encoder Representations from Transformers)? ?? ? ?? ??? ???? ?? ?? ?? ????? ?????. ???? ?? ?? ???, ?? ???, ?? ?? ???? ? ?? ???? ????. ? ??? ???? ?? ???, ??? ?? ??? ??, ROI-?? ??, ???? ??? ?? ???, ???? ??? ?? ??? ? ??? ?? ?? ??? ???? ?? ?????. VQA ? GQA ??? ?? ?? ??? ???? ?? ??? ??????.
(Text-to-Text Transfer Transformer)? ??, ?? ?? ?? ??? ?? ?? ???? ???? ?? ?? ???? ??? ? ?? ??? ???? ?????. ? ??? ?? ??? ?? ?? ??? ?? ??? ?? ???-??? ???? ???? ?? ?????? ?????. ?? ?? ??? NLP ?? ???? ??? ??, ?? ??, ??? ????, ??? ??? ???? ??? ??????.
??
(Hidden-Unit BERT)? ???? ?? ??? ?? ??? ?? ?? ??? ???? ???? ?? ? ?? ?? ??? ?????. HuBERT ??? 10?, 1??, 10??, 100?? ? 960??? ?? ?? ?? ??? ???? Librispeech(960??) ? Libri-light(60,000??) ?????? ?? wav2vec 2.0 ??? ?????? ?????.
? ?? ?? ??? ?? ?? ??? ?? ??? ?????. Wav2Vec2? ??? ??? ?? ?? ???? ???? ???? ?? ??? ?? ????? ??? ?? ??? ??? ??, ??? ??? ?? ???? ?? ?? ???? ????? ? ?????? ?? ??? ???? ??? ?????.
????? Optimum ?????: ??? ???? ??
?????? 2021? ????? ???? ??? ????? ?? ??? ??????, ? ??? ?? ?????? ?? ????? ?? ???? ?? ??? ???? ??? ??? ??? ????.
? ?? ?????? ?????? IPU?? ????? ?? ??? ??? ?? ???? ?? ????? ?????, ??? ??? Optimum ????? ??(BERT)? ???? ?????.
?????? ?? ??, ??? ??, ?? ??, ?? ? ??? ???? ?? ???? ??? ???????. BERT? ?? ??? ??? ??, ?? ?? ???, ?? ??, ?? ? ??? ?? ???? ????? ???? ?? ??? ?? ????.
?? ???? ??? ?????? ?? ??? ???? ??? ? ?? ??? ??? ??, ??? ?????. ?????? ????? ??? ?? ?? ?????? ?????? ??? ??? ????? ??????. IPU? ?????? ???? ????? ???? ??? ????? ???? ???? ??? ??? ??? ? ????.
?? ????? ????? ???? ??? 10?? ??? ?? ????? ??? ?????, ???? ?? ????? ?? ?? ??? ??? ???? ? ????. ?????? ??? ????? ?? ??? ??? ? ????? ??? ?? ??? ?? ??? ?? ?????? ?? ??? ? ?? ??? ?????? ????? ???? ????.
?????? ?? ????? ?????? ?? ??
?????? ???? ???? ??? ?? ????? ?? IPU ??? ??, ??, ?? ?? ? ?? ????? ??? ?? ? ????, ?????? ?? ???? ? ????? ???? ???? ?? ? ? ???? ??? ? ????.
????? ??, 3?? ???? ?? ????? ???? ?? Bow IPU? ??? ? ???(WoW) 3D ??? ??? ???? ?? ??? ????? IPU? ??? ? ?? ?????? ??? ????. ?? ????? ??? ??, ?? ? ???? ???? ??? ???? ?? Bow IPU? ?? 350?????? AI ??? ???? 40%? ?? ??? ??????, ?? ??? IPU? ?? ?? 16% ??? ?? ??? ???????. ??? ????? Optimum ????? ??? ??? ??? ???? ?? ??? IPU?? Bow ????? ???? ??? ? ????.
?? ?????? IPU? ??? ???? ? ??? ??? ???, Optimum? ?????? ???? ?? Poplar SDK(?? 2.5 ???? ???)? ??? ? ??? ??? ?? ?????. Poplar? PyTorch, PyTorch Lightning, TensorFlow? ??? ?? ?? ?? ?????? ??, Docker ? Kubernetes? ?? ??????? ? ?? ??? ???? ???? ?? ?? ?????? ?? ??? ?? ???? ? ????. Poplar? ??? ????? ???? ???? ???? ???? ????? ????? ?? ?? ????? ??? ?? ???? IPU? ?? AI ??? ??? ? ????.
?????? Optimum ????? ?? ????
IPU ??? ??? ????? ??? ??? ???? ? ??? ??? ?? ?? Optimum ????? ??? ??????? ?? ??? ??????.
?? ?????? ??? ????? ??? ??, NLP, ??? ????? ?? ?? ??? ?? ?? ?? ?? ?????? IPU Model Garden? ??, ????, ?? ???, ??? ?? ???? ???? ?????. ? ????? ?????? GitHub ?????? ????? Optimum ??? ?? ??? ???? ?? ????.
??????
