?????? AI ???? ?? 2021?? ????? ?? ??? ??? ????? ??? ???? ??? ???? ??? ????? ????? ??????. ?????? ? ????? ?? ?? ?????. ?????? ?????? ??? ???? SOTA ????? ??? ? ?? ????? ???? ????.
?????? ?????? ????? ?? ?????? ?? ??? ? ??? ???? ??? ??? ??? ????.
?????? ???? ??? ????? ?? ????? ???? ???? ???? ???? ???? ?????? IPU? ???? SOTA ????? ??? ?? ??? ??? ? ?? ???.
IPU(??????)??
IPU? ?????? IPU-POD ??? ?? ??? ???? ???? ???????. ? ??? ??? ????? AI ? ????? ?? ??? ?? ?? ??? ????? ???????. ?? ???? ?? ??, ???? ??, ??? ??? ?? ??? ???? ????.
?????? IPU? GPU? ?? SIMD/SIMT ????? ???? ??, ??? ??? ???? ??? ??? ????? ???? ??? ?? MIMD ????? ?????.
??? ??? BERT, EfficientNet ?? ?? ?? ?? ?? ??? ?????, ??? AI ?? ??? ??? ? ??? ??? ??? ??? ???? ?????.
?????? IPU? ??? ????? ???? ? ??? ??? ???. ?????? Poplar SDK? ?? ?? ??? ????? ???? ???????. ?? PyTorch, TensorFlow? ??? ?? ???? ?????? Docker, Kubernetes? ??? ??????? ? ?? ??? ???? ?????.
Poplar? ??? ????? ???? ???? ???? ???? ????? ????? ?? ??? ????? ??? ?? ???? IPU? ?? AI ??? ??? ? ????.
??? ?? ????? ???
?????? AI ??? ??? ??????. ????? ???? ??? ??(NLP)? ??? ??? ?? ???? BERT ?? ??? ?? ?????. ??? ????? ??? ?? ??, ??? ??, ?? ??, ?? ? ??? ???? ?????.
?????? ???? ?? CamemBERT?? NLP ???? ??? ??? ???? ViT? ????? ?? ?? ?????? ???? ????. ??? ????? ?????? ?? 200? ? ?? ??????, ? ??? ?? ? ???? ????.
50,000? ??? ???? ???? ?? ?????? ???? ????? ?? ??? ???? ????.
?? ?????? ???? ??? ????? ?? ??? ????? ?? ??? ?? ??? AI ????? ??? ?????.
????? ??? ???? ????? ? ?? Optimum? ???? ?????? ??? ?? ???? ??? ??? ??? ? ????.
??? ???? ?????? ?????? ??? ?? ?? ?? ???, ? ?? IPU ??? ??? ?? ? Optimum? ??? ?????. ?? ?????? ??, ??, ??, ??? ?? ? ??? ?? ???? ??? ? ????.
?????? CEO? Clément Delangue ?? ??? ????. "?? ????? ????? IPU? ?? ??? ??? ???? ?? ????? ???? ?????, ??? ??? ????? ??? ???? ?? ? ????? ???. Optimum? ????? ???? ?????? ??? ??? ?? ????. ????? ??? ? ??? ??????."
SOTA ??? SOTA ????? ??
??????? ??? ????? ?? ?????? PyTorch? ???? ????? BERT? ??? ????? ??? ??? ?? SOTA ????? ??? ????? IPU ??? ??????.
?? ?? ??? ??? IPU? BERT-Large ?? ????? ??? ? ????.
??? GPU ?? ???? ???? ?, ????? ????? ???? BERT? ??? ???? ??? ?? IPU? ???? ?? ?? NLP ??? ???? ????? ?? ??? ? ????.
BERT-Large ?? ??: IPU-POD64
??? ??? ???? ???? ??? ? ????? ??? ???? ??? ?? ??? ??? ?? ???? ? ?? ??? ????? ???? ? ???? ??? ?????.
?? ????? ????? ??? ???? ??? ??? ???? ????? ???? ?? ??? ?? ??? ?? ? ????.
?????? ?????? ? ?? ???? ?????? ??? ???? AI ??? ???? ? ??? ?????.
??? ??? ?? ?????.