<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=145304570664993&amp;ev=PageView&amp;noscript=1">

91视频APP

Hugging Face and 91视频APP partner for IPU optimized Transformers

Sep 17, 2021 \ Poplar, Software

?????, ?????? ???? ?? IPU? ???? ????? ??

???

Sally Doherty

?????? AI ???? ?? 2021?? ????? ?? ??? ??? ????? ??? ???? ??? ???? ??? ????? ????? ??????. ?????? ? ????? ?? ?? ?????. ?????? ?????? ??? ???? SOTA ????? ??? ? ?? ????? ???? ????.

?????? ?????? ????? ?? ?????? ?? ??? ? ??? ???? ??? ??? ??? ????

?????? ???? ??? ????? ?? ????? ???? ???? ???? ???? ???? ?????? IPU? ???? SOTA ????? ??? ?? ??? ??? ? ?? ???.

IPU(??????)?

IPU? ?????? IPU-POD ??? ?? ??? ???? ???? ???????. ? ??? ??? ????? AI ? ????? ?? ??? ?? ?? ??? ????? ???????. ?? ???? ?? ??, ???? ??, ??? ??? ?? ??? ???? ????.

?????? IPU? GPU? ?? SIMD/SIMT ????? ???? ??, ??? ??? ???? ??? ??? ????? ???? ??? ?? MIMD ????? ?????.

??? ??? BERT, EfficientNet ?? ?? ?? ?? ?? ??? ?????, ??? AI ?? ??? ??? ? ??? ??? ??? ??? ???? ?????.

?????? IPU? ??? ????? ???? ? ??? ??? ???. ?????? Poplar SDK? ?? ?? ??? ????? ???? ???????. ?? PyTorch, TensorFlow? ??? ?? ???? ?????? Docker, Kubernetes? ??? ??????? ? ?? ??? ???? ?????.

Poplar? ??? ????? ???? ???? ???? ???? ????? ????? ?? ??? ????? ??? ?? ???? IPU? ?? AI ??? ??? ? ????.

??? ?? ????? ???

?????? AI ??? ??? ??????. ????? ???? ??? ??(NLP)? ??? ??? ?? ???? BERT ?? ??? ?? ?????. ??? ????? ??? ?? ??, ??? ??, ?? ??, ?? ? ??? ???? ?????.

?????? ???? ?? CamemBERT?? NLP ???? ??? ??? ???? ViT? ????? ?? ?? ?????? ???? ????. ??? ????? ?????? ?? 200? ? ?? ??????, ? ??? ?? ? ???? ????.

50,000? ??? ???? ???? ?? ?????? ???? ????? ?? ??? ???? ????.

?? ?????? ???? ??? ????? ?? ??? ????? ?? ??? ?? ??? AI ????? ??? ?????.

????? ??? ???? ????? ? ?? Optimum? ???? ?????? ??? ?? ???? ??? ??? ??? ? ????.

??? ???? ?????? ?????? ??? ?? ?? ?? ???, ? ?? IPU ??? ??? ?? ? Optimum? ??? ?????. ?? ?????? ??, ??, ??, ??? ?? ? ??? ?? ???? ??? ? ????.

?????? CEO? Clément Delangue ?? ??? ????. "?? ????? ????? IPU? ?? ??? ??? ???? ?? ????? ???? ?????, ??? ??? ????? ??? ???? ?? ? ????? ???. Optimum? ????? ???? ?????? ??? ??? ?? ????. ????? ??? ? ??? ??????."

SOTA ??? SOTA ????? ??

??????? ??? ????? ?? ?????? PyTorch? ???? ????? BERT? ??? ????? ??? ??? ?? SOTA ????? ??? ????? IPU ??? ??????.

?? ?? ??? ??? IPU? BERT-Large ?? ????? ??? ? ????.

??? GPU ?? ???? ???? ?, ????? ????? ???? BERT? ??? ???? ??? ?? IPU? ???? ?? ?? NLP ??? ???? ????? ?? ??? ? ????.

bert large pre training IPU-POD64

BERT-Large ?? ??: IPU-POD64

??? ??? ???? ???? ??? ? ????? ??? ???? ??? ?? ??? ??? ?? ???? ? ?? ??? ????? ???? ? ???? ??? ?????.

?? ????? ????? ??? ???? ??? ??? ???? ????? ???? ?? ??? ?? ??? ?? ? ????.

?????? ?????? ? ?? ???? ?????? ??? ???? AI ??? ???? ? ??? ?????.

??? ??? ?? ?????.

??? ? ??