Nov 17, 2021 \ Software
??:
???????????? Docker? ?? ???? ??? ????? ????? ?? ????? ? ?? ?????. ?????? ???? ????? IPU ????? ???? ML ??????? ???? ???? ??? ? ??? Docker? ???? ??? ????? ??? ???? ??? ???? ?????.
?????? ??? ??? ????? ???? ??? ???? ? ?????? ?? ?? ??? ? ?? ? ????. ? 1? ?? ?????? ????? ???? ???? Docker ????? ??????. ?? ?????? ?? ??? ???? ?? ??? ???? ?? Docker Hub ???? ???? ??? Poplar SDK, IPU? PyTorch, IPU? TensorFlow? ??? ?? ?????.
??? ???? ?? ?? ? ???? ?????.
Docker? ????? ????? ??? ??
Docker? ???? ???? ???? ?? ?? ?????. ? ???, ???? Docker Hub?? ??? ???? ??? ?? ? 3,960? ????. ? ??? 8? ?? ???? ??? ??? ???, Docker Hub? '?? ???? ?? ? ????' ??? ??? ??? ???? ????.
?????? Docker ???? ???? IPU ???? ?? PyTorch, TensorFlow ?? ?????? Poplar SDK? ?? ???? ??? ??????? ?? ?? ???? ??? ??? ?????? ???? ???? IPU ???? ???? ?????? ?? ????? ????? ??????. ?????? ??????? ???? ?? ??? ???? ??????? ???? ??????, ?? MLOps ?????? ??? ???? ???.
???? ?? ??
?? ???? ?? ????? ????????? ??? IPU? ?? ?? ??? ?????? Poplar ????? ??? ??? ??? ? ????. Poplar? ?? ??? ? ?? ????, ???? ?? ??? ???? ??? ? ??? ?? ?? ?? ?????? ??? ??? ????? ????? ?? ??? ???? ??? ?? ?????. Poplar? IPU? ??? ?????? ???? ?? PopART?(Poplar Advanced Runtime)? ?? Python? C++? ??? ?? IPU ?????? ?????.
?? ?????? ?? ?????? Poplar SDK ???? ??? ? ????.
- – IPU ??? ?????? ?? ?? ? Poplar? PopART? ?????.
- – Poplar SDK ?????? ?? ??? ????, PyTorch? ?? ???? ????.
- – Poplar SDK ?????? ?? ??? ????, TensorFlow 1 ?? 2? ?? ???? ????.
- – IPU ??? ?? ?? ? ?? ??? ?????.
Docker ???? ????? ???? ????? ???? ???? ???? ??? ?????. ?? ?? ???? Poplar? ?? ?? ?? Docker Hub ??? ???? ????? ???? ???? ??? ? ????.
Docker?? Poplar ????
Poplar Docker ????? IPU?? ??? ???? ? ??? ?? ??? ??? ?? ???? ??????(?, ?????? Poplar? SDK, ??? ??, ??? ??, config ? ?????). ??? ???? ???? IPU ??? ????? ?? ??? ???? ???.
1. ??? ??? Docker ??2. Docker Hub?? ?????? Poplar SDK ???? ??? ????
3. IPU ??? ??
4. Docker ????? ?? IPU ?? ??? ??
5. IPU?? ? ?? ??
??? ??? Docker ??
Docker ??? ?? ??, ??? ????? ?? ????.
? ?????.
Docker Hub?? ?????? Poplar SDK ???? ??? ????
Docker? ??? ? Docker Hub?? ?????? ???? ???? ?????? ??? ???? ???? ?? ??? ??? ? ????. Docker Hub? ????? Poplar ??????? .
?????? 4? ???, SDK ??, OS? ????? ?? ?? ?? ???? ??? ? ????.
- - graphcore/pytorch
- - graphcore/tensorflow
- - graphcore/poplar
- - graphcore/tools
????? ??????? ???? ???? ????? AMD ??? ??????? ???? ?? ??? SDK? ???????.
?? TensorFlow ???? ????? ??? ?????.
$ docker pull graphcore/tensorflow
?? SDK ?? ? ????? ?? ?? ??? ????? ?? Docker ??? ??? ?? ??? ??? ? ????.
IPU ??? ??
PODs? IPU? ?????? ??? ??? IPU ??? ??, ? IPU ?? ???(IPUoF)? ???? ???. ????? ? ????(~/.ipuof.conf.d)? ????? ??? IPUoF ?? ??? ?? Poplar? ??? ????? ?? ??? ?? ??? ??? ? ????. ?? ??? ?? ?? ???? ??? Poplar ????? V-IPU ????? ?? ???? ???? ???? ?? ?? ?????.
Graphcloud? ?? ???? ?? ???? ???? POD? ??? ??? IPUoF ?? config ??? ?????. ?? ??(?: ~/.ipuof.conf.d/lr21-3-16ipu.conf)? .conf ??? ??? ?????. ? ??? ??? ?? ??? ???? ???.
? ??? ??? ? ?? Poplar? V-IPU ??? ??? ???? ???. ?? ??? ????? ????? ??? ~/.ipuof.conf.d ??? IPUoF config ??? ?????.
Docker ????? ?? IPU ?? ??? ??
????? ??????? ?? ???? ???? IPU? ???? ? ??? ?????.
??? ???? ????? ?????? IPU ??? ?????.
$ docker run --rm --ulimit memlock=-1:-1 --net=host --cap-add=IPC_LOCK --device=/dev/infiniband --ipc=host -v ~/.ipuof.conf.d/:/etc/ipuof.conf.d -it graphcore/tools gc-info -l
?? TensorFlow ? ??
?? GitHub? ????? ???? ??????? ??? ?????.
$ git clone https://github.com/graphcore/tutorials.git
$ cd tutorials
Docker ????? ??? ?????. ??? ???? ? ????, ??? ??? ?? ???? ?? ???? ????. ??? ??? ???? ????? Docker ???? ??? ???? ???? ? ??? ???.
????? ???? ????? ??? ??? Docker ???? ?? ??? ???? ?????? ???? ??? ???? ?? ? ????.
Docker ?? ?? ???? ??? ?? ????? ? ??? ?? ?? ??? ????? ????? ???? ?? ????? ??? ???? ????? -w <dir name>? ?????. ?: -v "$(pwd):/app" -w /app.
TensorFlow ?????? mnist ??? ????? ???? ?????? Docker ????? ????? ???? ?? ??? ?????.
$ docker run --rm --ulimit memlock=-1:-1 --net=host --cap-add=IPC_LOCK --device=/dev/infiniband --ipc=host -v ~/.ipuof.conf.d/:/etc/ipuof.conf.d -it -v "$(pwd):/app" -w /app graphcore/tensorflow:2 python3 simple_applications/tensorflow2/mnist/mnist.py
??? ??? ? ??
??:
