Jul 29, 2022 \ University
??:
???????????? IPU ???? ??? ???(GNN)? ?? ??? ??? ????? ?? ??? ??? ???? ????, ?? ? ??? ??????? ?? GNN? ???? ???? ????.
???? ??? ??? ???? ?? ??? ???? ?? ??? ??? GNN? ???? ????.
???? ?????(NUS)? ???? ?? ??? ??? ?? ?? ??? ???? ???? ?? STGCN(Spatio-Temporal Graph Convolutional Network)? MoE(Mixture of Experts) ????? ?????.
????? IPU? CPU? GPU ?? ?? ?? ?? ????? ??????. ?? ??, ?? ??? ??? ????? ???? ????.
NUS ???????? ????? ??? ??? ?? ?(Chen-Khong Tham) ??? "??? ??? ???? ?? ?? ??? ??? ?? ??? ????? ? ??, IPU? ???? ??? ???? ?? ????? ?? ??? ??? ? ??"? ??????.
?? ???
?? ??? ???? ??? ?? ??, ?? ??, ??? ?? ? ???? ??? ? ????. ??? ???? ?? ???? ?? ?? ??? ?? ?? ? ? ????.
?? ??? ?? ??? ??? ? ?? ??, ???, ???, ????? ? ???? ???? ???? ?? ??? ?? ????? ???? ? ??? ? ? ????.
??? AI? ??? ????? ????? ??? ?? ???? ???? ?? ??? ?? ?? ???? ??????. ???? ??? ?? ????. ??? ?? ????? ??? ?? ????, ???? ??? ??? ??? ??? ?? ??? ??? ??? ? ?? ??? ??? ???? ????.
? ??? "?? ?? ????? ?? ??? ??? ?? ?? ?? ??? ??? ???”? ????. ?? ??? ??? ??? ?? ??? ?? ???? ??? ?? ?????.
NUS?? ???? ???? ??? ??? ????? ? ?????, ??? ??? ?? ?? ??? ???? ??(edge)? ?? ? ??? ??? ?? ??? ????? ?? ?? ??? ?? ?????.
?? ???? ?? ??? ?? ??? ?? ?? ?? ?? ?? ???? ??? ???? ?????.
NUS?? ?? ?? ?? ?? ?? ???? ????? 2018?? Yu? Yin, Zhu? ??? STGCN???.
???-??-?? ?? ???? "????"
?
?
??? ??? ??? ??? ? ??? ??? ??? ???? '????'? ???? ???? ?????. ??? ??? ???? ? ?? ???? ??? ??? ???? ? ?? ???? ?????. ??? ? ???? ? ?? ?? ???? ???? ????.
3? ??? ? ?????? ??? ???? ?? ?? ??? ????? ???? ?? ??? ???? ? ?? ??? ??? ?????.
MoE
???? ??? ???? ???? ?? ??? ?????, STGCN? ???? ?? ?? ??? ?? ???? ??? ????? ????.
MoE? ??? ?? ?????, ??? ??? ????? ??? ???? ?? STGCN ? ?? ?? ???? ?????.
Mixture of experts and gating network
? ??? "STGCN? 4? ??? ???? ????? 4?? ??, ?? ?? ??? 4?? ??, ???? 4?? ??"? ?????.
? ?? ?? ??? ?? ??? ???? ??? ?? ????, ?? ???? 5~10% ???? ?????.
IPU? ???? ??
? ??? ????? ???? MoE? STGCN?? ??? ??? ?? ?? ? ??? IPU? MIMD ????? ????. "IPU? ???? ?? ??? ???? ?? ?? ???? ??? ? ?? ???? ?? ??? ???? ?? ? ?? ????”? ????.
?? ?? “?? ?? ?? ???? ???? ??? ??? ??? ?? IPU? ???? ???? MoE ??? ??? ?? ? ??”?,
??? ????? ??? ????? GPU?? ??? ???? ?? ??? ???? ?? ???. ??? ??? IPU? ??? ???. ??? ??????? ??? ?? ?????? ??? ??? ??"??? ??????.
NUS ???? GPU?? ????? IPU? ?? ? 3~4?? ?? ??? ??????..
?? ??
STGCN? MoE? ??? ?? ?? ?? ???, NUS?? ??? ????? ???? ? ??? ?? ??? ??? ?? ??? ??? ??? ??? ? ?? ?? ?? ??? ???? ????. ??? ????? ??? ?? ??, ?? ??? ??, ?? ?? ????? ??? ?? ??? ???? ? ??? ? ? ????.
??? ?? ???? ??? ????? ???? ???? ?????. ? ??? ???, “??? ?? ?? ???? ?????? ??? ?? CPU?? ???? ??, ??? ????? ???? ??? ????? ????. ???, CPU? ???? ??? ??? ??? I/O ????? ???? ?? ??”???.
?? ??? ?? ??? ?????? ??? ???? ??? ????? ???? ???, ?? ????? ???? ?? ??? ??????.
? ??? "? ?? IPU? MIMD ???? ??? ?? ? ??? ??? ???. ??? ?? ?? ??? ?? ? ??. ???, ?? ?? ?? ??? ???? ?? ?? IPU? ??? ??? ??? ??? ??? ??? ??? ? ??"? ?????.
? ??? ?? ???? ????? ?? ????? ????? ???? IPU? ???? ????.
?? ??:
R Chattopadhyay and CK Tham, “Mixture of Experts based Model Integration for Traffic State Prediction”, IEEE Vehicle Technology Conference (VTC) 2022, Helsinki, Finland, June 2022.
B. Yu, H. Yin, and Z. Zhu, “Spatio-temporal graph convolutional networks: A deep learning framework for traffic forecasting,” in Proceedings of the 27th International Joint Conference on Artificial Intelligence (IJCAI), 2018.
??:
