Jun 14, 2022 \ Machine Learning
??:
????????? ?????(Michael Bronstein)? ?? ???? ??? ????(????) ???? ???(Twitter)? ??? ?? ?? ??????. ??? ????? ??? ???? ???? ??? ???? ??(Emanuele Rossi), ??? ?????? ?? ??? ??? ????(Daniel Justus)? ?? ? ?? ?? ??????.
??? ?? ???? ???? ?????? ??? ???? ??? ?? ???????? ??????. ??, ?? ? ? ?? ??? ???(GNN)? ?? ??? ?? ???? ?? ??? ???? ??? ? ??? ?? ????.
???? GNN ????? ???? ???? ??? ?????. ??? ? ??? ?? ??? ?? ????. ?? ???????? ?? ???? ???? ???? ??? ???? ??? ?? ??? ????. ?? ??, ?? ???? ?? ?? ?????? ???? ???? ????? ???? ???? ????? ??? ?? ? ? ????. ?? ?? ?? ???? ??? ? ?? ?? GNN ????? ???? ????, ???? ???? ? ??? ???[1].
??? ?? ???? ???? ????? t1 ? t2?? ??? ??(edge)? ????? ???? ????.
?? ?????? ??? ??? ?? ???? TGN? ???? ??? ????, ??? ??? ?? ?? ???? ?? ??? ????? ???. ?? ????? TGN ??? ?????? Bow IPU? ??????. ?? ??, IPU ????? ??? ???? ????? ???? ??? ?? ? ?????. ???, ?? IPU ????? ???? A100 GPU? ??? ?? ?? ??? ???? ??? ?????.
TGN ????? ? ?? ?? ????? ???? ????. ??, ?? ???? ?? ??? GAN(Graph Attention Network)?? ??? ???? GNN ????? ?? ?????[2]. ?? TGN? ? ??? ?? ?? ????? ???? ???? ?????. ? ????? ???(sparse) ?? ? ?? ??? ?? ?????, GRU(Gated Recurrent Network)? ?? ??? ?????? ???????[3].
TGN ?? ????: ?? ?? ?? ??? ?? ??? ?? GNN? ????, ?? ?? ???? ? ??? ?? ?? ???? ?????.
?? ??? ??? ??? ????? ??? ?? ??? ???? ??? ??? ????. ? ?? ?? ??? ?? ????? ? ??? ?? ??? ???? ?? ?? ??? ?? ??? ?????. ?? ??? ???? ?? ??? ?? ? ?? ?? ??? ?? ??? ??? ? ????, GAN? ?? ???? ???? ????.
?? ???? ??
?? ????? ?? ?????(Wikipedia) ??? ???? ?? ???? JODIE Wikipedia ?????[4]? ??? TGN? ??????. ??? ???? ?? ??? ? ??? ???? ?? ??? ?????. ???? 9,227?? ??(8,227?? ???? 1,000?? ??)? ?????? ?? 157,474?? ??? ????, ?? ??? ???? 172 ??? LIWC ????[5]? ???? ???? ????.
?? ???? ??? ??? ???? ?? ?? ??? ???? ???? ??, ??? ?? ??? ???? ???? ???? ??? ?? ??(contrastive loss)? ?? ?????. ?? ??? ???? ???? ???? ???? ?? ??? ??? ? ?? ??? ?????.
????? ? ? ???, ?? ??? ? ?? ?? ? ?? ??? ? ?? ??? ?????. ?? ???? ??? ??? ? ? ?? ??? ??? ??? ???????. ??? ? ?? ??? ?? ???? ?? ??? ?? ???? ?? ??? ??? ??? ??? ??? ? ????. ??? ?? ???? ?? ??? ????? ??? ??? ?? ?? ? ? ????.
??? ?? ??? ???? ?? ?? ?? 10?? ??? ?(??)? ?? ?? ?? 10?? ???? ??? ?? ??? ??? ?(???)? JODIE/Wikipedia ???? ?? TGN? ???
???, ?? ??? ?? ???? ?? ? ?? ???? ?? ???? ???? ?? ??? ??? ???? ?????. ?? ??4?? ??? ? ???, ??? ????? ???? ??? IPU? ?? ??? ? ?? GPU?? ? ?? ???? ??? ? ????. ?? ?? ?? 10? ??? ?? TGN? IPU?? 11? ? ??? ??? ? ???, ? ? ?? ??? 200? ?????? IPU??? ?? ??? ??? ? 3? ? ????.
???? A100 GPU? ????, Bow2000 IPU ????? ?? IPU? ??? ?? ??? ?? ??? ?? ??? ?? ??
?????? IPU?? ???? TGN ??? ??? ??? ??? ???? ?? TGN? ?? ???? ??? ???? ???? ??? ??? ??????. ??, Attention ??? GRU ???? IPU? GPU? ??? ??? ???? ?? ??? ? ?????. ?? ?? ??? ??, IPU? ?? ??? ?? ? ????? ???? ??? ??????.
?? ??? ??? ? ???? ?????? IPU? ??? ???? ?? ??????. ?????, IPU ????? ??? ? ??? ???? ?? ???? ? GPU ?? ??? ??? ???? ??? ?? ? ?????.
?? ??? ?? ? IPU? GPU?? ???? TGN???? ??
? ???? ??
?? ??? TGN ??? ????? ? 260,000?? ??? ??? ??, ? ??? ? ???? ???? ???? IPU ????? ???? ?? ????? ?????. ??? ??? ??? ?? ??? ? ??? ??? ???? ??? ? ???, ? ?? ????? ??? ???? ??? ??? ?????.
? ????? TGN ????? ????? ?? 1,550? ?? ??? ???[6] ??? 2? 6,100? ???? ??? ???? ???? ??????. ???? ?? ??? ??? ??? ???? ??? ?? ??? ?? ??? ???? ?? 728?? ?? ?? ?????? ??????. ? ??????? ?? ?? ?? ??? ?? ??? ??? ??? ????? ?? ??(temporal evolution)? ???? ???? ? ??? ??????.
??? ?? ??? ???? ??? ???? ???? ??? ???? ??? ?? ??????, ???? ???? 1,000?? ???? ?? ??? ?? ??? MRR(Mean Reciprocal Rank)? ??? ?? ????? ??????. ??, ????? ??? ??? ?? ??(hidden size)? ?? ?? ??? ????? ?? ? ? ?????. ?? ??? ???? ?? ???? ??? ??? ?? ??? ??? ??? 256???? ??????.
??? ??? ?? ??? ?? 1,000?? ???? ?? ?? MRR(Mean Reciprocal Rank)
?? ???? ??? ???? ???? ???? ? 2? ?????. ??? ?? ?? ??? ???? 10??? ??? ??? ??? ?? ?????? ??? ??? ?? ?? ???? ??? ??, ???? ??? ??? ?? ???? ? ? ?????(? 1). IPU?? ??? ??? ???? TGN? ?? ??? ??? ??? ??? ? ????. ?? ?? ??? ??? ???? ?? ???? ????, ?? ? ?? ?? ?? ?? ???? ??? ? ??? ?????.
??? ??? ???? ?? ?? 256?? TGN? ??? ? ?? ?? 256? ???? ?????. Twitter-tiny? JODIE/Wikipedia ??? ??? ??? ?????.
??? ?? ?? ??? ???? ?? ???? ??? ?? ??? ????? ???? ?? ???? ???. ??, ?? ???? ???? ????? ????? ???? ??? ??? ??? ?????, ????? ????? ?? ??? "???”? ???? ????. ??? ??? ????? ??? ?? ??? ??????? ???? ???? ???? ???? ????? ???? ????? ????. ?? ??? ? ??? ??? ?? ? ?? ??? ???? ???, ??? ?? ?? ??????? ?? ?? ???? ????? ???? ????? ??? ? ?? ??? ?? ??? ??? ????.
[1] E. Rossi et al., (2020) arXiv:2006.10637. See accompanying .
[2] P. Veli?kovi?, et al., Graph attention networks (2018) ICLR.
[3] K. Cho et al., (2014), arXiv:1409.1259.
[4] S. Kumar et al., (2019) KDD.
[5] J. W. Pennebaker et al., Linguistic inquiry and word count: LIWC 2001 (2001). Mahwah: Lawrence Erlbaum Associates 71.
[6] A. El-Kishky et al., (2022) arXiv:2205.06205.
??:
