[NVIDIA AI DEVELOPER MEETUP] 강연 두번째, Deep-dive on APEX DDP, NVIDIA NVAITC 유현곤님
이번 강연은 multi-gpu를 활용하는 방법에 대한 이야기이다. * NVIDIA AI TECHNOLOGY CENTRE (NVAITC) - 미주 제외 지역에서 연구하는 그룹(Singabpore, Malaysia, Indonesia, Thailand, India, China, Korean, Japan) * APEC OPP란? - Python extension - multi-gpu를 활용하는 방법이다 * Race to conversaional AI - model size가 증가하면서, 네트워크의 parameter가 bilions을 넘고있다 * 현재 SOTA 모델들의 추세 - Upstream raw에 정보, 데이터를 때려넣는다. 큰 데이터를 큰 머신으로 돌려야한다 - Downstream task, task(분..