CTRL K
‘systems’ 태그의 글
SonicMoE로 보는 GPU 커널 최적화
SonicMoE를 예시로 효율적인 GPU 커널을 설계한다는 것이 무엇을 의미하는지 이야기합니다.Read More →
Vision Language Model 학습 속도 개선
Gravity-VL-16B-A3B를 학습하며 겪은 VLM 학습의 구조적 병목과, TPS를 되찾기 위해 시도한 최적화들.Read More →
메모리 아끼면서 Cross Entropy Loss 계산하기
긴 context와 큰 vocabulary에서 LM head + cross entropy가 만드는 logits 메모리 병목과 FLCE로 이를 줄이는 방법.Read More →