CTRL K
Research
트릴리온랩스 기술 블로그
최근 글
SonicMoE로 보는 GPU 커널 최적화
SonicMoE를 예시로 효율적인 GPU 커널을 설계한다는 것이 무엇을 의미하는지 이야기합니다.
검색 엔진 없이 Deep Search RL하기
검색 엔진 없이도 검색을 배울 수 있을까? 시뮬레이션만으로 훈련한 검색 에이전트.
Vision Language Model 학습 속도 개선
Gravity-VL-16B-A3B를 학습하며 겪은 VLM 학습의 구조적 병목과, TPS를 되찾기 위해 시도한 최적화들.
메모리 아끼면서 Cross Entropy Loss 계산하기
긴 context와 큰 vocabulary에서 LM head + cross entropy가 만드는 logits 메모리 병목과 FLCE로 이를 줄이는 방법.
환영합니다
트릴리온랩스 기술 블로그에 오신 것을 환영합니다.