CTRL K
Research
트릴리온랩스 기술 블로그
최근 글
블랙박스 LLM의 크기를 재는 법
모델이 기억하는 희귀한 사실을 바탕으로 비공개 LLM의 대략적인 크기를 추정하는 방법.
SonicMoE로 보는 GPU 커널 최적화
SonicMoE를 예시로 효율적인 GPU 커널을 설계한다는 것이 무엇을 의미하는지 이야기합니다.
검색 엔진 없이 Deep Search RL하기
검색 엔진 없이도 검색을 배울 수 있을까? 시뮬레이션만으로 훈련한 검색 에이전트.
Vision Language Model 학습 속도 개선
Gravity-VL-16B-A3B를 학습하며 겪은 VLM 학습의 구조적 병목과, TPS를 되찾기 위해 시도한 최적화들.
메모리 아끼면서 Cross Entropy Loss 계산하기
긴 context와 큰 vocabulary에서 LM head + cross entropy가 만드는 logits 메모리 병목과 FLCE로 이를 줄이는 방법.
환영합니다
트릴리온랩스 기술 블로그에 오신 것을 환영합니다.