JAX와 함께하는 LLM 구축 - 3. GSPMD 파트 I
GSPMD의 정의와 샤딩 완성
JAX와 함께하는 LLM 구축 - 2. 배열 샤딩
jax.sharding API와 자동 병렬화
JAX와 함께하는 LLM 구축 - 1. 병렬화의 두가지 길
GSPMD API vs. pmap API
Kaggle TPU VM에서 Pytorch Lightning 2.0 훈련 오류 해결하기
PJRT 런타임을 끄면 됩니다
소개글
이 블로그에 대한 소개