JAX와 함께하는 LLM 구축 - 3. GSPMD 파트 I

GSPMD의 정의와 샤딩 완성

JAX와 함께하는 LLM 구축 - 2. 배열 샤딩

jax.sharding API와 자동 병렬화

JAX와 함께하는 LLM 구축 - 1. 병렬화의 두가지 길

GSPMD API vs. pmap API

Kaggle TPU VM에서 Pytorch Lightning 2.0 훈련 오류 해결하기

PJRT 런타임을 끄면 됩니다

소개글

이 블로그에 대한 소개