시리즈: JAX와 함께하는 LLM 구축

JAX 라이브러리를 이용해 LLM을 밑바닥부터 구축해봅시다.

JAX와 함께하는 LLM 구축 - 1. 병렬화의 두가지 길

GSPMD API vs. pmap API

JAX와 함께하는 LLM 구축 - 2. 배열 샤딩

jax.sharding API와 자동 병렬화

JAX와 함께하는 LLM 구축 - 3. GSPMD 파트 I

GSPMD의 정의와 샤딩 완성