시리즈: JAX와 함께하는 LLM 구축
JAX 라이브러리를 이용해 LLM을 밑바닥부터 구축해봅시다.
JAX와 함께하는 LLM 구축 - 1. 병렬화의 두가지 길
GSPMD API vs. pmap API
JAX와 함께하는 LLM 구축 - 2. 배열 샤딩
jax.sharding API와 자동 병렬화
JAX와 함께하는 LLM 구축 - 3. GSPMD 파트 I
GSPMD의 정의와 샤딩 완성
JAX 라이브러리를 이용해 LLM을 밑바닥부터 구축해봅시다.
GSPMD API vs. pmap API
jax.sharding API와 자동 병렬화
GSPMD의 정의와 샤딩 완성