just do it just do it

대규모 LLM 학습을 가능하게 하는 라이브러리Megatron이나 Deepspeed 등과도 호환구현의 단순성과 확장성에서 강점FSDP2와 개별 파라미터 샤딩: 파라미터 단위로 샤딩을 진행하여 메모리 효율성을 높입니다.텐서 병렬 처리: 복수의 GPU에서 모델 파라미터를 분할하여 계산합니다.분산 체크포인팅 및 선택적 계층 체크포인팅: 효율적인 메모리 관리와 복구를 위한 기능입니다.텐서보드를 통한 학습 모니터링: 학습 과정을 실시간으로 모니터링할 수 있습니다. https://discuss.pytorch.kr/t/torchtitan-llm-pytorch/4225 torchtitan, 대규모 LLM 학습을 위한 PyTorch 공식 라이브러리:pytorch:PyTorchKR🇰🇷 최근 다양한 기업들이 PyTorch..

conda install -c huggingface -c conda-forge datasets https://pypi.org/project/datasets/ datasets HuggingFace community-driven open-source library of datasets pypi.org

https://subinium.github.io/pytorch-dataloader/ [Pytorch] DataLoader parameter별 용도 pytorch reference 문서를 다 외우면 얼마나 편할까!! subinium.github.io https://jybaek.tistory.com/799 DataLoader num_workers에 대한 고찰 Pytorch에서 학습 데이터를 읽어오는 용도로 사용되는 DataLoader는 torch 라이브러리를 import만 하면 쉽게 사용할 수 있어서 흔히 공식처럼 잘 쓰고 있습니다. 다음과 같이 같이 사용할 수 있겠네요. fr jybaek.tistory.com https://discuss.pytorch.org/t/guidelines-for-assigning..

https://runebook.dev/ko/docs/pytorch/generated/torch.nn.logsoftmax PyTorch - LogSoftmax log⁡(Softmax(x))\log(\text{Softmax}(x)) 함수를 n차원 입력 Tensor에 적용합니다. Documentation Contributors History runebook.dev https://doheejin.github.io/pytorch/2021/03/22/pytorch-softmax.html

Pytorch 공식 문서 선형 회귀 모델 torch.nn.Linear(in_features,out_features,bias = True, device = None,dtype = None) in_features는 input sample의 size out_features는 output sample의 size ​ bias는 만일 False로 설정되어 있으면 layer는 bias를 학습하지 않는다. 기본값은 True이다. ​ device는 CPU, GPU 중 고르는 것 dtype은 자료형의 타입을 정하는 것 https://wikidocs.net/55409 03-04 nn.Module로 구현하는 선형 회귀 이전 챕터까지는 선형 회귀를 좀 더 직접적으로 이해하기 위해 가설, 비용 함수를 직접 정의해서 선형 회귀 모..