공부
-
ValueError: `rope_scaling` must be a dictionary with with two fields, `type` and `factor`공부/error 2024. 8. 27. 15:08
https://sjkoding.tistory.com/94 [LLM]Llama 3.1 설치 및 ValueError: `rope_scaling` 해결방법 (+ vLLM 에러 해결 such as '_OpNamespace' '_C' object has nhttps://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct meta-llama/Meta-Llama-3.1-8B-Instruct · Hugging FaceThe information you provide will be collected, stored, processed and shared in accordance with the Meta Privacy Policy. LLAMA 3.1 COMMUNITY Lsjkodi..
-
torchtitan공부/pytorch 2024. 5. 17. 14:12
대규모 LLM 학습을 가능하게 하는 라이브러리Megatron이나 Deepspeed 등과도 호환구현의 단순성과 확장성에서 강점FSDP2와 개별 파라미터 샤딩: 파라미터 단위로 샤딩을 진행하여 메모리 효율성을 높입니다.텐서 병렬 처리: 복수의 GPU에서 모델 파라미터를 분할하여 계산합니다.분산 체크포인팅 및 선택적 계층 체크포인팅: 효율적인 메모리 관리와 복구를 위한 기능입니다.텐서보드를 통한 학습 모니터링: 학습 과정을 실시간으로 모니터링할 수 있습니다. https://discuss.pytorch.kr/t/torchtitan-llm-pytorch/4225 torchtitan, 대규모 LLM 학습을 위한 PyTorch 공식 라이브러리:pytorch:PyTorchKR🇰🇷 최근 다양한 기업들이 PyTorch..
-
백그라운드 실행 (nohub, &)공부/Linux 2024. 4. 5. 13:09
nohup "t실행 코드" > test.out & https://green-joo.tistory.com/26 nohup 사용법과 nohup.out 파일 명 변경, 로그 없이, 날짜 별로 rotation 하는 방법 ( Linux ) 안녕하세요. 그린주입니다 ๑'ٮ'๑ 오늘도 힘차게 시작해보겠습니다! 개요 이번 글에서는 nohup 사용법과 nohup.out 로그 관련 설정, 프로세스를 종료하는 방법을 공유하고자 합니다. 목차 nohup 설명 green-joo.tistory.com
-
[matplot] 도형 및 색상표공부/파이썬 2024. 2. 13. 19:02
https://wikidocs.net/92083 07. Matplotlib 마커 지정하기  특별한 설정이 없으면 그래프가 실선으로 그려지지만, 위의 그림… wikidocs.net https://stackoverflow.com/questions/22408237/named-colors-in-matplotlib Named colors in matplotlib What named colors are available in matplotlib for use in plots? I can find a list on the matplotlib documentation that claims that these a..
-
[개발 환경] 우분투 Visual Studio Code 설치방법공부/Linux 2023. 11. 9. 18:53
https://chunggaeguri.tistory.com/entry/Ubuntu-2004-Visual-Studio-Code-%EC%84%A4%EC%B9%98%EB%B0%A9%EB%B2%95 [ Ubuntu 20.04 ] Visual Studio Code 설치방법 Visual Studio Code 설치 1. VS Code에 필요한 패키지 설치하기 sudo apt update sudo apt install software-properties-common apt-transport-https wget 2. wget에서 Microsoft GPG 키 가져오기 wget -q https://packages.microsoft.com/keys/microsoft chunggaeguri.tistory.com
-
[개발 환경] 아나콘다 환경변수 설정 (bash & zsh)공부/Linux 2023. 11. 9. 18:47
bash https://coding-hyeznee.tistory.com/20 [Anaconda] Ubuntu/Linux 환경에서 아나콘다 환경 변수 설정 우분투에 아나콘다를 깔다가... 실행하는 도중에 딴 짓을 잠깐 했더니 이 부분을 읽지 못하는 불상사가 발생했고, no로 자동응답이 되고 (아마 디폴트값이 no였던 듯.) 넘어가버렸다(..) 찾아보니 coding-hyeznee.tistory.com zsh https://chunggaeguri.tistory.com/entry/Ubuntu-2004-zsh%EC%97%90-Anaconda-%EC%84%A4%EC%B9%98 [ Ubuntu 20.04 ] zsh에 Anaconda 설치 1. Download https://www.anaconda.com/product..