Redditr/LocalLLaMALocalLLaMA
Trained a 1.5B to write shell commands so I'd stop googling tar flags. Runs on a laptop CPU in ~1 sec.
2026년 8월 13일 오후 07:39Error 추천0 댓글
#AI#LLM#LLM Fine-tuning#Edge AI#Shell Command Generation
요약
사용자가 쉘 명령어를 자동으로 생성하기 위해 Qwen2.5-Coder-1.5B 모델을 미세 조정하여 941MB 크기의 경량 모델을 개발했습니다. 이 모델은 저사양 노트북 CPU에서도 매우 빠른 속도로 동작하며, 7B 모델 수준의 성능을 효율적으로 제공합니다.
주요 내용
- 125k개의 자연어 및 명령어 쌍을 학습시킨 1.5B 파라미터 모델로, 4-bit 양자화를 통해 1.6GB RAM 환경에서도 초당 31.9 토큰의 빠른 속도를 구현했습니다.
- InterCode-ALFA 벤치마크에서 0.620점을 기록하며 미조정 7B 모델보다 높은 성능을 보였으며, 명령어 실행 시 발생할 수 있는 위험을 방지하기 위한 안전 체크 기능이 포함되었습니다.
- 모델 가중치와 코드는 Apache-2.0 라이선스로 공개되어 누구나 활용 및 기여가 가능합니다.