001[TUTORIAL]
colibri 로컬 LLM: 메모리 대신 디스크로 744B MoE 모델을 돌리는 법과 실제 속도
744B 파라미터 MoE 모델을 개인 PC에서 돌리는 순수 C 추론 엔진 colibri 로컬 LLM의 구조와 실측 속도를 정리했다. RAM 대신 디스크에서 전문가 가중치를 꺼내 쓰는 원리, 국내 기종별 실행 속도, 써야 할 때와 피할 때까지 실제로 쓸 만한지 확인해 보세요.
24 views#colibri 로컬 LLM#로컬 추론 도구
