QJC · BLOG · TAG

#로컬-llm

3개의 글

2026.09.15[TUTORIAL]

2026 오픈소스 리서치 에이전트 alphaXiv OpenResearch 도입 전 확인할 3가지 오해

오픈소스 리서치 에이전트 alphaXiv OpenResearch는 어떤 모델로든 돌리는 병렬 도구가 아니라 코딩 에이전트로 논문을 재현하는 실험 관리 워크벤치입니다. 병렬 제한, 로컬 LLM 연결법, 도입 전 확인할 보안 경고까지 GitHub 실측 수치로 짚어 정리했습니다.

5 views#OpenResearch#로컬 LLM

2026.08.03[TUTORIAL]

2026년 airllm으로 4GB GPU에 70B 로컬 LLM 돌리기, 292초 속도부터 확인하세요

4GB GPU 한 장으로 70B, 나아가 2.8조 파라미터 모델까지 돌린다는 airllm의 레이어 분할 추론 원리와 292초라는 실제 속도, 그리고 재현되지 않은 벤치마크 논란까지 정리했습니다. 로컬 LLM 도입 전 GPU VRAM 한계를 먼저 확인해 보시길 권합니다.

64 views#airllm#로컬 LLM

2026.04.12[TUTORIAL]

whatcani.run — 내 맥에서 어떤 AI 모델을 돌릴 수 있을까?

로컬 LLM 벤치마크 플랫폼 whatcani.run 소개. npx 한 줄로 내 Apple Silicon 맥에서 어떤 AI 모델이 돌아가는지 커뮤니티 데이터로 확인하세요.

8 views#whatcani.run#로컬 LLM