로컬 LLM 실행 도구(런타임)는 내 PC에서 AI 모델을 구동하는 프로그램입니다. Ollama·LM Studio·vLLM·LocalAI의 차이와 초보·개발자·서비스별 선택법, 다운로드 전 내 PC에서 될지 확인하는 법까지 입문자 눈높이로 정리했습니다.
“라마 모델을 받았는데 왜 안 켜지지?” 로컬 AI에 처음 도전하는 분들이 가장 많이 막히는 지점입니다. 사실 모델 파일을 내려받는 것과, 그 모델을 실제로 켜서 대화하는 것은 전혀 다른 일입니다. 모델은 ‘엔진’일 뿐이고, 그 엔진을 얹어 굴리는 ‘자동차 몸체’가 따로 필요합니다. 그 몸체가 바로 로컬 LLM 실행 도구, 즉 런타임입니다.
로컬 LLM 실행 도구(런타임)란?
로컬 LLM 실행 도구는 내려받은 AI 모델 파일을 내 컴퓨터에서 실제로 구동해 주는 프로그램입니다. 같은 모델이라도 무엇으로 돌리느냐에 따라 속도, 편의성, 다른 프로그램과의 연결 방식이 크게 달라집니다.
정답은 하나가 아니라 용도별로 갈립니다. 미리 결론만 말하면 이렇습니다.
- 초보·GUI 선호 → LM Studio, Jan
- 개발자·자동화 → Ollama
- 서비스·고처리량 → vLLM
- 멀티모달·강한 툴 호출 → LocalAI
아래에서 왜 이렇게 갈리는지, 그리고 다운로드 전에 시행착오를 줄이는 법까지 순서대로 풀어보겠습니다.
모델과 런타임은 다릅니다 (가장 흔한 오해)
입문자가 헷갈리는 첫 번째 지점입니다. 모델은 학습이 끝난 AI의 두뇌, 즉 가중치 파일입니다(예: 라마, Gemma, 큐원). 런타임은 그 두뇌에 전원을 넣고 질문을 받아 답을 내게 하는 실행 프로그램입니다.
여기서 한 단계 더 들어가면 모델 포맷이 갈립니다. 소비자용 도구(Ollama·LM Studio)는 주로 GGUF라는, 개인 PC에서 가볍게 돌아가도록 압축된 포맷을 씁니다. 반면 서버용 도구(vLLM 등)는 Safetensors·GPTQ·AWQ 같은 포맷을 다룹니다. 그래서 “어떤 런타임을 고르느냐”는 곧 “어떤 포맷의 모델을 받을 것이냐”와도 연결됩니다. GGUF·Q4 같은 압축 개념이 낯설다면 양자화 개념을 먼저 잡아두면 이해가 훨씬 쉽습니다.
주요 런타임 한눈에 비교
가장 많이 쓰이는 네 가지에 입문용 Jan을 더해 정리했습니다. (런타임별 특징은 로컬 LLM 호스팅 비교 자료 glukhov.org(2026)와 각 프로젝트 공식 문서를 참고했습니다.)
| 도구 | 가장 적합한 사람 | 형태 | 오픈소스 |
|---|---|---|---|
| LM Studio | 초보·저사양·GUI 선호 | 데스크톱 앱(채팅 UI) | ❌(개인 무료) |
| Jan | 개인정보·단순함 우선 | 데스크톱 앱 | ✅ |
| Ollama | 개발자·API 통합·자동화 | CLI + API | ✅ |
| vLLM | 서비스 운영·고처리량 | API 서버 | ✅ |
| LocalAI | 멀티모달·강한 툴 호출 | 웹 UI + API | ✅ |
표에서 보이듯 초보는 화면(GUI)이 있는 쪽, 개발자는 명령어·API가 있는 쪽으로 나뉩니다. LM Studio는 채팅 UI·모델 검색·다운로드가 한 화면에 있어 편하지만 본체는 비공개(개인 무료)이고, Ollama는 명령어 기반이라 코드에 붙이기 좋고 완전 오픈소스입니다.
용도별로 뭘 골라야 할까
내 상황을 아래 네 갈래에 대입해 보면 답이 나옵니다.
- 설치하자마자 채팅부터 해보고 싶다 → LM Studio 또는 Jan. 앱을 깔고 모델을 검색·다운로드하면 바로 대화창이 뜹니다. 명령어를 몰라도 됩니다.
- 내 코드·스크립트에 AI를 붙이고 싶다 → Ollama. 설치 후 명령 한 줄로 모델을 띄우고, OpenAI 호환 API로 곧장 연결합니다. 개인 개발자의 사실상 표준입니다.
- 여러 사람이 동시에 쓰는 서비스로 낸다 → vLLM. 동시 요청을 빠르게 처리하는 데 최적화돼 있어, 개인용이 아니라 서비스 서빙용입니다.
- 이미지·음성까지 다루고 툴 호출도 강하게 → LocalAI. 다양한 포맷과 멀티모달을 폭넓게 지원합니다.
하드웨어로도 갈립니다. 애플 실리콘 맥은 통합 메모리 덕분에 큰 모델도 비교적 잘 돌아가 LM Studio·Ollama가 무난하고, AMD 내장 그래픽은 LM Studio의 Vulkan 지원이나 LocalAI가 대안이 됩니다.
다운로드 전에 “내 PC에서 될까?”부터 확인하기
로컬 LLM 입문자가 겪는 가장 큰 낭비는 일단 큰 모델을 받아보고, 안 돌아가면 지우는 시행착오입니다. 수십 기가바이트를 받아놓고 내 그래픽카드로는 버거워 되돌리는 일이 흔합니다.
이걸 줄여주는 것이 LLMFit·LLM Checker 같은 도구입니다. 이들은 실행 도구(런타임)가 아니라 선택 도구입니다. 내 CPU·RAM·그래픽 메모리를 자동으로 읽어, “이 모델이 당신 PC에서 현실적으로 잘 돌지”를 점수로 매기고 순위를 보여줍니다. 어떤 압축(Q8~Q2)으로 받아야 할지까지 제안해 줍니다.
권장 흐름은 간단합니다. LLMFit으로 될 만한 모델을 좁힌다 → Ollama나 LM Studio로 실행한다. 순서만 바꿔도 디스크와 시간 낭비가 확 줍니다.
한 가지 주의할 점이 있습니다. ‘LLMFit’이라는 이름을 쓰는 별개의 파인튜닝(LoRA) 도구가 존재한다는 자료도 있어, 검색 시 같은 이름의 다른 프로젝트와 혼동하지 않도록 확인이 필요합니다. 설치 방식도 자료마다 조금씩 달라, 공식 저장소에서 최신 안내를 확인하는 편이 안전합니다.
클라우드와 로컬을 섞는 하이브리드
로컬 런타임 대부분이 OpenAI 호환 API를 제공한다는 점은 생각보다 큰 장점입니다. 쉽게 말해, 챗GPT를 부르던 코드에서 주소만 내 PC로 바꾸면 로컬 모델이 대신 답하도록 만들 수 있다는 뜻입니다.
그래서 민감한 작업만 로컬로, 나머지는 클라우드로 나누는 하이브리드가 쉬워집니다. 계약서·인사·재무처럼 밖으로 내보내기 꺼려지는 데이터는 내 PC의 로컬 모델로 처리하고, 일반적인 작업은 성능 좋은 클라우드 AI에 맡기는 식입니다. 코드를 거의 고치지 않고도 이 전환이 가능합니다.
마무리 — 5분이면 첫 대화까지
정리하면, 로컬 LLM 실행 도구는 ‘모델이라는 엔진’을 얹어 굴리는 몸체이고, 초보는 LM Studio, 개발자는 Ollama가 가장 무난한 출발점입니다. 처음이라면 LM Studio를 깔고 모델 하나를 검색·다운로드해 대화창을 여는 데까지 5분이면 충분합니다. 이후 자동화가 필요해지는 순간 Ollama로 옮기면 됩니다.
저 역시 GUI인 LM Studio로 가볍게 시작했다가, 반복 작업을 스크립트에 붙이려다 결국 Ollama로 넘어갔습니다. 그러니 “무엇이 정답이냐”보다 “지금 내 목적이 클릭이냐, 코드냐”를 먼저 정하는 편이 훨씬 빠릅니다.
자주 묻는 질문
Q. 로컬 LLM은 인터넷 없이도 쓸 수 있나요?
모델을 한 번 내려받은 뒤에는 인터넷 없이 오프라인으로 쓸 수 있습니다. 대화 내용도 서버로 나가지 않고 내 PC에 남기 때문에, 개인정보에 민감한 작업에 유리합니다. 다만 처음 모델을 받을 때와 도구를 업데이트할 때는 연결이 필요합니다.
Q. 다 무료인가요? 숨은 비용은 없나요?
Ollama·vLLM·LocalAI·Jan은 오픈소스로 무료이고, LM Studio는 개인 사용이 무료입니다(업무용은 별도 문의). 다만 진짜 비용은 프로그램 값이 아니라 하드웨어와 전기입니다. 큰 모델일수록 그래픽 메모리와 전력을 많이 쓰기 때문에, LLMFit 같은 도구로 내 PC에 맞는 크기부터 고르는 것이 사실상의 절약법입니다.
