AI
양자화란? 큰 AI 모델을 ‘사진 압축’하듯 줄이는 기술
양자화란 무엇일까요? 수십억 매개변수짜리 AI 모델을 4비트로 압축해 노트북·스마트폰에서도 돌아가게 만드는 기술입니다. 사진을 적당히 압축하듯 모델을 줄이는 원리와 Q4·Q8 차이, 로컬 LLM 활용까지 처음…
양자화란 무엇일까요? 수십억 매개변수짜리 AI 모델을 4비트로 압축해 노트북·스마트폰에서도 돌아가게 만드는 기술입니다. 사진을 적당히 압축하듯 모델을 줄이는 원리와 Q4·Q8 차이, 로컬 LLM 활용까지 처음…
RAG vs 파인튜닝, 뭘 골라야 할까요? 최신 지식이나 내 문서를 반영할 땐 RAG(오픈북 시험), 말투·형식·도메인 스타일을 바꿀 땐 파인튜닝(재수강)입니다. 둘의 차이와 선택 기준을 초보도…
RAG란 무엇일까요? AI가 답하기 전에 관련 자료를 먼저 검색해 ‘오픈북 시험’처럼 근거를 보고 답하게 만드는 기술입니다. 환각을 줄이고 최신 정보와 내 문서를 반영하는 RAG의…