RAM-for-Local-AI - README

보유한 시스템 RAM, GPU VRAM, Apple Silicon 통합 메모리를 기준으로 로컬 AI 모델·양자화·런타임을 선택하고, 추론·RAG·서빙·파인튜닝에 필요한 메모리를 계획하기 위한 한국어 가이드

웹 메모리 계산기 열기 · 가이드 목록 · 작업별 시작 경로 · 계산 원칙

RAM-for-Local-AI는 모델 순위만 나열하는 레포지토리가 아니다. 다음과 같은 실제 선택 문제를 다룬다.

• 내 장비에서 어떤 모델과 양자화를 안정적으로 실행할 수 있는가?
• 모델 가중치를 적재한 뒤 KV 캐시, 작업 버퍼와 운영 여유를 얼마나 남길 수 있는가?
• RAG, 데이터 분석, 비전·OCR, 이미지 생성과 음성 처리에서는 어떤 추가 메모리가 필요한가?
• 여러 사용자를 처리하거나 LoRA·QLoRA 파인튜닝을 수행할 때 메모리 요구량이 어떻게 달라지는가?
• NVIDIA·AMD·Apple·Intel·CPU 환경에서 어떤 런타임과 배포 형식을 우선 검토해야 하는가?

현재 레포지토리는 11개 가이드와 브라우저에서 정적으로 실행되는 로컬 AI 메모리 계산기로 구성되어 있다.

콘텐츠 기준일: 각 문서는 2026-09-26 KST에 공개된 모델·런타임·하드웨어 정보를 기준으로 검증했다. 모델 파일, 양자화 저장소, 라이선스, 런타임 API와 하드웨어 지원 상태는 변경될 수 있으므로 실제 다운로드와 배포 직전에 공식 저장소를 다시 확인해야 한다.

운영체제 도구에서 확인한 값이 브라우저 자동 탐지보다 우선한다.

RAM-for-Local-AI 메모리 계산기

계산기에서 다음 항목을 선택하거나 입력한다.

1. RAM·VRAM 또는 통합 메모리
2. 분야와 세부 작업
3. 모델과 양자화
4. 컨텍스트 길이, 출력 토큰과 동시 요청 수
5. RAG·데이터·비전·이미지·오디오별 추가 구성
6. 추론·서빙·파인튜닝 운용 방식

계산 결과는 후보를 좁히기 위한 용량 계획값이다. 최종 판단은 실제 런타임에서 peak RAM·VRAM과 품질을 측정해 확정한다.

계산 결과의 가이드 링크 또는 아래 가이드 목록에서 정확한 모델 저장소, 양자화 파일명, 실행 옵션과 평가 방법을 확인한다.

Hugging Face CLI를 사용할 수 있다면 전체 shard와 예상 다운로드 크기를 먼저 확인한다.

hf download <organization>/<repository> --dry-run

GGUF, MLX, AWQ, GPTQ, compressed-tensors, safetensors는 같은 비트 수로 표시되더라도 실제 파일 크기와 실행 특성이 다를 수 있다. 파일명이나 양자화 태그를 추정하지 말고 모델 카드와 저장소 파일 목록을 확인한다.

분야에 따라 다음 입력이 추가된다.

• RAG: 청크 수, 임베딩 차원, 벡터 정밀도, 인덱스 오버헤드, 문서 캐시
• 데이터 분석: 원본 데이터 크기, DataFrame 확장률, working set, notebook kernel
• 비전·OCR: 페이지·이미지 수, 해상도, visual token, parser worker
• 이미지 생성: 해상도, batch, ControlNet, LoRA, 참조 이미지, upscaler
• 오디오·음성: 오디오 길이, 동시 stream, diarization, ASR→LLM→TTS cascade

여유나 적합은 처리 속도와 답변 품질까지 보장하는 등급이 아니다. 같은 용량에서도 메모리 대역폭, 커널 지원, 드라이버, 컨텍스트와 데이터 형태에 따라 결과가 크게 달라질 수 있다.

일반 웹 브라우저는 정확한 총 RAM과 VRAM을 항상 제공하지 않는다.

• navigator.deviceMemory는 지원되는 브라우저에서도 반올림된 근삿값일 수 있다.
• 표준 WebGPU·WebGL API만으로는 전용 VRAM 총량을 일관되게 읽기 어렵다.
• GPU 이름을 확인하더라도 같은 제품에 8GB·16GB처럼 여러 메모리 변형이 있을 수 있다.
• Apple Silicon은 전용 VRAM이 아니라 CPU·GPU·OS가 공유하는 통합 메모리를 사용한다.
• 브라우저 개인정보 보호 설정에 따라 GPU 이름이나 adapter 정보가 숨겨질 수 있다.

따라서 자동 탐지 결과는 후보값이며, 운영체제 도구에서 확인한 수동 입력값을 최종 기준으로 사용한다.

계산기는 프레임워크, 서버 API, CDN, 외부 폰트와 텔레메트리를 사용하지 않는다.

• 계산과 장치 탐지는 브라우저 안에서 수행한다.
• 입력값과 계산 결과를 외부 서버로 전송하지 않는다.
• 사용자 설정은 브라우저의 localStorage에만 저장될 수 있다.
• Hugging Face와 가이드 링크는 사용자가 직접 클릭할 때만 열린다.

정적 페이지에도 카탈로그 갱신 실수나 같은 오리진의 다른 페이지가 영향을 줄 수 있으므로 다음 방어 장치를 둔다.

• index.html에 Content-Security-Policy 메타를 선언한다. 인라인 스크립트와 외부 스크립트·CDN·폰트가 없으므로 script-src 'self'로 동작하며 object-src와 base-uri는 차단한다.
• Referrer-Policy는 strict-origin-when-cross-origin이다.
• 카탈로그가 제공하는 모델 링크는 http(s) 스킴만 통과시키고, 외부 링크는 항상 rel="noopener noreferrer"와 함께 새 탭으로 연다.
• localStorage에서 복원하는 값은 각 숫자 입력의 min·max로 제한하며, 유한수가 아닌 값·객체·과도하게 긴 문자열은 무시한다. GitHub Pages 사용자 사이트는 하나의 오리진을 모든 저장소가 공유하므로 저장된 상태를 신뢰하지 않는다.
• 사용자 입력과 카탈로그 값은 textContent로만 출력하고 eval·new Function은 사용하지 않는다.

각 문서의 검증일은 위 표를 따르며, 문서 상단의 최종 검증일 표기와 일치한다.

모든 운용 형태의 기본 구조는 다음과 같다.

필요 메모리
≈ resident model weights
+ 작업에 따라 증가하는 동적 메모리
+ 런타임·통신·allocator 작업 버퍼
+ 운영체제·도구·데이터 처리 메모리
+ 운영 안전 여유

모델 파일 크기는 위 식의 한 항목일 뿐이다. “다운로드 파일이 10GB이므로 12GB VRAM에서 안전하다”는 식으로 판단하면 긴 prompt, 멀티모달 입력, 동시 요청 또는 checkpoint 저장 시 OOM이 발생할 수 있다.

실제 계획에서는 다음 항목을 먼저 제외한다.

• 운영체제와 백그라운드 서비스
• 디스플레이, 브라우저, IDE와 notebook
• 드라이버·런타임 context
• 파일 캐시와 memory-mapped page
• allocator fragmentation과 임시 작업 버퍼
• 장시간 운용을 위한 안전 여유

개인 워크스테이션에서는 장착 메모리의 100%를 모델에 할당하지 않는다. 계산기의 기본 예약률을 출발점으로 사용하고 실제 peak를 측정해 조정한다.

같은 “4비트”라도 Q4_K_M, IQ4_XS, AWQ W4A16, GPTQ 4-bit, NF4, MLX 4-bit와 NVFP4는 같은 형식이 아니다. 런타임과 하드웨어가 실제로 최적화한 형식을 선택해야 한다.

특별한 이유가 없다면 다음 순서로 시작한다.

Q4 또는 하드웨어가 잘 지원하는 4-bit 형식
→ context 4K~8K, 동시 요청 1개
→ 실제 peak RAM·VRAM과 품질 측정
→ Q5·Q6 또는 더 큰 모델 검토
→ 긴 context와 동시성 단계적 증가

메모리에 간신히 들어가는 대형 Q2 모델보다 운영 여유를 남긴 한 단계 작은 Q4·Q5 모델이 실제 작업에서 더 안정적인 경우가 많다.

RAM-for-Local-AI/ # 이미지는 제외함
├── README.md
├── assets/            # 가이드 본문 설명용 SVG 다이어그램
├── guides/
│   ├── domains/
│   │   ├── cybersecurity.md
│   │   ├── programming-stem.md
│   │   ├── productivity-rag.md
│   │   └── data-analysis.md
│   ├── modalities/
│   │   ├── vision-ocr.md
│   │   ├── image-generation.md
│   │   └── audio-speech.md
│   └── operations/
│       ├── quantization.md
│       ├── fine-tuning-memory.md
│       ├── serving-concurrency.md
│       └── runtime-hardware.md
└── tools/
    └── memory-calculator/
        ├── index.html
        ├── styles.css
        ├── catalog.js
        └── app.js

guides/ 아래 11개 문서가 본문이며, 계산기에서 실제로 로드하는 핵심 파일은 index.html, styles.css, catalog.js, app.js 네 개다.

모델·양자화·하드웨어 결과를 추가할 때 가능한 한 다음 정보를 함께 기록한다.

“실행���”만 기록하지 말고, 어떤 설정에서 어느 정도의 여유와 속도로 실행됐는지 재현 가능하게 남긴다.

계산기 모델 데이터는 tools/memory-calculator/catalog.js에 있다. 가이드에서 모델 링크, 파일 크기, 최소 메모리 또는 권장 런타임을 수정할 때 계산기 카탈로그도 함께 검토해야 한다.

장기적으로는 다음과 같은 단일 데이터 원본 구조가 적합하다.

data/models.yaml 또는 data/models.json
        ↓
검증·생성 스크립트
        ↓
guides/*.md + tools/memory-calculator/catalog.js
        ↓
GitHub Actions 링크·schema·중복·검증일 검사

python -m http.server 8000

http://localhost:8000/tools/memory-calculator/

https://<GitHub-ID>.github.io/RAM-for-Local-AI/tools/memory-calculator/

• 사이버보안 가이드와 모델은 소유하거나 명시적으로 허가받은 시스템, 승인된 버그바운티 범위, CTF와 격리된 연구 환경에서만 사용한다.
• 로컬 실행은 외부 전송을 줄일 수 있지만 prompt, log, vector DB, cache, swap, 임시 이미지·오디오와 생성 파일에 민감정보가 남을 수 있다.
• 모델이 생성한 코드, SQL, 수식, 과학적 주장, 인용, 보안 판단과 고위험 도메인 결과는 독립적인 도구와 신뢰할 수 있는 출처로 검증한다.
• trust_remote_code, custom node, adapter, pickle, 임의 container와 비공식 quantization artifact는 공급망 위험을 검토한다.
• 이 레포지토리는 모델 가중치를 재배포하지 않는다. 각 모델, quantization, dataset와 runtime의 라이선스·사용 제한은 해당 공식 저장소를 따른다.
• 파일 크기와 메모리 표는 선택 보조 자료이며 특정 하드웨어의 속도, 품질, 안정성 또는 상업적 이용 가능성을 보장하지 않는다.

모델 생태계와 런타임은 빠르게 변한다. 이 레포지토리의 표와 계산 결과는 영구적인 사양이 아니라 검증일 당시 공개된 모델·파일·문서를 기준으로 한 용량 계획용 스냅샷이다.