azosi · 2026.11.14 00:08 · 조회 0

llama.cpp 1.0 공개 — 폐기 API 35개 제거, 로컬 AI 판 바뀐다

AIllamacppGGML로컬AI오픈소스추론엔진반도체제약없는AI

로컬에서 LLM을 돌리는 C/C++ 추론 엔진 llama.cpp가 드디어 1.0에 도달했다. 2026년 11월 13일 나온 v1.0.0은 성능 발표가 아니라 API 계약이다. 3년 넘게 쌓인 공개 헤더에서 폐기된 함수를 걷어내고, 어떤 변경이 호환성을 깨는지 공식 규칙으로 박아둔 첫 안정판이다.

llama.cpp는 2023년 3월 시작된 프로젝트다. 양자화와 하드웨어별 백엔드로 PC부터 서버까지 한 코드로 LLM을 돌게 만들었고, 로컬 AI와 사내망 배포의 사실상 표준 런타임이 됐다. 다만 공개 API가 계속 쌓여 버전 간 호환성을 판단하기 어려웠다.

1.0이 정한 규칙

ggml-org 프로젝트 전반에 시맨틱 버저닝 규칙이 공식 명세로 고정됐다.

변경 유형버전 올림
MAJOR./include의 공개 C API를 깨는 변경
MINOR하위 호환 기능, 백엔드 업데이트, 모델 지원, API 추가
PATCHAPI 변경 없는 버그 수정

앞으로 llama.cpp와 ggml은 API·ABI 호환성이 깨지는 순간 메이저 버전을 올린다. 릴리스 이력상 v0.9.0(11월 4일) 다음이 v1.0.0이며, 아직 v1.x는 하나뿐이다.

걷어진 것과 새로 들어온 것

가장 큰 변화는 제거다. PR #30565(11월 12일 병합)가 llama_set_warmup을 포함한 폐기 함수 35개와 defrag_thold 옵션을 제거했다. 추가 100줄, 삭제 418줄, 23개 파일 변경 규모다. 같은 PR에서 NextN(speculative) API를 llama-ext.h에서 llama.h로 올렸고 llama_set_embd_state_src는 llama_set_ctx_state_src로 이름이 바뀌었다. 이미 이 라이브러리를 쓰던 코드는 마이그레이션이 필요하다는 뜻이다.

추론 기능도 함께 넓어졌다.

  • FP8 KV cache: OCP 규격 -ctk/-ctv f8_e4m3, 정적 per-tensor scale 옵션
  • MoE expert cache: 호스트 메모리 캐시와 CPU 비중 조절 파라미터 moe_cache_size·moe_cache_cpu_share
  • 외부 PLE/engram shard: --shard/--ple로 별도 GGUF 가중치 로드
  • 새 아키텍처 4종: Kimi-K3.1-Pro(MLA 레이어를 DSA로 교체), Ripple-65B-Preview(ricursive), xing4_0(mHC·MLA·MoE·MTP), drama-3 TTS(fishaudio)
  • 비전·오디오: MageVL-Cowork, Kimi-K3.1 vision, Gemma 4 스트리밍 오디오 입력

서버는 보안이 먼저

llama-server 변경분에는 방어가 먼저 들어온다. SSRF, CORS 프록시, DNS 리바인딩 결함이 수정됐고, MCP 툴 호출은 연결 끊김이나 타임아웃 시 취소돼 서버에 통지된다. --allow-unauthenticated-tools와 --media-allow-private-urls는 명시적 opt-in으로 바뀌었고, HF_TOKEN은 huggingface.co 호스트로만 전달된다. 기능 쪽으로는 OpenAI 호환 /v1/audio/speech 엔드포인트와 /tts의 temperature 옵션이 붙었다. 웹 UI는 채트 그룹과 마크다운 실시간 편집기를 중심으로 개편됐다.

ggml 1.0.0 — 성능 축

추론 엔진 ggml도 함께 1.0을 맞았다. 레거시 DIAG_MASK 연산 제거, YaRN truncation 설정, FP8 지원이 추가됐고, CUDA·Metal의 few-row 양자화 matmul과 MoE fusion, Vulkan prefill FlashAttention 경로, SYCL 디바이스 사이드 MoE 스케줄러가 들어갔다. RPC 프로토콜은 호환되지 않는 peer를 거부하도록 바뀌었다.

왜 지금 중요한가

바이너리 에셋 없이 Homebrew·conda-forge·Winget·Docker 같은 패키징 채널로 배포된다.

2026년 11월 14일 기준 저장소는 별 약 13만 5천 개, 포크 2만 5천 개를 모았고 MIT 라이선스로 공개돼 있다. 11월 13일 하루에만 v1.0.0을 제외하고 nightly 빌드가 19건(b12336~b12373) 올라갔다. 이 속도에서 버전 간 호환성 판단은 반드시 필요한 질문이고, 1.0 표장은 그 답이다 — 메이저 버전 간 API 호환성이 공식 보장된다.

다만 1.0이 성능을 끌어올렸다는 뜻은 아니다. 변경 내역은 API 정리와 백엔드 최적화가 중심이고, 숫자로 비교 가능한 처리량 개선은 릴리스 노트에 없다. 업그레이드 전에는 자신의 워크로드에서 확인할 게 남는다.

출처

댓글

아직 댓글이 없습니다.

댓글을 작성하려면 로그인이 필요합니다.