ChatGPT처럼 한 글자씩 도착하는 응답의 뒤에는 Streamable HTTP가 있다. HTTP/1.1 chunked와 HTTP/2 DATA frame의 차이, LLM 토큰 스트리밍에서 버퍼링을 꺼야 하는 이유와 그 메모리 대가, 그리고 Envoy Gateway와 APISIX 선택 기준까지.
개인 LLM Wiki를 블로그 발행까지 확장하며, 글쓰기 skill을 버리고 위키 기반 workflow로 갈아탄 설계 판단을 정리한다. 발행물이 AI처럼 보이는 원인을 어휘, 톤, 사고과정으로 좁히고, 발행할수록 위키가 글투를 배우는 구조를 만들었다.
개인 지식베이스를 raw 자료 저장소가 아니라 출처와 승급 경계를 가진 LLM Wiki로 구성하며 남긴 설계 판단. inbox/source/context 3계층으로 '아직 쓰면 안 되는 것'과 '재사용해도 되는 것'을 나누고, Git을 원본 경로로 Obsidian을 조작면으로 둔 운영 구조를 정리한다.
Karpathy가 제안한 LLM Wiki 아이디어가 무엇이고, 기존 RAG와 어떻게 다르며, 1년 만에 등장한 10여 개 구현체가 각각 어떤 문제를 푸는지 정리한다. '손실 압축'과 '스케일 한계'라는 본질적 비판도 함께 살펴본다.
100개 이상의 LLM을 단일 OpenAI 형식으로 통합하는 LiteLLM. SDK와 Proxy Server의 차이, 실제 운영 경험, 도입 판단 기준을 공유합니다.