컨테이너의 안전함에서 벗어나기 — NanoClaw에서 Hermes로
컨테이너 격리는 안전했지만 그만큼 기능도 제약됐다. 자율성과 지속적 발전을 염두에 두면 제한을 풀어야 하고, 풀면 보안이 따라와야 한다. 그 중간 합의점으로 Hermes를 택하며 겪은 실제 사례를 정리한다.
ai-agent hermes nanoclaw llm-provider agent-skills gateway
#gateway 3개
AI 게이트웨이는 왜 버퍼링을 꺼야 하는가 — 스트리밍 응답의 내부
ChatGPT처럼 한 글자씩 도착하는 응답의 뒤에는 Streamable HTTP가 있다. HTTP/1.1 chunked와 HTTP/2 DATA frame의 차이, LLM 토큰 스트리밍에서 버퍼링을 꺼야 하는 이유와 그 메모리 대가, 그리고 Envoy Gateway·APISIX 선택 기준까지.
ai llm gateway envoy apisix streaming sse http2 kubernetes devops
LiteLLM으로 LLM API 통합하기 — 개인 인프라에서 엔터프라이즈까지
100개 이상의 LLM을 단일 OpenAI 형식으로 통합하는 LiteLLM. SDK와 Proxy Server의 차이, 실제 운영 경험, 도입 판단 기준을 공유합니다.
ai llm gateway openai devops kubernetes