AI 게이트웨이는 왜 버퍼링을 꺼야 하는가 — 스트리밍 응답의 내부
ChatGPT처럼 한 글자씩 도착하는 응답의 뒤에는 Streamable HTTP가 있다. HTTP/1.1 chunked와 HTTP/2 DATA frame의 차이, LLM 토큰 스트리밍에서 버퍼링을 꺼야 하는 이유와 그 메모리 대가, 그리고 Envoy Gateway·APISIX 선택 기준까지.
ChatGPT처럼 한 글자씩 도착하는 응답의 뒤에는 Streamable HTTP가 있다. HTTP/1.1 chunked와 HTTP/2 DATA frame의 차이, LLM 토큰 스트리밍에서 버퍼링을 꺼야 하는 이유와 그 메모리 대가, 그리고 Envoy Gateway·APISIX 선택 기준까지.
ingress-nginx EOL 이후 Gateway API 구현체 비교 — Envoy Gateway, Istio, NGINX Gateway Fabric, Cilium의 성능과 특성, 그리고 환경별 전환 판단 기준
ArgoCD App of Apps에서 ApplicationSet PR Generator로 전환하며 PR Preview를 완전 자동화한 구축기. CSI Secret 부트스트래핑, PreDelete Hook 우회, Race Condition 해결까지.
Next.js + NestJS 모노레포에서 GitHub Actions, ArgoCD, AKS로 구축한 CI/CD 파이프라인. PR별 격리 Preview 환경, 변경 감지 기반 선택적 빌드, GitOps 배포, 자동 cleanup을 다룹니다.
Kubernetes 1.35 Timbernetes 릴리스의 주요 신규 기능과 변경 사항을 정리합니다. In-Place Pod Resource Updates, Image Volumes, IPVS Deprecation 등 60개 개선 사항을 다룹니다.
Kubernetes 1.35에서 GA가 된 In-Place Pod Resize. Pod을 죽이지 않고 리소스를 동적으로 변경하는 원리, 실전 활용법, 주의사항을 정리합니다.
Kubernetes 1.35에서 IPVS 모드가 deprecated되었다. 많은 사람들이 eBPF를 기대했지만, 선택된 것은 nftables였다. 그 배경과 마이그레이션 방법을 정리한다.
KEP-4639 기반 Image Volumes 기능으로 OCI 이미지를 Pod에 읽기 전용 볼륨으로 직접 마운트하는 방법과 동작 원리, 활용 사례를 정리합니다.
Claude 구독 만료 대비 LiteLLM Proxy 기반 LLM fallback 인프라를 K3s + Cloudflare Tunnel로 구성한 과정을 정리합니다.
100개 이상의 LLM을 단일 OpenAI 형식으로 통합하는 LiteLLM. SDK와 Proxy Server의 차이, 실제 운영 경험, 도입 판단 기준을 공유합니다.