ChatGPT처럼 한 글자씩 도착하는 응답의 뒤에는 Streamable HTTP가 있다. HTTP/1.1 chunked와 HTTP/2 DATA frame의 차이, LLM 토큰 스트리밍에서 버퍼링을 꺼야 하는 이유와 그 메모리 대가, 그리고 Envoy Gateway와 APISIX 선택 기준까지.
ingress-nginx EOL 이후 Gateway API 구현체 비교: Envoy Gateway, Istio, NGINX Gateway Fabric, Cilium의 성능과 특성, 그리고 환경별 전환 판단 기준
ArgoCD App of Apps에서 ApplicationSet PR Generator로 전환하며 PR Preview를 완전 자동화한 구축기. CSI Secret 부트스트래핑, PreDelete Hook 우회, Race Condition 해결까지.
Next.js + NestJS 모노레포에서 GitHub Actions, ArgoCD, AKS로 구축한 CI/CD 파이프라인. PR별 격리 Preview 환경, 변경 감지 기반 선택적 빌드, GitOps 배포, 자동 cleanup을 다룹니다.
Kubernetes 1.35에서 IPVS 모드가 deprecated되었다. 많은 사람들이 eBPF를 기대했지만, 선택된 것은 nftables였다. 그 배경과 마이그레이션 방법을 정리한다.
100개 이상의 LLM을 단일 OpenAI 형식으로 통합하는 LiteLLM. SDK와 Proxy Server의 차이, 실제 운영 경험, 도입 판단 기준을 공유합니다.
Claude 구독 만료 대비 LiteLLM Proxy 기반 LLM fallback 인프라를 K3s + Cloudflare Tunnel로 구성한 과정을 정리합니다.