HPE, AI 코딩 에이전트 토큰 비용 30~50% 절감

휴렛팩커드 엔터프라이즈(HPE)가 AI 코딩 에이전트의 반복 작업을 사내 프라이빗 클라우드로 옮겨 토큰 비용을 30~50% 낮췄다고 발표했습니다. 복잡한 계획은 고성능 모델에 맡기고, 코드 생성·테스트·수정 같은 반복 작업은 사내 오픈웨이트 모델로 처리하는 방식입니다. HPE는 LiteLLM 게이트웨이로 작업 난도·데이터 민감도·예산·지연을 기준으로 모델을 자동 배분합니다.

핵심 내용

• HPE는 하이브리드 Azure와 HPE PCAI 환경에서 150개 이상 애플리케이션을 지원하며, 반복 작업을 사내 모델로 처리해 토큰 비용 30~50% 절감을 달성했다고 밝혔습니다 (상세 산정 방식 미공개, HPE 내부 분석 기준)
• 게이트웨이는 작업 난도·데이터 민감도·예산·응답 지연을 기준으로 모델을 배분하며, LiteLLM 게이트웨이와 예산 통제를 적용합니다
• HPE 내부 사용량은 일부 사용자에게 집중되었으며, 상위 5%가 소비 대부분을 차지했고, 최다 사용자는 최소 사용자보다 약 450배 많이 사용했습니다
• HPE는 토큰 지출 외에 활성 개발자 1인당 비용, 승인된 PR당 비용을 측정 지표로 제시했지만 실제 측정값은 공개하지 않았습니다
• 가트너는 AI 코딩 비용이 2028년 평균 개발자 급여를 넘어설 것으로 전망하며, 단순 작업엔 작은 모델을, 복잡한 과제엔 고성능 모델을 배정하는 방식을 권고했습니다

써먹을 수 있는 점

• 코딩 에이전트 비용이 부담스럽다면, 복잡한 계획·설계는 고성능 모델(Claude Opus, GPT-4 등)에 맡기고 코드 생성·테스트·리팩토링 같은 반복 작업은 작은 모델이나 사내 모델로 분리하는 방식을 검토해볼 수 있습니다
• LiteLLM 같은 게이트웨이를 도입하면 작업 난도·데이터 민감도·예산에 따라 모델을 자동 배분할 수 있어, 수동으로 모델을 바꾸는 번거로움을 줄일 수 있습니다
• 팀 내 AI 코딩 도구 사용량이 일부 개발자에게 집중될 수 있으므로, 라이선스 수만 보지 말고 실제 토큰 소비량·활성 개발자당 비용·승인된 PR당 비용을 함께 추적하면 예산 예측이 더 정확해집니다
• 사내 프라이빗 클라우드나 오픈소스 모델을 운영할 여건이 된다면, 반복 작업을 내부로 가져와 퍼블릭 API 호출을 줄이는 구조를 실험해볼 수 있습니다

여러분 팀은 AI 코딩 도구 비용을 어떤 방식으로 관리하고 계신가요?