AI 비용 절감 전에 먼저 해야 할 일: 토큰 가격표가 아니라 비용 장부부터 만들어야 합니다

AI 비용 관리는 “어떤 모델이 더 싸냐”가 아니라, 조직·프로젝트·모델·시간 단위로 사용량을 기록하는 비용 장부에서 시작됩니다.

들어가며 — 독자가 지금 이 문제를 검색하는 이유

사내 AI 도입이 데모 단계를 지나 실제 업무에 들어가면 질문이 달라집니다.

처음에는 이렇게 묻습니다.

“어떤 모델이 성능이 좋을까?”

“API 단가는 어디가 더 저렴할까?”

“Batch나 Prompt Cache를 쓰면 비용을 줄일 수 있을까?”

하지만 운영 단계에 들어가면 훨씬 현실적인 질문이 나옵니다.

“이번 달 AI 비용은 어느 팀에서 얼마나 썼나?”

“어떤 제품 기능에서 비용이 가장 많이 발생했나?”

“모델을 바꾸기 전에 실제 사용량을 기준으로 판단할 수 있나?”

“예산 초과를 언제, 누구에게 알려야 하나?”

이 질문에 답하려면 단순히 토큰 가격표를 비교하는 것만으로는 부족합니다.

먼저 필요한 것은 “AI 비용 장부”입니다.

OpenAI는 공식 OpenAPI 저장소와 API reference에서 조직 단위의 비용·사용량 조회와 관련된 API 스펙을 제공하고 있습니다. Anthropic도 조직 단위 Usage & Cost Admin API와 Enterprise용 비용·사용량 분석 API를 문서화하고 있습니다.

즉, 이제 AI 비용 관리는 감으로 추정하는 일이 아닙니다. 공급사 API에서 사용량과 비용 데이터를 가져와 내부 비용 장부로 정리하는 FinOps 문제에 가까워지고 있습니다.

AI 비용 절감은 단가표가 아니라 관측 데이터에서 시작됩니다

AI 비용을 줄이려는 조직이 가장 먼저 보는 것은 보통 모델 가격표입니다.

“입력 토큰은 얼마인가?”

“출력 토큰은 얼마인가?”

“더 싼 모델로 바꾸면 얼마나 줄어드는가?”

물론 단가는 중요합니다. 하지만 단가만 보면 놓치는 것이 있습니다.

실제 비용은 다음 요소가 함께 만들어냅니다.

• 어느 조직 또는 팀이 사용했는가
• 어떤 프로젝트 또는 제품 기능에서 호출했는가
• 어떤 모델을 사용했는가
• 언제 비용이 발생했는가
• 입력·출력 사용량이 어떻게 변했는가
• 특정 기간에 비용이 급증했는가

이 데이터를 모으지 않으면 비용 절감 논의는 쉽게 추측으로 흐릅니다.

예를 들어 “모델 A가 비싸다”는 말은 실제로 다음 중 하나일 수 있습니다.

• 모델 A의 단가가 높다
• 모델 A를 특정 기능에서 과도하게 호출하고 있다
• 같은 요청을 반복 호출하고 있다
• 출력 길이가 통제되지 않고 있다
• 특정 팀의 실험 트래픽이 운영 비용에 섞여 있다
• 예산 기준 없이 여러 프로젝트가 같은 조직 키를 공유하고 있다

이 차이를 구분하려면 먼저 비용 데이터를 구조화해야 합니다.

OpenAI의 공식 OpenAPI 저장소와 API reference는 조직 단위 API 관리와 비용·사용량 조회의 기준점으로 확인할 수 있습니다.

• OpenAI OpenAPI 공식 저장소: https://github.com/openai/openai-openapi
• OpenAI API reference: https://platform.openai.com/docs/api-reference

Anthropic도 조직 단위 사용량과 비용을 확인하기 위한 Usage and Cost API를 제공하며, 비용과 토큰 사용량을 시간 흐름에 따라 조회하는 분석 API 문서를 제공합니다.

• Anthropic Usage and Cost API: https://platform.claude.com/docs/en/manage-claude/usage-cost-api
• Anthropic Cost Over Time API: https://platform.claude.com/docs/en/api/beta/organization/analytics/cost/list
• Anthropic Token Usage Over Time API: https://platform.claude.com/docs/en/api/beta/organization/analytics/usage/list

핵심은 명확합니다.

AI 비용 절감의 첫 단계는 “싼 모델 찾기”가 아니라 “비용이 어디서 발생하는지 볼 수 있는 장부 만들기”입니다.

AI 비용 장부에는 무엇을 기록해야 할까

AI 비용 장부가 회계 장부처럼 복잡할 필요는 없습니다.

처음에는 최소한 다음 질문에 답할 수 있으면 됩니다.

“누가, 어떤 업무에서, 어떤 모델을, 얼마나 썼고, 비용은 어느 정도인가?”

이를 위해 기본 컬럼을 다음처럼 설계할 수 있습니다.

구분	컬럼 예시	목적
시간	date, hour, period	일별·시간대별 비용 추이 확인
조직	organization, workspace	조직 단위 비용 집계
팀	team, department	팀별 예산 배부
프로젝트	project, product, feature	제품·기능별 비용 추적
공급사	provider	OpenAI, Anthropic 등 공급사 구분
모델	model	모델별 비용·사용량 비교
사용량	input_tokens, output_tokens, total_tokens	토큰 사용량 분석
비용	cost	실제 비용 집계
환경	environment	실험·개발·운영 비용 분리
소유자	owner	비용 문의·개선 담당자 지정
메모	note	급증 원인, 캠페인, 배포 이력 등 기록

이 장부의 목적은 단순한 보고서 작성이 아닙니다.

비용 장부가 있어야 다음 판단이 가능해집니다.

• 특정 기능의 AI 비용이 제품 가치에 비해 과도한가
• 실험 비용과 운영 비용이 섞여 있지 않은가
• 모델 변경 전후 비용 차이를 실제 데이터로 비교할 수 있는가
• 예산 초과를 팀 단위로 감지할 수 있는가
• 비용 급증 시 원인을 추적할 수 있는가

특히 사내 AI 기능이 여러 팀에서 동시에 늘어나는 조직이라면, “월말 청구서 확인”만으로는 늦습니다.

비용은 운영 중에 관찰해야 하고, 팀과 기능 단위로 나눠 봐야 합니다.

공급사별 API 확인은 이렇게 시작합니다

AI 비용 장부를 만들 때 중요한 것은 한 번에 완벽한 FinOps 시스템을 구축하는 일이 아닙니다.

먼저 각 공급사가 어떤 단위의 비용·사용량 데이터를 제공하는지 확인해야 합니다.

OpenAI를 사용하는 경우에는 공식 OpenAPI 저장소와 API reference에서 조직 단위 비용·사용량 조회와 관련된 스펙을 확인해야 합니다.

Anthropic을 사용하는 경우에는 Usage and Cost API와 Enterprise용 분석 API 문서를 기준으로 확인할 수 있습니다. Anthropic 문서에는 비용 추이와 토큰 사용량 추이를 확인할 수 있는 API가 별도로 안내되어 있습니다.

이때 확인할 항목은 다음과 같습니다.

확인 항목	질문
조회 범위	조직 단위인가, 프로젝트 단위인가, 워크스페이스 단위인가
시간 단위	일별·시간대별 등 어느 단위로 집계할 수 있는가
모델 구분	모델별 사용량과 비용을 나눠 볼 수 있는가
토큰 구분	입력·출력 토큰을 구분할 수 있는가
비용 구분	실제 비용 또는 비용 추정치를 확인할 수 있는가
권한	누가 비용 API에 접근할 수 있는가
보안	API 키와 관리자 권한을 어떻게 분리할 것인가
내부 매핑	공급사 데이터와 사내 팀·프로젝트 정보를 어떻게 연결할 것인가

여기서 특히 중요한 부분은 “내부 매핑”입니다.

공급사 API가 비용 데이터를 제공하더라도, 그 데이터가 사내 팀·서비스·기능과 연결되지 않으면 운영 의사결정에 쓰기 어렵습니다.

예를 들어 비용 데이터에 모델과 기간은 있어도 어떤 제품 기능에서 발생했는지 알 수 없다면 개선 담당자를 찾기 어렵습니다.

반대로 프로젝트·팀·소유자 정보가 함께 기록되어 있으면 비용 초과 시 바로 원인을 좁힐 수 있습니다.

따라서 비용 API를 붙일 때는 단순히 데이터를 가져오는 것에서 끝내지 말고, 사내 비용 장부의 컬럼과 어떻게 연결할지 먼저 정해야 합니다.

바로 적용하는 체크리스트 또는 비교 기준

AI 비용 장부를 만들기 전, 다음 순서로 점검해보면 좋습니다.

1. 비용을 나눠 볼 기준을 먼저 정한다

• [ ] 조직 단위 비용만 볼 것인가
• [ ] 팀별 비용 배부가 필요한가
• [ ] 프로젝트 또는 제품 기능별 비용 추적이 필요한가
• [ ] 실험·개발·운영 환경을 분리해야 하는가
• [ ] 비용 책임자 또는 소유자를 지정할 것인가

2. 공급사 API에서 가져올 수 있는 데이터를 확인한다

• [ ] OpenAI 공식 OpenAPI 저장소와 API reference를 확인했는가
• [ ] Anthropic Usage and Cost API 문서를 확인했는가
• [ ] Anthropic Cost Over Time API를 확인했는가
• [ ] Anthropic Token Usage Over Time API를 확인했는가
• [ ] 모델별·기간별·조직별 조회 가능 범위를 확인했는가
• [ ] 필요한 항목 중 확인되지 않은 것은 “확인 필요”로 분리했는가

3. 내부 비용 장부 컬럼을 만든다

• [ ] date 또는 period
• [ ] organization 또는 workspace
• [ ] team 또는 department
• [ ] project 또는 product
• [ ] feature
• [ ] provider
• [ ] model
• [ ] input_tokens
• [ ] output_tokens
• [ ] total_tokens
• [ ] cost
• [ ] environment
• [ ] owner
• [ ] note

4. 예산과 알림 기준을 정한다

• [ ] 팀별 월 예산을 둘 것인가
• [ ] 프로젝트별 한도를 둘 것인가
• [ ] 비용 급증 기준을 어떻게 볼 것인가
• [ ] 알림을 받을 담당자는 누구인가
• [ ] 알림 후 조치 절차는 무엇인가

5. 모델 변경 전에 비용 기준선을 만든다

• [ ] 현재 모델별 비용을 기록했는가
• [ ] 주요 기능별 호출량을 확인했는가
• [ ] 입력·출력 토큰 비중을 나눠 봤는가
• [ ] 모델 교체 전후를 비교할 기준 기간을 정했는가
• [ ] 비용뿐 아니라 품질 저하 여부도 함께 볼 기준을 정했는가

이 체크리스트의 목적은 “절감 방법”을 바로 고르는 것이 아닙니다.

먼저 비용을 볼 수 있는 구조를 만드는 것입니다.

비용 장부가 없는 상태에서 모델을 바꾸면, 비용이 줄었는지 늘었는지조차 정확히 판단하기 어렵습니다.

반대로 비용 장부가 있으면 Batch, Prompt Cache, 모델 변경, 호출 설계 개선 같은 절감 방법을 더 정확하게 적용할 수 있습니다.

마무리 + 생각해볼 질문 1개

AI 비용 관리는 더 이상 월말 청구서를 보고 놀라는 방식으로 운영하기 어렵습니다.

사내 AI 사용이 늘어날수록 비용은 여러 팀, 여러 제품, 여러 모델에 흩어집니다.

이때 필요한 것은 “가장 싼 모델”을 찾는 일이 아니라, 비용이 발생하는 구조를 볼 수 있는 장부입니다.

OpenAI와 Anthropic 모두 조직 단위의 비용·사용량 확인을 위한 문서와 API를 제공하고 있습니다.

따라서 이제 AI 비용 관리는 개발팀만의 문제가 아니라, 제품·운영·재무가 함께 다뤄야 하는 FinOps 과제에 가깝습니다.

AI 비용 절감의 출발점은 단순합니다.

먼저 기록해야 합니다.

그다음 비교해야 합니다.

그리고 나서 줄여야 합니다.

생각해볼 질문은 하나입니다.

“우리 조직은 지금 AI 비용을 모델별로만 보고 있나요, 아니면 팀·제품·기능별로 설명할 수 있나요?”