PTU와 과금 이해하기

PTU(Provisioned Throughput Unit)는 모델과 관계없이 같은 기준으로 서빙 용량을 세는 단위예요. 모든 모델에 같은 PTU 단가가 적용되고, 모델마다 다른 건 1 PTU가 분당 처리할 수 있는 토큰량이에요. 계약할 때 트래픽에 맞춰 예약할 PTU 수량을 정해요.

​

과금 기준

단가는 모델과 워크로드 형태에 관계없이 같아요. 계약 용량 안에서는 보낸 토큰 수가 아니라 예약한 PTU 수량을 기준으로 과금돼요.

​

1 PTU당 처리 용량

1 PTU가 분당 처리할 수 있는 토큰량(TPM)이에요. 모델마다, 그리고 토큰 유형(캐시되지 않은 입력, 캐시된 입력, 출력)마다 달라요. 표의 값은 모델별 기본값이에요. 계약에서 1 PTU당 처리 용량을 다르게 정할 수 있고, 그 경우 모델 페이지와 Estimate total cost 계산기도 계약에서 정한 값을 기준으로 계산해요.

​

PTU와 절감액 예상하기

모든 모델 페이지에 Estimate total cost 계산기가 있어요. 초당 최대 요청 수, 캐시 적중률(cache hit rate), 요청당 평균 입력·출력 토큰 수를 입력하면 필요한 PTU 수와 예상 월 비용, 비교 대상으로 고른 프론티어(frontier) 모델 대비 예상 절감액을 보여줘요.

​

계산 예시

예를 들어 MiniMax M3를 8 PTU로 계약하면, 분당 아래 중 하나만큼 처리할 수 있어요.

• 캐시되지 않은 입력 토큰 1,333,336개
• 캐시된 입력 토큰 6,666,664개
• 출력 토큰 333,336개

실제 트래픽은 세 유형이 섞여 있어서, 각 유형이 용량의 일부를 나눠 써요. PTU당 분당 $0.05로 계산하면 8 PTU는 하루 $576이에요. Estimate total cost 계산기는 한 달을 730시간으로 잡기 때문에, 같은 8 PTU가 한 달에 약 $17,520이 돼요.

​

용량을 초과하는 트래픽

예약한 PTU가 SLA로 보장되는 용량을 정해요. 그 용량을 넘는 트래픽은 SLA 적용 대상이 아니에요. SLA 이해하기를 참고하세요. 용량을 자주 초과한다면 세일즈팀에 문의해서 PTU를 추가할 수 있어요.