AWS Bedrock의 온디맨드 요금과 프로비저닝된 처리량 요금 알아보니...

AWS Bedrock의 온디맨드 요금과 프로비저닝된 처리량 요금 알아보았어요

 

 

온디맨드 요금

 

: 이 요금은 사용자가 필요한 만큼의 리소스를 실시간으로 사용할 수 있는 가격입니다. 

 

예를 들어, 특정 기능이나 서비스를 사용하는 동안 발생하는 비용을 말합니다.

 

 

 

프로비저닝된 처리량 요금

 

: 이 요금은 사용자가 미리 예약한 처리량을 기반으로 계산됩니다. 

 

예를 들어, 특정 기간 동안 일정한 처리량을 사용할 예정이라고 예약하면, 그 기간 동안의 비용을 미리 지불하고 사용할 수 있습니다.

 

미리 예약한 처리량을 초과하게 되면 온디맨드 요금이 적용됩니다. 

 

초과된 부분은 실시간 사용량 기준으로 계산되며, 추가 비용이 부과될 수 있습니다. 

 

이렇게 하면 고객이 예상치 못한 상황에서도 서비스를 계속 이용할 수 있어요.

 

 

AWS Bedrock의 배치 처리(batch processing) 요금제

 

 

 사용자가 대규모 인공지능(AI) 및 머신러닝(ML) 작업을 실행할 수 있도록 설계된 요금제입니다.

 

AWS Bedrock은 특히 AI 모델을 대규모로 배포하고, 관리하며, 비용 효율적으로 운영할 수 있는 환경을 제공합니다.

 

1. 기본 개념

- 배치 처리(batch processing): 배치 처리는 대량의 데이터를 한꺼번에 처리하는 방식으로,

실시간(interactive) 처리와는 다르게 주로 일정한 간격으로 미리 정의된 작업 세트를 수행합니다.

 

2. 요금 구조

AWS의 요금 구조는 전반적으로 사용량 기반이며, AWS Bedrock 역시 주로 사용량에 따라서 요금이 부과됩니다.

이는 다음 요소에 기반하여 결정될 수 있습니다.

 

- 컴퓨팅 시간: 사용하는 인스턴스의 종류와 사용 시간에 따라 요금이 부과됩니다. 이는 AWS의 다른 서비스와 유사하게 초 단위로 청구될 수 있으며, 모델의 크기와 작업의 복잡성에 따라 선택하는 인스턴스의 크기가 달라질 수 있습니다.

 

- 데이터 전송: 데이터 입출력에 대한 비용이 별도로 부과될 수 있습니다. 특히, AWS 외부로 전송되는 데이터에 대한 요금이 적용됩니다.

 

- 추가 서비스: 특정 ML 기능이나 모델 관리 등 추가적인 AWS 서비스와 통합하여 사용할 경우 추가비용이 발생할 수 있습니다.

 

3. 비용 관리 및 절감 방법

- 스팟 인스턴스 활용: AWS는 스팟 인스턴스를 통해 유휴 인프라를 저렴하게 제공합니다.

배치 작업은 하늘 높이 요구사항이 없을 경우 이 방식을 통해 상당한 비용을 절감할 수 있습니다.

 

- 리저브드 인스턴스와 절약 플랜: 예상 사용량이 일정할 경우, 리저브드 인스턴스를 통해 장기적인 사용 예약으로 비용을 감소시킬 수 있습니다.

 

- 최적화 된 모델 사용: 작업에 적합한 최적화된 모델을 사용함으로써, 자원 사용률을 극대화하고 비용을 줄일 수 있습니다.

 

4. 참고사항

- 실제 사용 요금은 지역 및 인스턴스 종류에 따라 다를 수 있으며, AWS 공식 요금 페이지를 통해 최신 정보를 확인하는 것이 권장됩니다.

 

- 비용 절감과 최적화를 위해 AWS의 Cost Explorer와 같은 도구를 활용하여 사용 패턴을 모니터링하고 분석해 최적의 인스턴스 선택 및 예약을 할 수 있습니다.

 

AWS Bedrock의 배치 요금제는 많은 데이터를 효율적으로 처리하기 위해 사용되며, 제공합니다.

 

이를 통해 기업은 머신러닝 작업을 보다 경제적이고 효율적으로 관리할 수 있습니다.

 

 

 

# 요금 비교

 

AI 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금	입력 토큰 1,000개당 요금(배치)	출력 토큰 1,000개당 요금(배치)	리전
Jamba 1.5 Large	0.002 USD	0.008 USD
Jamba 1.5 Mini	0.0002 USD	0.0004 USD
Jurassic-2 Mid	0.0125 USD	0.0125 USD
Jurassic-2 Ultra	0.0188 USD	0.0188 USD
Jamba-Instruct	0.0005 USD	0.0007 USD
Amazon Titan 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금	입력 토큰 1,000개당 요금(배치)	출력 토큰 1,000개당 요금(배치)
Amazon Titan Text Lite	USD 0.00015	USD 0.0002	해당 사항 없음	해당 사항 없음
Amazon Titan Text Express	USD 0.0002	USD 0.0006	해당 사항 없음	해당 사항 없음
Amazon Titan Text Embeddings	USD 0.0001	해당 사항 없음	해당 사항 없음	해당 사항 없음
Amazon Titan Text Embeddings V2	USD 0.00002	해당 사항 없음	USD 0.00001	해당 사항 없음
Anthropic 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금	입력 토큰 1,000개당 요금(배치)	출력 토큰 1,000개당 요금(배치)
Claude 2.0	0.008 USD	0.024 USD	해당 사항 없음	해당 사항 없음	미국 동부(버지니아 북부) 및 미국 서부(오레곤)
Claude 2.0/2.1	0.008 USD	0.024 USD	0.004 USD	0.012 USD	아시아 태평양(싱가포르)
Claude 2.0/2.1	0.008 USD	0.024 USD	해당 사항 없음	해당 사항 없음	아시아 태평양(도쿄)
Claude 2.0/2.1	0.008 USD	0.024 USD	해당 사항 없음	해당 사항 없음	유럽(프랑크푸르트)
Claude 2.1	0.008 USD	0.024 USD	해당 사항 없음	해당 사항 없음	미국 동부(버지니아 북부) 및 미국 서부(오레곤)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	아시아 태평양(도쿄)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	아시아 태평양(싱가포르)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	유럽(파리)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	유럽(프랑크푸르트)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	남아메리카(상파울루)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	미국 동부(버지니아 북부) 및 미국 서부(오레곤)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	아시아 태평양(뭄바이)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	아시아 태평양(시드니)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	유럽(런던)
Claude 3 Haiku	0.00025 USD	0.00125 USD	0.000125 USD	0.000625 USD	캐나다(중부)
Claude 3 Haiku	0.00025 USD	0.00125 USD	해당 사항 없음	해당 사항 없음	미국 동부(오하이오)
Claude 3 Haiku	0.00025 USD	0.00125 USD	해당 사항 없음	해당 사항 없음	아시아 태평양(서울)
Claude 3 Opus*	0.015 USD	0.075 USD	0.0075 USD	0.0375 USD	미국 서부(오리건)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	남아메리카(상파울루)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	미국 동부(버지니아 북부) 및 미국 서부(오레곤)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	아시아 태평양(뭄바이)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	아시아 태평양(시드니)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	유럽(런던)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	유럽(파리)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	유럽(프랑크푸르트)
Claude 3 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	캐나다(중부)
Claude 3.5 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	아시아 태평양(도쿄)
Claude 3.5 Sonnet	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	유럽(프랑크푸르트)
Claude 3.5 Sonnet**	0.003 USD	0.015 USD	0.0015 USD	0.0075 USD	미국 서부(오리건)
Claude 3.5 Sonnet	0.003 USD	0.015 USD	해당 사항 없음	해당 사항 없음	미국 동부(오하이오)
Claude 3.5 Sonnet	0.003 USD	0.015 USD	해당 사항 없음	해당 사항 없음	아시아 태평양(서울)
Claude 3.5 Sonnet	0.003 USD	0.015 USD	해당 사항 없음	해당 사항 없음	아시아 태평양(싱가포르)
Claude Instant	0.0008 USD	0.0024 USD	0.0004 USD	0.0012 USD	아시아 태평양(싱가포르)
Claude Instant	0.0008 USD	0.0024 USD	해당 사항 없음	해당 사항 없음	미국 동부(버지니아 북부) 및 미국 서부(오레곤)
Claude Instant	0.0008 USD	0.0024 USD	해당 사항 없음	해당 사항 없음	아시아 태평양(도쿄)
Claude Instant	0.0008 USD	0.0024 USD	해당 사항 없음	해당 사항 없음	유럽(프랑크푸르트)
Cohere 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금
Command	0.0015 USD	0.0020 USD
Command-Light	0.0003 USD	0.0006 USD
Command R+	0.0030 USD	0.0150 USD
Command R	0.0005 USD	0.0015 USD
Embed - 영어	0.0001 USD	해당 사항 없음
Embed - 다국어	0.0001 USD	해당 사항 없음
메타 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금	입력 토큰 1,000개당 요금(배치)	출력 토큰 1,000개당 요금(배치)
Llama 3.2 Instruct(1B)	USD 0.0001	USD 0.0001	USD 0.00005	USD 0.00005
Llama 3.2 Instruct(3B)	USD 0.00015	USD 0.00015	USD 0.000075	USD 0.000075
Llama 3.2 Instruct(11B)	USD 0.00035	USD 0.00035	USD 0.000175	USD 0.000175
Llama 3.2 Instruct(90B)	USD 0.002	USD 0.002	USD 0.001	USD 0.001
메타 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금	입력 토큰 1,000개당 요금(배치)	출력 토큰 1,000개당 요금(배치)
Llama 3.1 Instruct(8B)	USD 0.00022	USD 0.00022	USD 0.00011	USD 0.00011
Llama 3.1 Instruct(70B)	USD 0.00099	USD 0.00099	USD 0.0005	USD 0.0005
Llama 3.1 Instruct(405B)	USD 0.00532	USD 0.016	USD 0.00266	USD 0.008
메타 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금
Llama 3 Instruct(8B)	USD 0.0003	USD 0.0006
Llama 3 Instruct(70B)	USD 0.00265	USD 0.0035
메타 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금
Llama 2 Chat(13B)	0.00075 USD	0.001 USD
Llama 2 Chat(70B)	0.00195 USD	0.00256 USD
Mistral 모델	입력 토큰 1,000개당 요금	출력 토큰 1,000개당 요금	입력 토큰 1,000개당 요금(배치)	출력 토큰 1,000개당 요금(배치)
Mistral 7B	USD 0.00015	USD 0.0002	해당 사항 없음	해당 사항 없음
Mixtral 8*7B	USD 0.00045	USD 0.0007	해당 사항 없음	해당 사항 없음
Mistral Large(24.02)	USD 0.004	USD 0.012	해당 사항 없음	해당 사항 없음
Mistral Large 2(24.07)	USD 0.002	USD 0.006	USD 0.0015	USD 0.0045
Stability AI 모델	생성된 이미지당 요금
Stable Image Core	0.04 USD
SD3 Large	0.08 USD
Stable Image Ultra	0.14 USD

 

Amazon Titan 모델	약정이 없는 모델당 시간당 요금*	1개월 약정 시 모델 단위당 시간당 요금*	6개월 약정 시 시간당 요금**
Amazon Titan Text Lite	USD 7.10	USD 6.40	USD 5.10	프로비저닝된 처리량 요금
Amazon Titan Text Express	USD 20.50	USD 18.40	USD 14.80	프로비저닝된 처리량 요금
Amazon Titan Embeddings	해당 사항 없음	USD 6.40	USD 5.10	프로비저닝된 처리량 요금
Amazon Titan Image Generator v1	해당 사항 없음	USD 16.20	USD 13.00	프로비저닝된 처리량 요금
Amazon Titan Image Generator v1(사용자 지정 모델)	USD 23.40	USD 21.00	USD 16.85	프로비저닝된 처리량 요금
Amazon Titan Image Generator v2	USD 23.40	USD 16.20	USD 13.00	프로비저닝된 처리량 요금
Amazon Titan Image Generator v2(사용자 지정 모델)	USD 23.40	USD 21.00	USD 16.85	프로비저닝된 처리량 요금
Amazon Titan Multimodal Embeddings	USD 9.38	USD 8.45	USD 6.75	프로비저닝된 처리량 요금
Cohere 모델	무약정 시 모델별 시간당	1개월 약정 시 모델 단위당 시간당 요금	6개월 약정 시 모델 단위당 시간당 요금
Cohere Command	49.50 USD	39.60 USD	23.77 USD	프로비저닝된 처리량 요금
Cohere Command - Light	8.56 USD	6.85 USD	4.11 USD	프로비저닝된 처리량 요금
Embed - 영어	7.12 USD	6.76 USD	6.41 USD	프로비저닝된 처리량 요금
Embed - 다국어	7.12 USD	6.76 USD	6.41 USD	프로비저닝된 처리량 요금
Meta 모델	모델 단위당 시간당 요금(약정 없음)	1개월 약정 시 모델 단위당 시간당 요금	6개월 약정 시 모델 단위당 시간당 요금
Llama 3.1 Instruct(8B)	USD 24.00	USD 21.18	USD 13.08	프로비저닝된 처리량 요금
Llama 3.1 Instruct(70B)	USD 24.00	USD 21.18	USD 13.08	프로비저닝된 처리량 요금
메타 모델		1개월 약정 시 모델 단위당 시간당 요금	6개월 약정 시 모델 단위당 시간당 요금
Llama 2 Pretrained 및 Chat(13B)		21.18 USD	13.08 USD
Llama 2 Pretrained(70B)		21.18 USD	13.08 USD
Stability AI 모델		1개월 약정 시 모델 단위당 시간당 요금*	6개월 약정 시 모델 단위당 시간당 요금*
SDXL 1.0		49.86 USD	46.18 USD