AWS 6

AWS Bedrock knowledge bases을 batch로 사용하는 예제 코드

AWS Bedrock knowledge bases을 batch로 사용하는 예제 코드  # python  import boto3# AWS Boto3 클라이언트 초기화s3_client = boto3.client('s3')bedrock_client = boto3.client('bedrock')# S3 버킷 설정input_bucket = 'your-input-bucket-name'output_bucket = 'your-output-bucket-name'input_file = 'input-data.jsonl' # JSON Lines 형식의 입력 파일output_file = 'output-data.jsonl'local_file_path = 'path/to/your/local/input-data.jsonl' # ..

빅데이터/AWS 2024.11.08

AWS Root 계정과 IAM 계정 비교 해보니..

AWS Root 계정과 IAM 계정 비교 해보았어요  # AWS Root 계정정의: AWS 계정을 처음 만들 때 생성되는 계정으로, 모든 AWS 서비스와 리소스에 대한 완전한 접근 권한을 가집니다.접근 권한: 모든 AWS 리소스에 대한 완전한 접근 권한을 가지며, 계정 설정, IAM 사용자 생성 등의 중요한 작업을 수행할 수 있습니다.보안: Root 계정은 매우 중요한 계정이므로, 보안을 위해 Multi-Factor Authentication (MFA)를 활성화하고, 일반적인 작업에는 사용하지 않는 것이 좋습니다.초기 생성: AWS 계정을 처음 만들 때 생성되며, 계정을 생성한 이메일 주소와 비밀번호로 로그인합니다. # IAM User(Identity and Access Management) 정의: AW..

빅데이터/AWS 2024.11.06

라마 3.1 모델의 다양한 버전에 대한 설치 용량/AWS 인스턴스

Llama 3.1은 Meta에서 개발한 최신 오픈 소스 언어 모델로, 다양한 작업에 적용됩니다. 장점:성능: Llama 3.1 405B는 최고 성능의 폐쇄형 모델에 필적하는 탁월한 유연성과 통제권을 갖춘 동급 최강의 모델입니다. 다국어 지원과 뛰어난 추론 능력을 제공하여 다양한 작업에 적합합니다컨텍스트 길이: Llama 3.1은 컨텍스트 길이가 12만8000개 (128K)로 확장되어 있어 더 긴 문맥을 이해하고 처리할 수 있습니다.오픈 소스: Llama 3.1은 오픈 소스로 공개되어 개발자들이 활용하고 커스터마이징할 수 있습니다.단점:자원 요구: Llama 3.1은 규모가 큰 모델이므로 GPU 리소스와 메모리를 많이 필요로 합니다. 따라서 실행 환경을 선택할 때 이 점을 고려해야 합니다.훈련 시간: Ll..

AWS Reserved Instance (RI), Instance Usage 쉬운 설명

Reserved Instance (RI)는 AWS에서 제공하는 서버 리소스를 미리 예약하는 개념입니다. RI는 마치 미리 예약한 자리 같아요. 예를 들어, 학교에서 운동장에서 축구를 하려고 할 때, 친구들과 함께 미리 어떤 위치에 서기로 약속을 한다고 상상해보세요. 그 위치는 우리가 미리 예약한 자리처럼, RI도 미리 예약한 서버 자원의 일부를 의미합니다.이제 두 가지 중요한 용어를 설명해볼게요:Reserved Instance Monthly Prepayment (Size Flexibility Applied)이건 매월 1일에 나오는 비용인데, 마치 매달 우리가 학교에서 책을 빌리는 비용이에요. 그런데 이 비용이 0이 되면, 우리가 미리 예약한 자리를 100% 다 사용한 것이에요. 즉, 우리가 미리 예약한 ..

네트워크 2024.08.09

AWS 로드 밸런싱 확인/모니터링 방법

AWS에서는 로드 밸런싱 상황을 모니터링할 수 있는 여러 방법 AWS의 **CloudWatch** 서비스를 사용하여 로드 밸런서의 성능 지표를 모니터링하고, 트래픽 패턴을 분석할 수 있습니다. 또한, 로드 밸런서의 상태 확인 기능을 통해 대상 그룹의 서버가 정상적으로 작동하는지 확인할 수 있으며, 필요한 경우 트래픽을 건강한 서버로만 리디렉션할 수 있습니다. AWS 콘솔에서 로드 밸런서의 세부 정보 페이지를 열어 **Network mapping** 탭을 확인하거나, 로드 밸런서의 DNS 이름을 사용하여 HTTP로 로드 밸런싱 상태를 확인할 수도 있습니다. AWS 콘솔에서 로드 밸런서의 세부 정보 페이지를 열어 **Network mapping** 탭을 확인하거나, 로드 밸런서의 DNS 이름을 사용하여 HT..

AWS 로드 밸런싱 테스트 방법 알아보니...

aws 로드 밸런싱 테스트 방법 알아보았어요 AWS 로드 밸런싱이란? AWS 로드 밸런서는 클라우드 환경에서 애플리케이션의 확장성을 관리하는 데 사용됩니다. 이는 사용자와 서버 인스턴스 사이에 위치하여 트래픽을 분산하고 요청을 처리할 수 있는 사용 가능한 인스턴스를 찾아줍니다. 로드 밸런서는 다음과 같은 주요 역할을 수행합니다: 애플리케이션 가용성 향상: 서버 장애 또는 유지 관리로 인한 애플리케이션 가동 중지 시간을 최소화합니다. 서버 문제를 자동으로 감지하고 클라이언트 트래픽을 사용 가능한 서버로 리디렉션하여 내결함성을 높입니다. 애플리케이션 확장성 제공: 여러 서버 간에 네트워크 트래픽을 지능적으로 전달하여 수천 개의 클라이언트 요청을 처리할 수 있습니다. 필요한 경우 서버를 추가하거나 제거하여 애..