테스트의 모든것

Chat Completions API는 배치(batch) 처리를 지원하지만, Assistants API는 미지원 하는 이유 알아보니....   https://platform.openai.com/docs/api-reference/streaming스트리밍은 Chat Completions API와 Assistants API 모두에서 지원되는데https://platform.openai.com/docs/api-reference/batchbatch에서 Chat Completions API는 지원되는데 Assistants API 는 미지원하는 이유는 뭘까요?Chat Completions API와 Assistants API는 각각 다른 목적과 사용 사례를 염두에 두고 설계되었습니다. Chat Completions AP..

Chat GPT의 Playground에서 chat, assistants, tts, completions의 차이점 알아보았어요 물론, ChatGPT의 Playground에서 다양한 기능들을 사용해보는 것은 흥미로운 일이죠! 그럼 각각의 기능을 간단히 설명해드릴게요:1. Chat (채팅):https://platform.openai.com/playground/chat?models=gpt-4o   - Chat Completions API는 GPT 모델을 채팅 형식으로 사용할 수 있게 해줍니다.   - 이 API를 사용하면 대화를 저장하고 이전 대화의 경험을 활용하여 다음 질문에 대한 답변을 생성할 수 있습니다.   - `messages` 매개변수를 통해 역할(role)과 내용(content)로 구성된 객체 배열..

chat gpt fine-tuning 제한 사항 알아보았어요 물론입니다! Fine-tuning(미세 조정)은 사전 훈련된 언어 모델을 특정 작업이나 도메인에 맞게 사용자 정의하는 강력한 기술입니다. 아래에서 미세 조정과 관련된 몇 가지 내용을 자세히 살펴보겠습니다:미세 조정이란?미세 조정은 사전 훈련된 모델의 파라미터를 작업과 관련된 작은 데이터셋에 맞게 조정하는 과정입니다. 이는 전이 학습의 한 형태입니다.사전 훈련된 모델이 이미 가지고 있는 지식을 활용하고, 처음부터 훈련하지 않고 새로운 데이터에 적응시키는 것이 목적입니다.미세 조정은 성능 향상, 지연 시간 감소, 비용 절감에 도움이 됩니다.미세 조정의 장점:적은 샷 학습 개선: 사전 훈련된 모델은 이미 큰 텍스트 코퍼스에서 훈련되었으므로 지식이 풍..

Chat Completions API /Chat Completions API/ Assistants API 차이점 알아보았어요 Assistants API:Assistants API는 Azure OpenAI에서 제공하는 강력한 도구로, 개발자가 자신의 애플리케이션 내에서 정교한 AI 어시스턴트를 만들 수 있게 해줍니다.주요 기능:지시사항(Instructions): 개발자는 어시스턴트의 성격과 능력을 조정하기 위해 구체적인 지시사항을 제공할 수 있습니다.도구(Tools): 어시스턴트는 OpenAI에서 제공하는 도구뿐만 아니라 외부에서 호스팅되는 사용자 정의 도구도 활용할 수 있습니다. 예를 들어, 코드 인터프리터나 지식 검색 도구를 사용할 수 있습니다.스레드(Threads): 어시스턴트는 지속적인 스레드에 접..

chat gpt Fine-tuning 비용 알아 보았어요.  GPT-4O-2024-08-06:입력 토큰 기준:$2.50 / 1M (일반 API)$1.25 / 1M (Batch API)출력 토큰 기준:$10.00 / 1M (일반 API)$5.00 / 1M (Batch API)GPT-4O-미니-2024-07-18:입력 토큰 기준:$0.150 / 1M (일반 API)$0.075 / 1M (Batch API)출력 토큰 기준:$0.600 / 1M (일반 API)$0.300 / 1M (Batch API)모델 임베딩 (텍스트 임베딩-3-작은):토큰 기준:$0.020 / 1M (일반 API)$0.010 / 1M (Batch API)모델 미세 조정 (GPT-4O-미니-2024-07-18):입력 토큰 기준:$0.30 / ..

meta-llama/Meta-Llama-3.1-405Bmeta-llama/Meta-Llama-3.1-405B-Instructmeta-llama/Meta-Llama-3.1-405B-FP8meta-llama/Meta-Llama-3.1-405B-Instruct-FP8각각 차이점 알아보니.... eta-Llama 3.1 시리즈는 대규모 언어 모델(Large Language Models, LLMs) 분야에서 큰 발전을 이룬 것으로, 세 가지 다른 변형을 제공합니다405B 파라미터 모델, 중간 규모의 70B 모델, 그리고 더 간단한 8B 모델입니다.Llama 3.1 405B : 이 모델은 매우 큰 규모로, 405B 파라미터를 가지고 있습니다. 다양한 언어에서 높은 품질의 대화를 생성하는 데 최적화되었습니다. 성능 ..

chat gpt Fine-tuning 어떻게 하나 알아보니.. 사전 훈련과 미세 조정(fine-tuning)은 자연어 처리 모델을 개발하는 데 중요한 두 단계입니다.두개의 차이점은 어떻게 될까요? 사전 훈련 (Pre-training):사전 훈련은 모델이 일반적인 언어 이해 능력을 학습하는 단계입니다.모델은 대규모 텍스트 데이터를 사용하여 문법, 어휘, 상식 등을 학습합니다.예를 들어, GPT 모델은 사전 훈련 단계에서 수억 개의 문장을 처리하며 언어 패턴을 파악합니다.사전 훈련된 모델은 “few-shot” 학습으로도 다양한 작업을 수행할 수 있습니다.미세 조정 (Fine-tuning):미세 조정은 사전 훈련된 모델을 특정 작업에 맞게 조정하는 단계입니다.예를 들어, 특정 분류 작업이나 질문 답변 작업을 ..

chat gpt 정밀도와 정확도 테스트 방법 알아보았어요 1. chat gpt 를 테스트 하려면 어떻게 해야 할까요? 인간과의 비교: ChatGPT의 답변을 인간의 답변과 비교하여 정확도를 평가할 수 있습니다. 다양한 주제에 대한 질문을 생성하고 인간이 제공한 답변과 비교하여 모델의 정확성을 측정할 수 있습니다. 표준화된 벤치마크 사용: 표준화된 테스트 세트 또는 벤치마크를 사용하여 모델의 성능을 평가할 수 있습니다. 예를 들어, 대화 형태의 데이터셋으로 미리 정의된 테스트 세트를 사용하여 모델의 성능을 평가할 수 있습니다. 인간 평가자에게 피드백 받기: 모델의 답변에 대한 품질을 평가하기 위해 인간 평가자를 사용할 수 있습니다. 여러 평가자가 주어진 질문에 대한 모델의 답변을 평가하고 평균 점수를 계산..

테스트 자동화 역량을 키우는 방법을 알아보았어요 1. 테스트 자동화란 테스트 자동화(Test Automation)는 소프트웨어 개발 및 품질 관리 과정에서 사용되는 중요한 개념 중 하나로, 다음과 같이 정의됩니다: 테스트 자동화란, 인간의 개입 없이 컴퓨터 프로그램 또는 스크립트를 사용하여 소프트웨어 응용 프로그램을 자동으로 테스트하고 결과를 평가하는 프로세스를 말합니다. 테스트 자동화의 목적은 다음과 같습니다: 효율성 향상: 수동 테스트는 반복적이고 시간 소모적일 수 있습니다. 자동화를 통해 반복적인 테스트 작업을 자동으로 수행함으로써 시간과 노력을 절약할 수 있습니다. 일관성과 정확성: 자동화된 테스트 스크립트는 항상 동일한 방식으로 테스트를 수행하므로 일관성과 정확성을 제공합니다. 인간 에러를 줄이..