Chat GPT의 Playground에서 chat, assistants, tts, completions의 차이점 알아보니..

Chat GPT의 Playground에서 chat, assistants, tts, completions의 차이점 알아보았어요

 

물론, ChatGPT의 Playground에서 다양한 기능들을 사용해보는 것은 흥미로운 일이죠! 그럼 각각의 기능을 간단히 설명해드릴게요:

1. Chat (채팅):

https://platform.openai.com/playground/chat?models=gpt-4o
   - Chat Completions API는 GPT 모델을 채팅 형식으로 사용할 수 있게 해줍니다.
   - 이 API를 사용하면 대화를 저장하고 이전 대화의 경험을 활용하여 다음 질문에 대한 답변을 생성할 수 있습니다.
   - `messages` 매개변수를 통해 역할(role)과 내용(content)로 구성된 객체 배열을 전달합니다. 역할은 시스템, 사용자, 어시스턴트로 설정할 수 있습니다.
   - Chat Completions는 문맥을 유지하며 유연하게 대화를 이어나갈 수 있는 장점이 있습니다

(최신버전 사용가능) gpt-4o-mini, gpt-4, gpt-4o, gpt-4o-turbo, gtp-3.5-turbo

1-1. Top P (Top-p 샘플링):
   - Top-p 샘플링은 누적 확률 분포에서의 임계값을 설정하는 방법입니다. 이 값은 0과 1 사이의 범위에서 조절할 수 있습니다.
   - 모델이 다음 토큰을 선택할 때, 누적 확률 분포 상에서 상위 p(주어진 값) 내의 토큰만 고려합니다. 
예를 들어, top_p가 0.9인 경우, 모델은 확률 분포 상에서 상위 90%의 토큰을 고려하여 출력을 생성합니다.
   - 값이 낮을수록 예측 가능한 텍스트가 생성되며, 값이 높을수록 더 다양한 단어와 문구가 생성됩니다.

1-2. Frequency penalty (빈도 패널티):
   - 빈도 패널티는 생성된 텍스트의 단어 빈도에 대한 패널티를 제어하는 파라미터입니다.
   - 특정 토큰이 응답 및 프롬프트에서 자주 등장할수록, 다음에 해당 토큰이 등장할 확률을 낮춥니다.
   - 빈도 패널티를 높이면 단어의 반복을 줄일 수 있습니다.

1-3. Presence penalty (프레젠스 패널티):
  - Presence penalty는 모델의 응답에서 특정 토큰의 존재 확률을 조절하는 파라미터입니다.
  - 이미 답변 텍스트에 나타난 단어가 다시 등장할 확률을 제어합니다. 즉, 해당 단어가 이미 나왔다면 그 단어가 다시 나타날 가능성을 조절합니다.
  - 이 값은 -2부터 2까지의 범위에서 설정할 수 있으며, 기본값은 0입니다.
  - 예를 들어, presence penalty를 높게 설정하면 이미 나온 단어들이 더 드물게 나타날 것이고, 낮게 설정하면 더 자주 나타날 수 있습니다.

이렇게 설정을 조정하면 ChatGPT의 응답 다양성과 특정 단어의 반복을 조절할 수 있습니다. 

2. Completions :

 

 

https://platform.openai.com/playground/complete
https://platform.openai.com/docs/api-reference/completions

 

Legacy라는 용어는 더 이상 업데이트를 받지 않을 모델 및 엔드포인트를 가리킵니다. 

OpenAI에서는 플랫폼의 방향성을 나타내기 위해 엔드포인트와 모델을 legacy로 태그 지정하며, 개발자들이 보다 최신 모델이나 엔드포인트로 마이그레이션하는 것을 유도합니다.

이전에 사용되던 Completions API (Legacy)는 2023년 7월에 최종 업데이트를 받았으며, 새로운 채팅 완성 엔드포인트와는 다른 인터페이스를 가지고 있습니다.

이전 Completions API에서는 메시지 목록이 아닌 자유 형식의 텍스트 문자열을 입력으로 사용했습니다. 

이 문자열은 프롬프트라고도 부르며, AI 모델이 생성할 텍스트의 시작점을 설정하는 역할을 합니다.

 

 - Completions API는 특정 문장을 이어서 완성하거나 새로운 텍스트를 형성하는 기능을 제공합니다.
   - Token log probabilities와 Inserting text 기능을 활용할 수 있습니다.
   - Token log probabilities는 각 토큰 예측에 대한 확률 분포를 보여주며, Inserting text는 긴 글을 작성할 때 유용합니다

[구버전] GPT-3.5, babbage-002, davinci-002

그래서 어떤 API를 사용해야 할까요? Chat Completions API는 채팅 형식으로 대화를 유지하며 문맥을 고려하여 답변을 생성할 수 있습니다. 

반면 Completions API는 단일 문장을 완성하거나 긴 글을 작성할 때 유용합니다. 

두 API는 사용하는 GPT 모델이 다르며, 가격 차이도 있으니 사용 목적에 맞게 선택하시면 됩니다

Start Text (시작 텍스트): 이 설정은 사용자가 “제출” 버튼을 클릭할 때 트리거됩니다. "AI:"라는 키워드가 자동으로 프롬프트에 추가되고, 완성된 텍스트가 생성됩니다. 이렇게 하면 대화의 시작을 설정할 수 있습니다.

Inject Restart Text (재시작 텍스트 삽입): 이 설정은 패턴화된 대화 구조를 유지하기 위해 사용됩니다. 완성된 텍스트의 끝에 "Human:"이라는 키워드가 자동으로 추가됩니다. 그런 다음 사용자는 “Human:” 다음에 직접 인간적인 응답을 작성하고 대화를 계속할 수 있습니다.

이 기능은 레거시 Completions에서만 지원되며, Playground의 채팅 모드에서는 사용할 수 없습니다. 현재 GPT-3.5 및 GPT-4에서는 이러한 기능을 사용할 수 없습니다.

3. TTS

음성(TTS) 기능을 활용할 수 있다는 것입니다. 챗GPT의 음성 기능은 단순히 글자를 음성으로 읽어주는 것 이상으로 다양한 방법으로 활용할 수 있어요. 예를 들면:

학습 및 대화 연습: 음성을 통해 언어 학습을 하거나 대화를 연습할 수 있습니다. 발음 교정도 받아볼 수 있죠.
컨텐츠 읽기: 긴 텍스트를 음성으로 듣는 것은 편리합니다. 블로그 글, 뉴스 기사, 책의 일부 등을 읽어보세요.
안내 및 지시: 음성으로 안내를 듣는 것은 특히 운전 중이나 다른 활동을 할 때 유용합니다.
물론, OpenAI Playground는 여러 가지 설정도 제공합니다. 예를 들어, 응답의 온도를 조정하면 무작위성을 조절할 수 있고, 토큰 수를 제한하여 응답 길이를 조절할 수도 있습니다.

 

4. assistants

사용자 정의(Customization): 지침과 모델을 구성하여 보조자를 특정 작업이나 역할에 맞게 조정할 수 있습니다.
도구 통합(Tools Integration): 보조자(assistants)는 파일 검색, 벡터 저장소 및 코드 해석기와 같은 다양한 도구를 활용하여 기능을 향상시킬 수 있습니다.
모델 구성: 응답 형식(response format), 온도(temperature), API 버전 등의 설정을 조정하여 어시스턴트의 동작을 미세 조정할 수 있습니다.
협업: 협업 개발을 위해 조직 내에서 플레이그라운드 메시지와 구성을 공유할 수 있습니다.

temperature : 

Temperature는 OpenAI의 언어 모델에서 사용되는 매개변수 중 하나입니다. 이것은 모델이 생성하는 텍스트의 무작위성을 조절하는 역할을 합니다.

- 낮은 온도 (Low Temperature): 예를 들어, 0.2와 같이 낮은 값을 설정하면 모델의 응답이 일관되고 예측 가능해집니다. 
하지만 이 경우에는 조금 더 기계적으로 느껴질 수 있습니다. 즉, 모델이 더 확실한 선택을 하게 됩니다.

- 중간 온도 (Medium Temperature): 기본값은 1입니다. 
중간 값인 1.0을 사용하면 모델의 응답이 다양해지며, 일정한 일관성과 창의성을 유지합니다.

- 높은 온도 (High Temperature): 1보다 높은 값을 설정하면 모델의 출력이 더 무작위하고 창의적으로 변합니다. 
하지만 때로는 예측이 불안정해질 수 있습니다. 예를 들어, 1.2 정도의 높은 온도를 설정하면 창의성을 유지하면서도 모델의 응답이 다양해집니다.

따라서 목표에 따라 온도를 조절하여 모델의 출력을 조정할 수 있습니다. 
창의성이 필요한 경우에는 약간 높은 온도를 시도해보시고, 특정한 일관성이 필요한 경우에는 낮은 온도를 선택하시면 됩니다