Temperature, Top-p, Presence Penalty 및 Frequency Penalty는 GPT-3와 같은 언어 모델에서 일반적으로 사용되는 기술입니다.

Temperature 온도:
온도는 생성된 텍스트의 무작위성을 조절하는 하이퍼파라미터입니다. 낮은 온도는 더 보수적이고 예측 가능한 출력을 생성하며, 높은 온도는 더 다양하고 예상치 못한 출력을 생성합니다. 온도가 낮을 때 모델은 가장 확률이 높은 다음 단어를 선택하는 경향이 있으며, 높은 온도는 대안 옵션을 더 탐색합니다.

Top-p:
Top-p는 언어 모델에서 다양하고 일관된 출력을 생성하기 위해 사용되는 기술 중 하나입니다. 이 기술은 상위 k개의 가장 확률이 높은 단어를 선택하는 것으로 작동하며, k는 확률 임계값 p에 따라 동적으로 결정됩니다.

예를 들어, 임계값 p가 0.9로 설정되어 있고 모델의 출력 분포가 다음과 같다고 가정해 봅시다.

이 경우, 상위 3개의 가장 확률이 높은 단어 (“the”, “a”, “cat”)의 누적 확률이 0.9를 초과하기 때문에 모델은 이 3개의 단어 중 하나를 선택합니다.

만약 임계값 p가 0.5로 설정되어 있다면, 상위 10개의 가장 확률이 높은 단어 (“the”, “a”, “cat”, “sat”, “on”, “mat”, “it”, “was”, “and”, “ate”)의 누적 확률이 0.5를 초과하기 때문에 모델은 이 10개의 단어 중 하나를 선택합니다.

Top-p는 불필요한 단어나 문장을 생성하지 않고 일관된 텍스트를 생성하는 데 도움이 됩니다. 이는 텍스트 생성 작업에서 유용하게 사용됩니다.

Presence penalty 존재 패널티::
Presence penalty는 모델이 특정 단어나 구를 포함하지 않도록 하는 기술입니다. 이것은 생성된 텍스트의 로그 우도 점수를 수정하여 특정 단어나 구의 존재를 벌점을 부여하여 작동합니다. 이는 편견이 없는 텍스트를 생성하거나 민감한 주제를 피하는 데 유용할 수 있습니다.

Frequency penalty 빈도 페널티:
Frequency penalty는 모델이 더 다양하고 반복적이지 않은 텍스트를 생성하도록 유도하는 기술입니다. 이것은 생성된 텍스트의 로그 우도 점수를 수정하여 특정 단어나 구의 반복을 벌점을 부여하여 작동합니다. 이는 흥미로운 읽기를 위한 매력적인 텍스트를 생성하는 데 유용할 수 있습니다.