[일반] 잼민이 소설 번역할때 온도 몇이 좋을까

[익명(118.220)]

대충 1.5정도면 괜찮나?

2는 너무 날림으로 하는거 같고

[익명(flexible7412)]

뭔소리임 왤케올려 판타지 정도 해도 0.6이고 문학이면 더 낮춰야함

[ㅇㅇ 1(118.216)]

온도 너무 낮추면 "아아아아아"처럼 반복되는 문장에서 무한루프 걸려버려서 높여둠 top K 2 + top P 0.9라 이론상 확률 10% 이하인 토큰은 안 뽑으니 큰 문제는 안 될거라 봄 첨언하자면 번역은 샘플링 파라미터를 그리디 샘플링(확률이 최대인 토큰 선택)에 가깝게 하는 게 좋다는 건 잘 알려져 있고, 이것때문에 보통 온도를 0~0.1로 맞추는 경우가 흔한데 앞서 말한 반복 문제 때문에 온도로 그리디 샘플링을 흉내낼 수가 없음. 그래서 top K를 2로 설정해서(1로 설정하면 그리디 샘플링) 그리디 샘플링에 가깝게 하되 반복되는 토큰이 아닌 다른 토큰을 고를 여지를 주는 거

[ㅇㅇ 1(118.216)]

이 상태에서 온도를 높여서 다른 토큰이 선택될 확률을 높이면 반복 문제는 조금이나마 완화 가능하고, 상위 두 개만 후보로 고려하는 상황이기 때문에 온도를 꽤 높이더라도 큰 문제가 발생하진 않음 다만 확률이 정말 낮은 경우(예를 들면 0.01%)가 후보로 고려되는 게 문제일 텐데 이건 top P로 자르고(여기선 사실상 일종의 min .P와 동일한 역할을 함) 만약 온도를 낮추고 싶다면 다른 토큰이 선택될 확률이 줄어드는 만큼 top P는 0.9가 아니라 0.95~0.99쯤으로 더 높게 설정해야 할 것임

[ㅇㅇ 1(118.216)]

물론 원문 자체에 반복이 거의 없는 경우는 그냥 온도 자체를 낮게 할 수도 있음

[ㅇㅇ 2(124.59)]

온도 0으로하고 추론에 의성어 먼저 처리하도록 하셈