[일반] 근데 LLM이 어떻게 번역을 하는거임?

[익명(59.25)]

4o mini랑 gemini 2 flash만 하더라도 굴러다니는 

번역 전용 프롬프트 먹여주면 deepl이나 구글번역기보다 훨씬 좋은 결과물이 나옴

llm 원리가 그냥 무지성 단어예측기 아니었냐?

무슨 구조로 번역을 하는건지 대충 알려줄사람

[익명(211.201)]

무지성 단어 예측기 맞아 그냥 구글번역기나 deepl보다 사전학습한 언어모델이 성능이 좋은듯 4o나 플래시같은 경량화 모델은 더 큰 패러미터로 학습한 이전세대 대규모 모델을 먼저 구축하고 그거로 만든 합성 데이터 기반으로 사전 학습 진행한 거같음

[FIREKICK(firekick)]

1. "apple을 한글로 번역해봐" 라는 문장이 들어왔을때 적절한 문장을 생성 -> "사과" 2. 수억 수십억 수백억개의 (1)같은 예제들은 무지성 학습 3. 어캐 되는건진 모르겠지만 이제 "Yaa~ Feel so good!" -> "야~ 기분좋다!" 가 가능해짐

[익명(59.25)]

? 문장을 무지성 학습하면 아무튼 글을 잘 쓰고 문맥을 이해할 수 있는데 이유는 모름. 이거임??

[익명(pqiwgow)]

번역 전용 프롬포트 공유좀

[익명(59.25)]

아카라이브 ai 채널에 가면 많이 있음. 롤플레이는 안하는데 은근 유용한 프롬프트도 많아서

[특붕이(222.112)]

o1 pro 답변
https://chatgpt.com/share/676fb465-b770-8004-9c3d-04bf711a9b7b

[익명(virtue7920)]

임베딩이라는 개념을 배워보면 재밌을 건데, 모든 언어에서 문장을 임베딩으로 변환하면 같은 의미를 가진 문장은 유사한 임베딩 벡터를 가짐. 번역이란 그냥 임베딩 벡터가 비슷한 다른 언어의 문장을 찾는 과정. 왜인지는 몰루?

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

번역 데이터를 학습했으니 번역에 맞춰서 번역하는 거지. 그 과정에서 A언어로 된 문장과 B언어로 된 문장의 벡터 유사도를 학습해 번역을 할 줄 아는거

[익명(59.25)]

그럼 아예 데이터에 존재하지 않을 법한 단어들은 어떻게 적절하게 번역할 수 있는거임?

[익명(59.25)]

quilockjobiinqueinbidam 도 한글로 번역하고 발음하는 방법 알려달라고 했는데 다 해주던데

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

알파벳 순서로 정확한 문장이여지만 벡터가 결정되는게 아님. 단어와 단어 간의 순서로 벡터를 학습하는 거라 오타로 인해 틀린 단어가 나오거나 띄어쓰기 안 된 문장 역시 벡터유사도는 원단어와 비슷함

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

데이터에 완전히 존재하지 않을 법한 학습하지 않은 단어들도 임베딩 레이어(임베딩 모델)에 의해 벡터로 변환될 수 있고 벡터 유사도 비교가 가능함

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

단어만 벡터화 가능한게 아니라 그림. 음악 온갓데이터 전부 벡터화가 가능함. 단어로 그림 검색하는게 벡터화 덕분임

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

애플은 사과다라는 문장을 학습했다치면 애플과 사과라는 문장을 벡터화했을때 비슷한 유사도를 가지도록 임베딩 레이어를 정렬하면서 학습이 진행되고 사과를 영어로 번역해줘라는 요구를 했을때 번역이라는 벡터에 의해 사과라는 벡터의 같은 유사도를 가진 애플이라는 문장을 예측하는 식

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

임베딩 레이어는 단어를 의미(단어와 단어의 관계 = 유사도)를 가진 벡터로 바꾸는 거고 트랜스포머 레이어가 변환된 문장을 학습해서 예측하는거. 애플은 사과다. 학습 애플과 사과가 유사도를 가진 벡터로 변환되도록 임베딩 레이어가 정렬됨과 동시에 트랜스포머가 이를 예측하도록 학슴

[익명(210.91)]

그래서 초기에 스케일이 전부다! 이런 말도 나온 거. 초창기 언어모델은, 번역을 시킬거면 특정 언어 번역 관련 데이터를 학습 시켰어야 했음. 영-한 번역모델을 만들거면 영-한 데이터. 영-일 모델은 영-일 데이터를 필요로 했음. QnA 챗봇은 QnA 데이터를 학습시켰어야 했고. 근데, LLM 즉, 대형언어모델처럼 크기를 그냥 키우고 데이터를 그냥 마구 넣어보니까 얘가 딱히 번역 목적이 아니었어도 번역을 해줌. QnA도 해줌. 이렇게 없던 능력이, 모델이랑 데이터 크기만 키웠는데 튀어나오는 걸 창발성이라고 부름. 그래서, 이정도만 키웠는데 이런 능력이 튀어나왔다면, 더 키울수록 더 엄청난 능력이 나타나겠네? 라고 해서 스케일 키우는 쪽으로 AI쪽이 방향 잡았을거임.

[익명(59.25)]

LLM 개발한 쪽도 어떻게 창발성이 나타나는지 모르는거?

[익명(210.91)]

ㅇㅇ 그럴 걸. 추측은 당연히 다들 하고 있지만 증명하는 건 다른 문제니까... 모델 커지니까 뭐 된다고 치자. 그런데 왜 특정 파라미터를 넘어가면서 등장하냐. 다음에 나타날 능력은 어느 지점부터냐. 등등 명확하진 않으니까. 그래서, 개발자도 AI를 완벽히 이해 못 했다. 라고 할 때 언급되는 요소 중에 하나일거임. 딥러닝 자체가 원래 블랙박스라서 하는 말이기도 하지만.

[정상인모방시도(gaze0693)]

예측을 하려면 추론능력이 있어야함..