나 ai알못인데, 딥러닝이긴한데 llm에 쓰이는 중요한 단어를 찾아내는 능력으로 쓰인거 아닐까
어텐션 기능이 들어간 트랜스퍼 모델이 네가 원하는 답일듯
익명(175.198)2024-12-03 17:51
그냥 나타난 능력일 걸. 언어모델이 크기랑 학습데이터 키우니까 그냥 잘 하게 된 거. 창발성이라고 부를거임.
원래 딥러닝이나 AI모델들은, 네 말처럼 목적을 가진 데이터를 학습시켜야함.
한-프 번역을 할거면, 한글과 프랑스어 번역 데이터를 넣어줘야 하고, QnA 질문봇을 만들거면 QnA 데이터를 학습시켜야함.
근데 LLM처럼 크기를 키우고 그냥 많이 학습 시켜보니까 번역도 해줘, 요약도 해줘, 시도 써줘, 질문도 대답해줘. 다 해주는거임.
아마도. 틀렸을 수 있으니 잘 아는 특붕이가 대답해줄거임.
나 ai알못인데, 딥러닝이긴한데 llm에 쓰이는 중요한 단어를 찾아내는 능력으로 쓰인거 아닐까 어텐션 기능이 들어간 트랜스퍼 모델이 네가 원하는 답일듯
그냥 나타난 능력일 걸. 언어모델이 크기랑 학습데이터 키우니까 그냥 잘 하게 된 거. 창발성이라고 부를거임. 원래 딥러닝이나 AI모델들은, 네 말처럼 목적을 가진 데이터를 학습시켜야함. 한-프 번역을 할거면, 한글과 프랑스어 번역 데이터를 넣어줘야 하고, QnA 질문봇을 만들거면 QnA 데이터를 학습시켜야함. 근데 LLM처럼 크기를 키우고 그냥 많이 학습 시켜보니까 번역도 해줘, 요약도 해줘, 시도 써줘, 질문도 대답해줘. 다 해주는거임. 아마도. 틀렸을 수 있으니 잘 아는 특붕이가 대답해줄거임.
어쩌다 가끔 창발적으로 나오는 걸 RLHF로 교정한거임.