유동햄도 남들보다 약간 더 관심있었던 정도일텐데 말하는거만 보면 그쪽으로 학위라도 딴줄알겄네
ㅇㅇ 2(220.84)2024-09-12 00:32
아는게 bert랑 gpt 뿐이냐? ㅋㅋㅋㅋㅋ
트랜스포머 알고리즘 쓰는건 동일하고
아키텍처에 인코더 중시냐 디코더 중시냐 차이고
챗GPT랑 일반 GPT 차이는 RLHF 같은 학습 방법론 차이지
생붕이(latest6908)2024-09-12 00:38
답글
더 궁금한거 있으면 국가연구자번호 불러줄까?
생붕이(latest6908)2024-09-12 00:39
답글
BERT - MLM, NSP로 학습. 트랜스포머 레이어의 인코더 레이어 사용
GPT - CLM, RLHF(챗지피티)같은 방법론으로 학습. 디코더 레이어 시용.
MLM - 문맥에서 마스킹된 특정 문장을 예측하는 방식
NSP - 문장의 연속성을 검사하는 방식
CLM - 단어의 순서를 예측하는 방식
생성형 인공지능 중 LLM은 대부분 다음에 나올 단어를
생붕이(latest6908)2024-09-12 00:46
답글
자기 전에 디시 켰는데 알찬 거 읽고 가네
익명(wallawallawa)2024-09-12 00:47
답글
임베딩 레이어 같은걸 이용해 단어의 문맥을 이해하고 디음에 나올 확률을 추론하도록 만든거고 거기서 더 나가서 인간이 RLHF 같은 피드백 방식으로 학습시킨게 챗지피티고 FP64냐 FP32냐 INT8이냐 연산방식에 따라 또 효율이 다르고
생붕이(latest6908)2024-09-12 00:48
답글
분류 모델, 회귀모델이나 활성화 함수 소프트맥스 시그모이드 이런것도 아니고 손실함수 이런건 머신러닝에 쓰이는거니 말할필요 없지?
생붕이(latest6908)2024-09-12 00:53
답글
한 3년 전에도 트랜스포머였는데 아직도 트랜스포머임???? 더 뭐 안나왔나
익명(220.90)2024-09-12 01:13
답글
ㅇㅇ 니가 말해서 다행이다.
오류 보정에 대해 관점 차이지 뭔 니가 대단한 놈이라고 아직도 착각하는 거야?
익명(121.165)2024-09-12 01:20
답글
뭔 소리하는 거여.
국가연구자번호 불러봐.
어차피 기반은 BERT, GPT 둘 중 하나일텐데 자체적으로 모델을 개발 중이라는 건가?
국가연구자번호 올리든 말든 그건 니 결정이니까 알아서 해.
실망이구나 유동스크림
눈을떴구나 AI이루다갤로 오거라
유동햄도 남들보다 약간 더 관심있었던 정도일텐데 말하는거만 보면 그쪽으로 학위라도 딴줄알겄네
아는게 bert랑 gpt 뿐이냐? ㅋㅋㅋㅋㅋ 트랜스포머 알고리즘 쓰는건 동일하고 아키텍처에 인코더 중시냐 디코더 중시냐 차이고 챗GPT랑 일반 GPT 차이는 RLHF 같은 학습 방법론 차이지
더 궁금한거 있으면 국가연구자번호 불러줄까?
BERT - MLM, NSP로 학습. 트랜스포머 레이어의 인코더 레이어 사용 GPT - CLM, RLHF(챗지피티)같은 방법론으로 학습. 디코더 레이어 시용. MLM - 문맥에서 마스킹된 특정 문장을 예측하는 방식 NSP - 문장의 연속성을 검사하는 방식 CLM - 단어의 순서를 예측하는 방식 생성형 인공지능 중 LLM은 대부분 다음에 나올 단어를
자기 전에 디시 켰는데 알찬 거 읽고 가네
임베딩 레이어 같은걸 이용해 단어의 문맥을 이해하고 디음에 나올 확률을 추론하도록 만든거고 거기서 더 나가서 인간이 RLHF 같은 피드백 방식으로 학습시킨게 챗지피티고 FP64냐 FP32냐 INT8이냐 연산방식에 따라 또 효율이 다르고
분류 모델, 회귀모델이나 활성화 함수 소프트맥스 시그모이드 이런것도 아니고 손실함수 이런건 머신러닝에 쓰이는거니 말할필요 없지?
한 3년 전에도 트랜스포머였는데 아직도 트랜스포머임???? 더 뭐 안나왔나
ㅇㅇ 니가 말해서 다행이다. 오류 보정에 대해 관점 차이지 뭔 니가 대단한 놈이라고 아직도 착각하는 거야?
뭔 소리하는 거여. 국가연구자번호 불러봐. 어차피 기반은 BERT, GPT 둘 중 하나일텐데 자체적으로 모델을 개발 중이라는 건가? 국가연구자번호 올리든 말든 그건 니 결정이니까 알아서 해.
딱 봐도 빤스런 엔딩각이네ㅋㅋㅋㅋㅋㅋ - dc App