[일반] 트랜스포머가 머노

[익명(sniff9173)]

념글 이해거 안되노

[익명(b4z1hj7n3jh5)]

오토봇, 집결하라

[익명(211.213)]

Attention Is All You Need

[부패하는유전자!!!(sansss2015)]

그정도는 코파일럿헌테 물어봐

[익명(222.111)]

https://www.google.com/search?q=%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%97%90%EC%84%9C%EC%9D%98+%ED%8A%B8%EB%9E%9C%EC%8A%A4%ED%8F%AC%EB%A8%B8%EA%B0%80+%EB%AD%90%EC%95%BC%3F&rlz=1CDGOYI_enKR850KR851&oq=%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5%EC%97%90%EC%84%9C%EC%9D%98+%ED%8A%B8%EB%9E%9C%EC%8A%A4%ED%8F%AC%EB%A8%B8%EA%B0%80+%EB%AD%90%EC%95%BC%3F&gs_lcrp=EgZjaHJvbWUyBggAEEUYOTIKCAEQABiABBiiBDIKCAIQABiABB

[익명(121.168)]

영화안봤냐 범블비 삐삐븃

[하늘섬(spelling8070)]

고졸임?

[ㅇㅋ(ijh2005)]

ai알고리즘의 한 종류이고 gpt포함해서 현재 거대모델어쩌구저쩌구하는것들 전부 이거 기반으로돌아가는거임

[ㅇㅋ(ijh2005)]

트랜스포머기반이란건 어텐션이라는 아키텍처를 사용한ai모델이라는건데 어텐션이 다른 알고리즘에 비교해서 가지는 차별성을 ㅈㄴ 쉽게 말하면 정보내의 요소간 의미맥락을 포착하는데 최적화된 구조임

[익명(175.206)]

나도 쪼금밖에 모름. 근데 흐름으로 설명하면 이럼. NLP. 즉 자연어 처리 분야에서, 언어모델을 만들려고 노력했음. 극초기엔 진짜 확률모델. A 단어 뒤에 B가 몇%로 오더라. 이걸 다 정리해서 확률로 내뱉게 함. 물론 성능 멸망. 이후엔 word2vec이라고, 단어가 가진 특징, 정보들을 벡터. 즉 수많은 숫자들로 정리해놓음. 단어 이해도를 많이 높였다고 보면 됨. 예로, 서울 벡터에서, 한국 벡터의 숫자를 빼고, 일본 벡터를 넣으면 동경이 출력됨. 그리고, 왕과 여왕의 관계가 남편과 아내 관계랑 비슷하다는 것도 모델이 알게됨.

[익명(175.206)]

이래도 대단한거긴한데, 단점은 단어간의 의미 파악은 빠삭한데, 문맥을 당연히 모름. 근데 트랜스포머부터 문장을 아예 집어넣어버려서 거기서 학습함. 즉 문맥도 학습하기 시작한거임. 그리고, 아마 트랜스포머부터 인 것 같은데, 스케일 즉 모델 크기랑 데이터를 늘리면 늘릴수록 성능이 좋아짐. 원래 이게 안 됐거든. 이전 AI들은 키워봤자 과적합이라고 성능이 떨어졌었음. 기울기 소실도 있고 암튼. 트랜스포머부터 스케일이 전부다! 계속 키워! GPT123!!! GOGO!! 이렇게 된걸로 대충 암. 얘 아니었으면 여전히 작은 모델에서 온갖 아이디어로 개미만큼 개선해오고 있었겠지.