완전히 같은 물건이고 리네이밍 한것일 뿐 그 이상도 그 이하도 아니라고 해도 나는 그것만 해도 기대가 됨 왜냐하면 일단 MUM만해도 멀티모덜인데다가 GPT-3, Dall-E, 알파폴드2 등등이 모두 트랜스포머 기반인데
구글은 MUM이 트랜스포머 아키텍쳐 기반인 BERT보다 1000배 강력하다고 자신있게 말했기 때문
그렇다면 MUM은 GAN같은 새로운 컴플렉스 모델의 일종이거나 아예 Transformer가 RNN을 밟았듯이 transformer와 밑바탕부터 다른 프레임워크일 수도 있다는 생각이 듦
Transformer도 BERT로 처음 나왔을땐 NLP용도로만 쓰이다가 결국 그림도 그리고 단백질 구조예측까지 하는 거보면
MUM이 대체 뭔 짓을 해서 만든건진 모르지만 절대 검색기능이나 번역성능만 업그레이드 하고 말 물건처럼 보이지는 않음
구글은 MUM이 트랜스포머 아키텍쳐 기반인 BERT보다 1000배 강력하다고 자신있게 말했기 때문
그렇다면 MUM은 GAN같은 새로운 컴플렉스 모델의 일종이거나 아예 Transformer가 RNN을 밟았듯이 transformer와 밑바탕부터 다른 프레임워크일 수도 있다는 생각이 듦
Transformer도 BERT로 처음 나왔을땐 NLP용도로만 쓰이다가 결국 그림도 그리고 단백질 구조예측까지 하는 거보면
MUM이 대체 뭔 짓을 해서 만든건진 모르지만 절대 검색기능이나 번역성능만 업그레이드 하고 말 물건처럼 보이지는 않음
찾아보니 MUM도 트랜스포머 아키텍쳐 기반으로 만든것은 맞네 같은 아키텍쳐로 1000배 퍼포먼스 향상을 어떻게 구현했을까
버티는건가? 그렇다면..."성능 1000배"
그저 감동그자체
구글에서 mum 사용해본 직원들은 성능에 굉장히 놀랐었고 구글 I/O에서 발표한 내용은 일부였다고 레딧에 글 올라왔던데 엄청난 가능성이 보이니까 pathways 프로젝트로 키우는거 같음
사실 같은 맥락으로 보임 내용상 시기적으로도 패스웨이랑 멈은 굉장히 가깝고 다만 멈은 정말로 딱 BERT처럼 특정한 분야(검색 기술)에의 적용사례인거고 멈에 사용되는 알고리즘을 일반화 한 것이 패스웨이같다는 생각이듦