1)트랜스포머 구조를 양자역학의 파인먼 경로적분으로
재해석한다
2)트랜스포머를 양자역학의 경로적분으로 재해석하면,
더 적은 GPU로 무한한 문맥을 유지할 수 있다~
결론:파인튜닝을 통해 무한히 적은 gpu로 학습 추론을 한다
신선하긴 한데
경로적분식 접근은 애초에
가능한 모든 경로를 적분하는 계산이라서
계산량이 오히려 폭증하고
트랜스포머는 이산 토큰 간 유사도를
계산하는 행렬 곱 연산이라서
두 개념이 수학적 구조가 완전히 달라서
연산 효율을 개선하는 근거가 뭔지도 모르겠고
AI에서 sequence를 이렇게 취급하면
기존 트랜스포머보다 계산 복잡도가 더 늘어나고
별 효용이 없을텐데
좋게 말하면 시대를 앞서가는 연구 아닐까 생각해봄
- dc official App
내 이해의 수준을 벗어난 것 같지만, 뭐 응원만 해야지.
양자 트랜스포머요..? QML이 관심을 많이 받고 있기는 한데 문제는 저걸 돌릴 양자컴퓨터가 없다는건데 흠
이런건 99.9999% 한놈만 걸려라지 뭘