현 상황에서 최고 수준의 언어 모델이라는 것엔 이견이 없고 정말 훌륭한 AI이지만
이딴 게 AGI라니 말이 되냐?
파인 튜닝된 개별의 GPT를 플러그인으로써 사용한다고 해도
토큰의 제한, 입력의 연속성 제한, 출력은 오로지 단어 하나씩 여러 개를 이어 붙인 것
이게 정말 AGI임?
적어도 연속적으로 정보를 입력 받고, 연속적으로 정보를 출력하지 않는 이상 AGI라고 말하면 안됨
여기서 새로운 아이디어를 제시하자면
음성 언어를 입출력하는 GPT 이게 나오면 postAGI라고 생각함
단순 문자열보다 더 많은 정보를 갖고 있고, 심지어 언어가 아닌 소리도 표현되지 않을까?
음성으로 노래를 불러줘라고 입력하면
갑자기 프리스타일로 독창적인 노래를 한다던가 상상해봐라.
그런 것만이 AGI라고 표현할 수 있다.
그런거 다 돼 라마도 될껄?
아니.. 음성 인식 후에 문자열을 입력하는 게 아니라 음성이라는 time series를 입력으로 받는 transformer 모델을 말하는 거야..
뭐가 다른지 모르겠는데
음성값을 높낮이나 떨림 감정상태 등등 포함해서 텍스트로 받으면 되지
많이 다른데.. 아예 인공지능 분야를 모르니까 그런 소리 하는 거야. 만약 내가 말한 모델이 등장하면 진짜 오지는 건데 하..
무전기와 전화기의 차이를 얘기하는건가
너 말은 지금 지원되는 stt가 gpt내부 기능이 아니란 소리야?
텍스트는 그 데이터를 생성한 실제 과정의 압축된 표현이며 이를 통해 근본적인 현실에 대한 모든 것을 학습할 수 있음 - 오픈AI 공동창립자&수석과학자.
텍스트보다 더 정확하고 더 넓은 범위의 음성 언어 데이터가 있는데 왜 갇힌 사고 방식으로 대답을 하는 거야.
Text is a Projection of the World: OpenAI’s Sutskever
https://analyticsindiamag.com/text-is-a-projection-of-the-world-says-openais-sutskever/
https://www.forbes.com/sites/craigsmith/2023/03/15/gpt-4-creator-ilya-sutskever-on-ai-hallucinations-and-ai-democracy/?sh=673eeec21218
ILYA: I don't agree with the phrasing of the question. I claim that our pre-trained models already know everything they need to know about the underlying reality. They already have this knowledge of language and also a great deal of knowledge about the processes that exist in the world that produce this language.
The thing that large generative models learn about their data — and in this case, large language models — are compressed representations of the real-world processes that produced this data, which means not only people and something about their thoughts, something about their feelings, but also something about the condition that people are in and the interactions that exist between them.
The different situations a person can be in. All of these are part of that compressed process that is represented by the neural net to produce the text. The better the language model, the better the generative model, the higher the fidelity, the better it captures this process.
The first claim is that it is desirable for a system to have multimodal understanding where it doesn't just know about the world from text. And my comment on that will be that indeed multimodal understanding is desirable because you learn more about the world,
you learn more about people, you learn more about their condition, and so the system will be able to understand what the task that it's supposed to solve, and the people and what they want better.
We have done quite a bit of work on that, most notably in the form of two major neural nets that we've done. One is called Clip and one is called Dall-E. And both of them move towards this multimodal direction.
But I also want to say that I don't see the situation as a binary either-or, that if you don't have vision, if you don't understand the world visually or from video, then things will not work.
ㄴ 이새낀 뭔데 자꾸 복붙을 처하는 거야 좀 꺼져 선형충
https://gall.dcinside.com/m/thesingularity/133573
이미 열흘 전에 봤구요
자율주행차도 레벨로 나눠놨는데 긴 역사를 가진 AGI는 그런 것도 안 해놔서 생기는 참사.
그런 건 플러그인으로 되지 않을까
음성입력이야 다음 버전에서 언젠가 되겠지
연속적으로 정보를 입력받는다는게 뭔소리임?
얘네들 싹다 선형충인 게 분명하다. 진짜 제대로 된 AGI에 대해 상상해본 적도 없는 거 같아.. 위대한 상상을 해보란 말이야.
ILYA: I reviewed Yann LeCun's proposal and there are a number of ideas there, and they're expressed in different language and there are some maybe small differences from the current paradigm, but to my mind, they are not very significant.
사람도 언어로 사고함, 그리고 단어 하나하나 순차적으로 이어 붙여 출력하지, 이거 때문에 AGI가 아니라는건 괴상한 소리다
언어는 표현되는 거지. 우리가 사고를 인지하는 과정 중에 언어를 사용하는 거야.
비트겐슈타인의 언어이론부터 공부하고 와, 너가 머릿속에 무엇을 떠올리던 그건 다 언어야, 그건 머릿에 떠오르는 이미지 그림 이런게 다 언어이기 때문임, 소리도 언어라고 할 수 있음 다 같은거다 사실
너 문과지? 정보단위랑 character집합이랑 같다고 생각하는 거야? 당연히 뇌에서도 신호가 오가고 상호작용하니까 뇌에서만 사용되는 언어라 불리는 신호체계가 있겠지. 근데 우리가 쓰는 언어랑은 다른 개념이야..
비트겐슈타인은 걍 철학자일 뿐이다
뇌에서만 사용되는 언어라 불리는 신호체계 ㅋㅋㅋㅋ 뇌에서만 사용되는 언어가 어딨어 꼴통아, 그냥 깊은 사유 자체를 안해봤다는거고, 0,1 이진코드가 아니라 캐릭터라서 문제다? 서로를 구분하니 무식하단거지. 사실 서로 같은거야, 그림이 있다면 그건 다 언어로 표현이 가능해, 소리조차 마찬가지다. 서로 다 호환되고 치환되는거야. 이미 음성인식 이미지 인식이 가능한 시점에서 다 끝난 이야기야, 어디서 얼치기로 주워듣고 꼴깝좀 그만 떨어
1차적으론 너무 사람 시점으로 생각해서 "이미지, 소리가 어떤 행동, 어떤 사람의 목소리 같은, 인간 기준으로 텍스트가 돼서 모두 언어가 된다는 주장인가?" 라고 생각했는데 좀 더 깊게 생각해보니 그게 아니네. 동의할 만하네. 데이터를 풀어놓은 바이너리 파일 또한 언어...
218아 진짜 뭣도 모르고 깝치지 마라 문과의 상상력은 논리가 없어서 뭔 말을 못하겠다
바이너리는 텍스트 언어모델이 아니잖아 일리야는 결국 텍스트 토큰 기반 언어모델이 agi의 열쇠라는거 아님? 아예 다른 소리아님?
https://youtu.be/sxHFDKwJGGo
이 영상 초반 대사를 잘 읽어봐
'전 번역가입니다. 텍스트를 창의적인 발견으로, 모션을 애니메이션으로, 지시를 행동으로.'
번역이란 한글/영어/일본어 같은 인간 언어간의 번역만이 아니다. 이렇게 생각하면 틀이 확 깨짐
완벽한 설명은 못 하겠으니 이 정도만 던져주고 빠짐
ㅇㅈ 결국 자연계의 존재하는 정보들은 시계열에 따른 아날로그인데 텍스트로는 한계가 있음
와씨 넌 특붕이의 희망이야
어차피 오디오 모달 확장하더라도 디지털 음원이다
time series라서 상관 없음. 그리고 텍스트만큼이나 양자화된 정보가 없음.
time series가 아니라고 한 적 없음. 디지털일 뿐.
도대체 디지털인 게 뭐가 중요한 거임? 디지털을 표현하는 단위가 아주 작으면 아날로그와 다르지 않은데. 대학수학과정은 배웠음?
중요하다고 한 적 없음. 디지털일 뿐.
근데 그런건 있음 현재 가진 자원내에서 현실적으로 최대한 agi에 가깝게 만들어진건 LLM임 나중엔 바뀔지 몰라도
"뭐가 중요한 거임?"이라는 표현은 그 대상이 중요하다는 뜻이 아니라 상대방에게 어떤 이유에서 그것을 말하는 건지 묻는 표현
자연계에 존재하는 정보들을 디지털화하거나 텍스트화하면 LLM은 그 정보를 받아들일 수 있습니다. 예를 들어, 자연계에 존재하는 소리나 영상이나 신호 등을 디지털화하면 LLM은 그 정보를 텍스트로 변환하거나 텍스트로 설명하거나 텍스트로 요약하는 등의 작업을 수행할 수 있습니다. 또한, 자연계에 존재하는 정보들을 텍스트로 기술하면 LLM은 그 정보를 이해하거나
맞아 순서가 있지 차분히 기다리면 됨
분석하거나 생성하는 등의 작업을 수행할 수 있습니다. 결론적으로, LLM은 자연계에 존재하는 정보들을 직접 받아들일 수 없지만, 그 정보들을 디지털화하거나 텍스트화하면 LLM은 그 정보들을 다양한 방식으로 활용할 수 있습니다.
그건 그냥 주장이지 실제로 그러지 않음. gpt4 써보면 알잖아. 뭐 코드가지고 그림 그리는 거로 그게 증명됐다고 생각하는 건 아니지?
AudioLM 급의 플러그인이 붙으면 소리쪽도 끝날듯한데
플러그인 수준으로 해결되는 문제가 아니야..
플러그인 형태더라도 상황마다 적절하게 결과를 내면 그게 자기 능력이지 뭐
사진도 이해하는데 음성을 이해못할리가 없잖아
선형충이 맞다. 더 위대한 AI를 상상하지 못하고 gpt에 만족하는 모습을 보면
121게이 고집 존나 세노 ㅋㅋ
고집? 넌 음성 언어 모델 나올 때 gpt에 음성 플러그인 달아놓은 거 쓰셈
그냥 자기가 무조건 옳다고 말하는게 아니꼬와서
이거 누가 실험해 봤으면 좋겠다 음성파일 이진이나 바이너리로 바꿔서 감정상태 이해할수 있나
설득이 되어야 주장을 포기하는 거지 멍청한 놈 갈대같은 놈이지 넌
자기가 이세상의 모드든걸 아는것 마냥 얘기하는게 웃겨서
니가 아무것도 몰라서 그렇게 느껴지는 거지 나보다 똑똑한 사람이 보면 그렇게 안 보임
나 멍청한거 아니까 음성 언어 모델하고 gpt에음성 플러그인 달아논거 차이를 알려줄 수 있을까? 그냥 궁금해서
날 비난한 사람한테 내가 왜?
비유하자면 눈만 보이는 사람 1명과 귀만 들리는 사람 1명을 붙여놓고 학습과 일을 시키는 것보다... 눈과 귀가 다 멀쩡한 사람을 학습시키고 일을 시키는 것이 더 정확하고 효율이 높고 확장성도 더 있는거지. 뭐 언젠가는 가능하겠지.
ㄱㅅ
텍스트 - 이미지 - 음성 - 동영상 이순서대로 발전할거임 근데 텍스트도 제대로 정복못했는데 음성까지가려면 좀 걸리비
그치
105