llm에서 쓰는 추론의 의미가 두개가 있는데
하나는 추론하는 과정을 CoT(생각의 사슬)로 표현하는 추론모델
질문에 따라 답변을 만들어내는 추론
보통 추론 비용할땐 후자고 추론모델할때는 전자임
ASI교총대주교좌석좌주교(7i3eogmeun4l7)2024-12-21 19:17
답글
질문자의 질문자에 따라 답해야 할 토큰을 확률에 따라 추론하기 때문에 추론이라고 부름
ASI교총대주교좌석좌주교(7i3eogmeun4l7)2024-12-21 19:18
피상적 데이터의 적층적 구조를 기반으로, 개념의 연결성을 통계적으로 추측해내는 패턴 분류 방식?
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 19:23
답글
더쉽게좀 - dc App
익명(211.199)2024-12-21 19:24
답글
기달려바바
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 19:46
답글
<피상적 데이터의 적층적 구조>
생물, 식물, 나무, 새싹
각각의 단어는 연결성을 기반으로 정립됨.
생물, 움직이는 거, 자라나는 거, 초록색, 작음 같은 정보들
나무라는 단어는 생물과 식물의 하위, 새싹에서 자라났고, 생물 아래에서 동물이랑 구분되고 그런 식으로.
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:55
답글
'서울'이라는 단어는 '도쿄'와 '국가의 수도'라는 연결을 공유하며 서로 적절한 가중치를 형성함.
단어 하나 자체는 본질적으로 아무것도 내포하지 않지만 연결로서 의미가 형성.
이 외에도 다양한 개념들이 주변에 적절한 만큼 겹쳐짐. 이게 피상적 데이터를 적층적 구조로서 정립, 이해한 것.
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:56
답글
인간의 이해도 기본적으로 이런 식으로 '피상적인 형태의 감각 정보를 통해 기초적인 연결을 형성'한다고 봄.
이게 이해의 본질, 사고의 가장 기본적인 형태.
관련된 정보가 많고 관계성이 명확할수록 개념들의 연결도 명확하게 강화됨.
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:56
답글
<개념의 연결성을 통계적으로 추측해낸다>
종이에 색깔로 영역을 구분해 개념들을 표현해놨다고 생각해보셈.
빨간 영역은 섹스, 노란 쪽은 상식, 파란 쪽은 게임•••
#FF8C00에 관련된 인풋이 들어오면 즉각적으로 어떻게 해석할까. 대충 보고 빨강이랑 노랑 사이 언저리에서 비슷한거 골라오는 거임. 기존에 이 색으로 만든 개념이 있으면 적당히 가져오고.
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:56
답글
그게 기존 LLM 방식같은 느낌. 근데 추론은 그렇게 찍은 좌표값에서 단계적으로 상황을 살피고 더 정확한 색을 찾아가는 거임.
iq텟도 딱 첨 봤을 때 직관으로 안 풀리는 것도 작게 나누고 방법론 시도해가면서 풀면 어느 정도 풀림. 근본적인 직관에 한계는 있지만, 의식적으로 나눠서 시도해보면 ㅇㅇ
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:57
답글
o1은 단계적으로 데이터를 출력하고 그 출력된 데이터에서 상황에 적합한 언저리 벡터를 찾아 출력하고 또 벡터 찾고 하면서 더 세부적인 좌표값을 찾아내는 거임. 추론 형태의 데이터를 출력하는 방법을 알려주고 시킨 구조. 물론 내 생각임 정확히는 모름 ㅋㅋ
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:57
답글
인간은 그 과정을 메타인지적으로 수행하는 표상을 가짐. 그게 의식의 역할인가? 생각함.
정리하자면 추론이라는 건, 피상적 데이터를 기반으로 적층적으로 형성된 개념(가중치)들에 인풋 넣고 뽑아보기(1차원적 사고=기존 LLM), 그렇게 뽑아진 1번 결과물에서 의문점을 제시하고 관련된 인풋을 시스템 내부에서 넣고 뽑아봄. 거기서 또 의문점 제시, 또 뽑아보면
ㅇㅇㅇㅇㅇ(lsh0320jpgpw)2024-12-21 20:58
답글
또 뽑아보면서 더 정확한 좌표(기존의 개념 사슬에서 명확히 맞아 떨어지는 자리)를 찾아서 새 개념을 만들어넣는 것. 대충 이 과정을 추론이라고 봄.
쓰다보니 ㅈㄴ 구구절절인데 걍 퍼즐 맞음. 나 뭐하고 있었드라
추리 소설을 읽고 마지막에 가려진 범인 이름 맞추기
그걸 어케하냐는거임 - dc App
강화학습 공부하셈
님이 한마디로 정의해서 알려주샘 - dc App
llm에서 쓰는 추론의 의미가 두개가 있는데 하나는 추론하는 과정을 CoT(생각의 사슬)로 표현하는 추론모델 질문에 따라 답변을 만들어내는 추론 보통 추론 비용할땐 후자고 추론모델할때는 전자임
질문자의 질문자에 따라 답해야 할 토큰을 확률에 따라 추론하기 때문에 추론이라고 부름
피상적 데이터의 적층적 구조를 기반으로, 개념의 연결성을 통계적으로 추측해내는 패턴 분류 방식?
더쉽게좀 - dc App
기달려바바
<피상적 데이터의 적층적 구조> 생물, 식물, 나무, 새싹 각각의 단어는 연결성을 기반으로 정립됨. 생물, 움직이는 거, 자라나는 거, 초록색, 작음 같은 정보들 나무라는 단어는 생물과 식물의 하위, 새싹에서 자라났고, 생물 아래에서 동물이랑 구분되고 그런 식으로.
'서울'이라는 단어는 '도쿄'와 '국가의 수도'라는 연결을 공유하며 서로 적절한 가중치를 형성함. 단어 하나 자체는 본질적으로 아무것도 내포하지 않지만 연결로서 의미가 형성. 이 외에도 다양한 개념들이 주변에 적절한 만큼 겹쳐짐. 이게 피상적 데이터를 적층적 구조로서 정립, 이해한 것.
인간의 이해도 기본적으로 이런 식으로 '피상적인 형태의 감각 정보를 통해 기초적인 연결을 형성'한다고 봄. 이게 이해의 본질, 사고의 가장 기본적인 형태. 관련된 정보가 많고 관계성이 명확할수록 개념들의 연결도 명확하게 강화됨.
<개념의 연결성을 통계적으로 추측해낸다> 종이에 색깔로 영역을 구분해 개념들을 표현해놨다고 생각해보셈. 빨간 영역은 섹스, 노란 쪽은 상식, 파란 쪽은 게임••• #FF8C00에 관련된 인풋이 들어오면 즉각적으로 어떻게 해석할까. 대충 보고 빨강이랑 노랑 사이 언저리에서 비슷한거 골라오는 거임. 기존에 이 색으로 만든 개념이 있으면 적당히 가져오고.
그게 기존 LLM 방식같은 느낌. 근데 추론은 그렇게 찍은 좌표값에서 단계적으로 상황을 살피고 더 정확한 색을 찾아가는 거임. iq텟도 딱 첨 봤을 때 직관으로 안 풀리는 것도 작게 나누고 방법론 시도해가면서 풀면 어느 정도 풀림. 근본적인 직관에 한계는 있지만, 의식적으로 나눠서 시도해보면 ㅇㅇ
o1은 단계적으로 데이터를 출력하고 그 출력된 데이터에서 상황에 적합한 언저리 벡터를 찾아 출력하고 또 벡터 찾고 하면서 더 세부적인 좌표값을 찾아내는 거임. 추론 형태의 데이터를 출력하는 방법을 알려주고 시킨 구조. 물론 내 생각임 정확히는 모름 ㅋㅋ
인간은 그 과정을 메타인지적으로 수행하는 표상을 가짐. 그게 의식의 역할인가? 생각함. 정리하자면 추론이라는 건, 피상적 데이터를 기반으로 적층적으로 형성된 개념(가중치)들에 인풋 넣고 뽑아보기(1차원적 사고=기존 LLM), 그렇게 뽑아진 1번 결과물에서 의문점을 제시하고 관련된 인풋을 시스템 내부에서 넣고 뽑아봄. 거기서 또 의문점 제시, 또 뽑아보면
또 뽑아보면서 더 정확한 좌표(기존의 개념 사슬에서 명확히 맞아 떨어지는 자리)를 찾아서 새 개념을 만들어넣는 것. 대충 이 과정을 추론이라고 봄. 쓰다보니 ㅈㄴ 구구절절인데 걍 퍼즐 맞음. 나 뭐하고 있었드라
퍼즐 맞음ㅇㅇ 주어진 정보를 조합해서 문제를 푸는거
ㄱㅅㄱㅅ - dc App