[📪정보] 현재의 VLM은 추론할 수 없다 (육손벤치)

[익명(forgot6853)]

https://arxiv.org/pdf/2505.23941

https://vlmsarebiased.github.io/#example-gallery-section

VLMs are Biased

위에 사이트 들어가면 육손같은 낚시이미지 존나 많음

너네도 직접 테스트가능

최첨단 모델은 원본 이미지에서 완벽한 성능을 달성하지만 물체가 미묘하게 수정되면 치명적으로 실패하여

실제 시각적 분석이 아닌 암기된 지식으로 기본 설정됩니다.

VLM은 반사실(CF)의 미묘한 변화를 감지하지 못하고 기본적으로 편향된 답변을 사용합니다.

명확한 시각적 수정(추가 다리, 추가 줄무늬)에도 불구하고 모든 모델은 실제로 보이는 것을 계산하기보다는 예상되는 "정상" 값을 일관되게 출력합니다.

counterfactual 이미지에서 VLM은 대부분 무작위 오류보다는 편향된 선택과 일치하는 답변을 출력합니다.

이 체계적인 패턴은 모델이 암기된 지식을 위해 시각적 증거를 적극적으로 무시한다는 것을 증명합니다.

이것이 스모킹 건입니다. 모델이 단순히 시력이 좋지 않다면 무작위 오류가 발생할 것으로 예상할 수 있습니다.

대신, 우리는 "올바른" 교과서 답에 대한 체계적인 편향을 보게 되며, 이는 그들이 암기된 사실로 시각적 정보를 무시하고 있음을 증명합니다.

주요 결과:

전체 오류의 75.70%가 “편향 일치형” 오류였습니다.

이는 모델이 무작위 오류가 아닌 기존 지식에 기반해 예상된 답변을 제공했다는 의미입니다.

모델은 단순히 시각 인식에 취약한 것이 아니라, 실제로 보는 것을 의도적으로 무시하고 있습니다.

결론:

현재 VLM은 시각적 추론 시스템이 아니라 정교한 패턴 매칭 시스템입니다.

그들은 익숙한 패턴을 인식하는 데 뛰어나지만, 그 패턴이 조금만 변형되어도 치명적으로 실패합니다.

LLM 추론 관련 GPT-5 설명)

연구는 멀티모달(VLM) 환경에서 LLM의 사전지식이 시각적 근거를 압도해 잘못된 판단을 유도하는 사례를 보여줍니다.

특히 반사실적 이미지 인식 실험에서 시각 증거보다 기억된 지식에 의존하는 경향이 두드러졌습니다.

그러나 이는 비전 인코더의 한계와 LLM 자체의 편향 중 어느 쪽이 원인인지 분리하지 못했으며, 순수 텍스트 환경에서의 추론 능력을 검증하지도 않았습니다

(저자들도 “실패가 (a) 비전 인코더가 미세 변경을 못 잡아서인지, (b) LLM이 편향돼서 시각적 증거를 무시하는지 — 둘 중 어느 쪽인지 불분명하다”라고 명시하고 있습니다.).

따라서 이 논문은 멀티모달 환경에서 LLM의 사전지식이 시각적 근거를 압도할 수 있음을 보여주지만, “LLM 자체가 추론할 수 없다”는 일반 명제를 입증하진 않습니다. 그런 일반화를 위해서는 위에 적은 식별적(ablation)·단독 LLM 실험들이 필요합니다.

[ㅇㅇ 1(121.170)]

이거보면 오히려 인간답기도 성조기 보고도 인간이면 걍 줄 안세고 알던대로 대충 답하잖

[ㅇㅇ 5(61.72)]

근데 모든 인간은 틀렸다고 다시 세보라하면 두번째에서 제대로 답하지 근데 저새끼들은 아무리 다시 세보라해도 이악물고 틀린답만 계속말함

[은돌퍼플(phybeube)]

오..

[행복한천국으로(adjust7431)]

[익명(wanted7407)]

그래 이런 벤치가 필요했어 - dc App

[예레미야(watch5549)]

이거 그 동안 엄청 갑갑했는데 시원하게 연구해줬네

[익명(nutrient2445)]

확률적 찍기

[ㅇㅇ 2(115.22)]

호라 모 젠젠.... - dc App

[ㅇㅇ 3(180.226)]

연구가 되면 해결이 된다

[■x(to414)]

육손이 인간 신체 빡세게 학습해서 그런거고 편견 지우면 쉽게 해결할거라는 얘기 많이 봤는데 이거보니까 그렇게 쉽게 해결될 문제가 아니네

[ㅇㅇ 4(221.165)]

이건 결국 해결될꺼같다

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

vlm 발전은 llm 발전에 비해 백보 이상 뒤쳐져있음

[ㅇㅇ 6(220.65)]

절차적 프롬프팅을 하면 어떨까 싶음. 그림에서 하나하나 카운트해서 숫자를 명기하도록 명령하고 답을 출력하도록 하는거지

[ㅇㅇ 7(119.56)]

그게 아니고, llm의 기본이 되는 퍼셉트론 기본 개념, 접근법 자체가 인간의 신경망에서 소뇌를 존나 크게 키우고 연결한것에 불과함. 소뇌의 역할이 익숙한것을 강화시키는 일종의 자전거타기나 젓가락질처럼 무조건적인 반사나 습관을 반영하는데, 아직 신피질의 역할을 하는게 부족한거임. 지금의 llm이 변화가 없다는 가정하에 패턴을 인지하는데에는 굉장히 뛰어나지만 똑똑하다고 보기 어려운건 완전히 새로운것에 대응하는 유연성이 부족하다는것. 이건 당연한거다. 연결주의적 접근법의 단점에 정확히 부합함 다만 지금 소뇌 확장 -> 신피질 확장으로 가는 과정이라 언제든지 ai모델이 논리부분이 강해지고 상황판단능력이 늘어날수있음. 익숙해진것을 반복하는데에 벗어나서 사람처럼 다양한 환경에서 유연하게 대처하면 agi의 탄생임.