[📪정보] 우리는 생각보다 AGI에 가까이 왔습니다 3편

[멜루(gustn1914)]

맞춰져 있어서 어려움을 겪고 있다는 예는 9장의 테스트 객체 3의 견고성 검사 #2와 10장의 테스트 객체 1의 견고성 검사 #1에서 볼 수 있습니다. 이때 모델은 단색 사각형보다 더 많은 픽셀과 더 복잡한 객체를 다루는데, 이들은 훈련 데이터에 있을 가능성이 훨씬 적습니다. 이러한 새로운 상황에서, 활성화된 "개념들"은 더 견고한 방식으로 고정됩니다.

ChatGPT 예제에서는 각 섹션의 테스트 작업 다음에 하나 이상의 “견고성 검사” 픽셀 그리드가 있습니다. 이 추가적인 픽셀 그리드들은 데이터셋의 일부가 아니라 임의로 만들어진 것입니다.

9장 테스트 객체 3

견고성 작업 #2:

이 견고성 작업에서, 네트워크는 이전의 개념들을 바탕으로 하여, 훨씬 더 복잡한 객체를 도입합니다

해결방법:

이 견고성 작업에서, 모델은 개념 간 표현에서 더욱 강한 연결력을 구축합니다.

이 픽셀 그리드를 특별히 사용한 이유는 추출되는 객체가 더 복잡할 뿐만 아니라, 객체가 "밈 이미지"이고, 이것이 기본적으로 훈련 데이터에 100% 있을 가능성이 높다는 것도 보여주기 위해서입니다. 그러나 이것이 GPT4가 그것을 찾을 수 있는 이유는 아니고, 올바른 개념들이 일관되게 고정되었기 때문입니다. 그렇지 않다면, 거의 모든 다른 상황에서 실패할 것입니다. 이 객체는 맥락에서 이전의 객체들과 매우 다르지만, GPT는 그것을 해결하기 위해 더 많은 개념들을 "고정"하기 위해 무엇을 해야 하는지 "이해"합니다. 이것은 대화에서 이전에 주어진 정확한 표현들을 바탕으로 하는데, 이 표현들은 훈련이나 미세조정 중에 훈련 데이터로부터 학습/모델링되었습니다.

해결방법:

[부패하는유전자!!!(sansss2015)]

[익명(1.239)]