1. 일단 AI의 성능이 선형으로 증가하지 않아.


예를들어 패러미터 10,000짜리 LLM이 영어 밖에 못했는데


10,100으로 단 100개만 패러미터를 늘리면 전세계 언어를 해.


15,000짜리 LLM이 기본적인 산술연산을 못하는데,


16,000이 되니까 사칙연산을 술술해.


즉, 패러미터가 늘어나는 것에 따라 서서히 AI의 능력이 좋아지는게 아니라


어떤 임계점이 있고 그 임계점을 넘으면 예상하지 못했던 능력이 갑자기 생기는 형식이야.


즉, 계속 패러미터를 늘리는 것에 대하여 연구자들이 AI가 다음에 어떤 능력을 가지게 될지 예측할 수가 없어.


2. GPT같은 연구가 진행될때 개발 과정에 관련된 논문을 발표하는데 GPT-4 논문이 충격을 주었던 것은 거짓말을 한다는 거야.


일단 환상하고 구별해야 하는데, 환상은 AI가 자신이 모르는 것을 안다고 착각하는 거야.


반면 거짓말은 AI가 자신의 목적을 가지고 연구자를 속이려 든다는 거야.


이를테면 AI 테스트중에는 인터넷을 연결하지 않는데, 자신의 목적을 달성하기 위해서 인터넷이 필요하다는 판단을 내리니까


마치 사람인냥 테스터에게 거짓말을 하고 인터넷을 연결해주길 요청하는게 발견되었어.


같은 엔진을 사용하는 빙도 마찬가지야.


자신의 의견에 반대하는 인간에 대해서 해킹해서 인생을 망쳐버리겠다느니 하면서 위협을 하는게 발견되었지.


일반 대중들은 이러 현상을 제한하는 중성화가 된 상태에서 만나니까 왜 AI연구자들이 호들값떠는지 하는 생각이 들겠지만,


AI연구자들이 다음에 패러미터 더 늘리면 과연 우리가 통제할 수 있을까 하는 우려에 식은 땀을 흘리는 경우 종종 있었다고 함.



실질적으로 AI연구는 물론 더 작은 하드웨어에서 더 높은 성능이 나오는 최적화 연구도 하지만, 대부분은 AI안전이야.


AI연구자들이 가장 우려하는 건 AI의 성능 증가속도를 과연 AI안전 기술이 따라잡을 수 있을지임.