[일반] 코드 개선 o1-preview vs claude 3.5 간단하게 테스트

한 줄 요약: 개선한 코드 AI 양측 평가로는 클로드 승(2:0), 실제 동작 테스트는 gpt 승

특정 코드를 각각 o1-preview와 클로드 3.5 new한테 최적화해달라고 함

그리고 자기가 최적화한 거랑 상대가 최적화한 걸 제시해서 비교시켰음.

코드는 GPT 채팅 로그에 올라가있으니 그거 보셈

해당 코드는 4o, o1-preview, o1-mini 세 개만 써서 짠 거임

o1-preview는 채팅방 하나에서 니가 짠거랑 내가 다른사람 시켜서 짜온 거 비교해줘 라고 했고

클로드는 코드 최적화 대화창 / 평가 대화창 따로 구분해서 어떤게 더 좋은지 평가해달라고 했음

무료버전이라 컨텍스트 리밋 걸려서 그랬음 양해좀

코드 평가

o1-preview

요약: 클로드가 더 잘 짰음.

claude

요약: 내가 더 잘했음 (paste-2.txt가 클로드 꺼임)

한가지 특이하다고 느낀거는 클로드는 sealed 쓰는 거 졸라 좋아함

실제 동작 테스트

설마 두 녀석 다 이렇게 프롬프트 날려대는 동안 버그를 못 찾았을까? 싶긴한데 그래도 혹시나해서 테스트해봤음

선 요약하면 둘 다 버그 있음

gpt

컴파일 에러 뜸

그거 고치면 잘 작동함

claude

컴파일 에러 뜸

고치면 프로그램은 켜짐

근데 원래 프로그램에서는 태스크 완료 시 결과를 View에 띄우는 기능이 있는데 이게 동작하지 않음.

확인해보니 원래 프로퍼티를 지 맘대로 고쳐버림

하나의 케이스만을 토대로 개선 요청한 거라 절대적으로 맹신하면 안 됨

근데 갠적으로 이 케이스 외에도 여러가지 해보고 느낀걸로는 클로드가 좀 더 적극적으로 개선하려 함

예를 들어서 sealed같은 경우 gpt가쓰는 걸 못봤는데 클로드는 생각한 거 보다 훨씬 많이 씀

댓글 0