[📪정보] AI에 대한 나쁜 소식 ㅠㅠ

[행복한천국으로(adjust7431)]

아마 의학에만 국한된 이야기는 아닐 것 같은데.. 

[익명(59.8)]

[행복한천국으로(adjust7431)]

[야하이잇(dignity123)]

다른 벤치에서도 성능 열화 있는건 자주 증명됐으니

[행복한천국으로(adjust7431)]

[멘토스(gblzvhbddpj2)]

[행복한천국으로(adjust7431)]

[ㅇㅇ 1(110.10)]

DeepSeek-R1 (model 1), o3-mini (reasoning models) (model 2), Claude-3.5 Sonnet (model 3), Gemini-2.0-Flash (model 4), GPT-4o (model 5), and Llama-3.3-70B (model 6).
6 of 68 questions were incorrect in model 1 (8.82%), 11 of 68 (16.18%) in model 2, 23 of 68 (33.82%) in model 3, 25 of 68 (36.76%) in model 4, 18 of 68 (26.47%) in model 5, and 26 of 68 (38.24%) in model 6.
https://jamanetwork.com/jou

[ㅇㅇ 1(110.10)]

https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2837372

[행복한천국으로(adjust7431)]

[가나밀크티(ganamilktea)]

https://www.nature.com/articles/s41592-025-02772-6
현재
바이오도 마찬가지

[가나밀크티(ganamilktea)]

근데 이런거 한번 올라오면 선형충들이 신나서 물고뜯는데 실상은 거시적으로 절대 악재가 아님 오히려 이런 논의가 없으면 위험한거임 주123식으로 치면 조정

[가나밀크티(ganamilktea)]

좀 다른 측면으로 보면 AI의 위기라기 보다는 fancy한 아이템 하나 뜨면 다 달려들어서 설계 좆같이 하고 대충 아가리 찌끄려서 논문 양산하고 저널은 그 분야에 깊이 이해하고 있는 연구자가 적은 탓에 리뷰 제대로 못하고 실어주고 또 트렌드 주도해야/따라가야 되니까 조금 위험해도 받아주고 이런식의 학술저널의 위기인거임 이런건 약탈적 저널 같은 사소한 문제가 아니라 현재 상업적 저널 시스템 자체의 문제

[행복한천국으로(adjust7431)]

[sama(prince2317)]

공감함

[익명(racial6279)]

응 아니야 지수적 발전이면 다해결됨 - dc App

[행복한천국으로(adjust7431)]

38%떨어져도 인간 넘으면 그만이야~

[익명(racial6279)]

지수적 발전이면 0%임 ㅅㄱ - dc App

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[행복한천국으로(adjust7431)]

[가나밀크티(ganamilktea)]

블라인드 테스트는 전통적인 선형적 방법에서 원래 쓰는 검증법이고 적어도 의료모델에서는 아직까지는 이해가 아닌 그저 확률적 앵무새라는 의미 맞음

[행복한천국으로(adjust7431)]

[가나밀크티(ganamilktea)]

@ㅇㅇ 아직까지 의료모델이랄게 없음 아가리만 의료모델이지 실제로 보면 그냥 상용LLM 파인튜닝임 더 근본적인 의문이 든거 같은데 공격적으로 말하자면 이해 못하는게 맞는거고 방어적으로 말한다면 의료를 아직 이해 못한다는거지

[익명(course2187)]

[행복한천국으로(adjust7431)]

이해란 뭘까요..

[익명(western0224)]

테스트 모델보니 딥식이랑 o3mini는 떨어졌다해도 80점이 넘네. 떨어지는 폭도 딥식이 9%하락이라면 o1으로 했을때는 그보다 훨씬 덜 떨어질거 같은데 왜 o1은 왜 결과에 없을까. o3나 gpt5라면 무시할 수준으로 하락폭이 없을거같다.

[ㅇㅇ 1(110.10)]

나도 그런 의도로 댓글 단 거였는데 설명을 너무 안했나보다