[📪정보] 논문에서 오류를 찾아내는 ai

[익명(nephew8666)]

https://www.nature.com/articles/d41586-025-00648-5

AI tools are spotting errors in research papers: inside a growing movement

작년 말, 전 세계 언론 매체는 검은색 플라스틱 조리 도구에 암과 관련된 난연제가 우려스러운 수준으로 함유되어 있다고 경고했습니다. 이 위험은 과장된 것으로 밝혀졌습니다. 기본 연구의 수학적 오류로 인해 핵심 화학 물질이 안전 한계를 초과했지만 실제로는 한계보다 10배 낮았습니다. 예리한 눈을 가진 연구자들은 인공 지능(AI) 모델이 몇 초 만에 오류를 발견할 수 있다는 것을 빠르게 보여주었습니다.

시스템은 먼저 논문에서 표와 이미지를 포함한 정보를 추출합니다. 그런 다음 프롬프트라고 하는 복잡한 지침 세트를 만들어 '추론' 모델(LLM의 전문가 유형)에 무엇을 보고 어떤 종류의 오류를 찾아야 하는지 알려줍니다. 모델은 논문을 여러 번 분석하여 매번 다른 유형의 오류를 스캔하거나 결과를 교차 확인할 수 있습니다. 각 논문을 분석하는 비용은 논문의 길이와 사용된 프롬프트 시리즈에 따라 15센트에서 몇 달러까지 다양합니다.

거짓 양성률, 즉 AI가 오류가 없는 데 오류를 주장하는 경우가 주요 장애물입니다. 현재 Black Spatula Project의 시스템은 약 10%의 시간 동안 오류에 대해 틀렸다고 Gulloso는 말합니다. 각각의 주장된 오류는 해당 분야의 전문가와 확인해야 하며, 이를 찾는 것이 프로젝트의 가장 큰 병목 현상이라고 Black Spatula Project를 설립한 소프트웨어 엔지니어이자 기업가인 Steve Newman은 말합니다.