ai 땔감이 또 와서 질문을 수집합니다

[파이토치조아(119.64)]

다들 질문을 주세요

ai 관련 궁금한거 없나요

ai 이야기 : ICML은 ChatGPT 같은 LLM으로 쓴 논문을 금지하기로 결정

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[파이토치조아(119.64)]

https://icml.cc/Conferences/2023/llm-policy

[파이토치조아(119.64)]

아 그렇게 오해했구나 내가 글을 바보같이 썼네 미안

[익명(122.213)]

대부분 자연어를 입력받아서 처리하는 모델들은 영어를 입력받는데 외국어를 입력받아서 외국어를 영어로 기계번역하거나 벡터화 시켜서 모델에게 전달해주면 성능이 떨어지나요? 혹시 ChatGPT 에서 한글이 되는건 이런 과정을 거치는건가요?

[파이토치조아(119.64)]

외국어를 영어로 기계번역하는 방법의 퀄리티에 따라 다르겠죠? 이건 ai랑 별로 상관없는 질문 같은데

[익명(122.213)]

기회가 된 김에 물어보고 싶은데 AI 자세한건 잘 몰라서 질문이 안됨

[파이토치조아(119.64)]

아무래도 영어 데이터가 많으니 영어가 잘 되는건 당연한거 같아요. ChatGPT에서 내부과정이 어떤지는 잘 모름;

[익명(122.213)]

결국 여쭤보고 싶었던건 아래 댓글이랑 비슷한 목적이였던 것 같아요 다른 목적으로 학습된 두개의 모델을 라이브러리처럼 입출력을 연결해서 서비스화 시키는 작업의 퍼포먼스가 어떤가 근데 그건 단순히 여쭤보기엔 너무 사례가 다양하고 AI랑 상관없는 질문이 맞는 것 같기두 하네여..

[익명(122.213)]

그리고 최근 AI 모델들을 보면 여러 프로세스별로 학습된 모델들을 마치 모듈 끼워넣듯이 연결해서 사용하던데 이런 메타는 언제부터 시작된건가요? 제가 엄마 자궁에 있을때부터 하던건가요?

[파이토치조아(119.64)]

예를 들면 어떤 모델을 말하는건가요?

[익명(122.213)]

최근에 스테이블 디퓨전이 신기해서 이것저것 해봤는데 어떻게 만들어진건지 보니까 모델이라 불리는 것 내부에서 CLIP 이나 AutoEncoder 같은 각각 목적에 맞는 모델이 학습되어 쓰이고 있던데

[익명(122.213)]

CLIP 같은 경우엔 pretrained 모델이라고 하는걸 보니 이미 학습된걸 가져다 붙였다는 것으로 이해했는데요 (제가 잘못이해했음 질문자체가 이상함 ㅈㅅ) 저는 아무래도 앱땔깜이다보니까 학습된 모델을 독립적으로 분리해서 서비스에 맞게 연결하고 그런거에 관심이 많아서 자꾸 이런걸 여쭤보네요

[파이토치조아(119.64)]

그런건 '기법'이나 '모듈'이고 그런걸 레고 블럭처럼 끼워맞춰서 하나의 모델을 설계하는거죠. 진짜로 여러 모델을 연결한 녀석은 그리 많지 않아요. TTS(Acoustic Model + Vocoder) 쪽이 좋은 예가 되겠지만 그것도 요새 통일되는 추세..

[익명(122.213)]

아하 단위를 역전해서 생각해야 되는거네요 모듈이 모델보다 더 작은 단위군요 생각보다 그런 방법은 성능이 좋지 못한 모양이네요 우문현답 ㄳ합니다 평소 궁금하던게 해결됬음

[파이토치조아(119.64)]

근데 말하는게 구체적이지 않아서 제가 이해한 방식으로 답변을 드려서 제대로 답변을 드렸는지는 모르겠네요. 진짜로 연결된 모델이 아니더라도 파인튜닝 같은걸 저렇게 표현할 수도 있고.. 여러 모델을 연결해서 한 모델을 만드는건 하나의 모델보다 성능이 더 좋아야 할텐데, 그러려면 타당한 이유가 있어야겠죠?

[익명(122.213)]

제가 배운게 적어서 모호한 표현이 많을거에요 ㅈㅅㅈㅅa 더 자세히 여쭤보려고 해도 제가 배운게 정확한지 확실치가 않으니 자신이 없네요 더 공부해보겠읍니다

[익명(dsk695861)]

다시 말해 chatGPT로 생성한 문장들을 이용하여 논문을 구성하는 걸 금지한거지? 근데 그걸 검증할 방법이 있나?

[파이토치조아(119.64)]

저도 그게 궁금합니다

[익명(221.146)]

C++잘 하시나요??

[파이토치조아(119.64)]

기초만 알아요. 그걸로 상용 모듈을 만들 정도의 실력은 아님

[익명(122.213)]

네이티브 레벨로 내려가서 구현할수록 AI 모델에 긍정적인 영향을 끼칠 수가 있나요? 회사에서 AI 관련해서 해보거나 남이 한 일을 관찰해보면 주로 데이터를 정제하거나 박사님이 연구한 XX한 레이어를 하드코딩하는 것이 핵심인 것 같던데 네이티브 레벨부터 다시 짜는 이유는 성능 때문인가요?

[파이토치조아(119.64)]

보통은 성능 때문이죠. 모델 설계는 이론으로 하고 파이토치나 텐서플로우는 그걸 구현하는 하이레벨이라고 하면 걔들 내부는 C++ 같은걸로 되어있고... 성능을 좀 더 쥐어짜내려고 C++이나 CUDA 레벨까지 내려가기도 한다고 들었는데 전 그까지는 거의 안 가는 편이에요. 최근에는 인텔 파이썬, 애플 파이썬 같이 회사별로 성능 쥐어짜내는 파이썬 distribution이 있다는 얘기도 들었네요.

[파이토치조아(119.64)]

좀 더 전문적인 AI 회사면 모델 compression/최적화/서빙이나 변환을 하는 인력이 따로 있지 않을까요? 저는 그냥 땔감이다보니 요구사항에 맞는 모델을 파이썬 프레임워크로 만들고... 그다음에 이걸 어떻게 해야하나.. 를 고민합니다.

[익명(122.213)]

아하 그렇군요 확실히 최근에 개인정보 이슈라던가 그런거때문에 앱에 배포해서 단말에서 동작하는 형식의 모델도 많이 필요하다고 들었어요 성능이 옵션이 아니라 필수인 경우도 있겠네요

[파이토치조아(119.64)]

모바일 단말에서 동작하는 형식의 모델 많이 필요하죠. 저는 개발 열심히 했는데 모바일에 안 맞다는 말 듣고 빠꾸먹은적 있습니다 ㅜㅜ

[익명(211.185)]

마소에서 모델 짠거 보니까 쿠다코드까지 쓰긴 쓰더라 필요하면 가져다 쓰기는 하는거같음