지니같은 모델보면 미친듯이 신기한데 한편으론 의구심이듬
실무에서 써먹어보려고
지금까지 오픈소스로 풀린것중 이미지생성 원탑인 flux나
비디오생성 모델 wan2.2도
심지어 상용모델인 지피티랑 제미나이로 시켜보고 veo3로 돌려봐도
그 어떤 모델도 완벽히 '이 모델의 뒷부분을 그려줘' '45도로 돌려줘' '이 모델을 360도 회전시켜줘.'
이런걸 존나 잘 이행한적이없음.
학습모델이 존나 많은 건 예를들면 사람같은건 잘만들어주지만
사람제외 거의 99프로는 원하는 결과가 쉽게 안나옴
이미지생성모델은 카메라각도 자체를 이해를 못하거나 일관성이 존나 떨어지고(zero123++같은 mv전문모델도 하나같이 병신임)
비디오생성모델은 사진속보이는 앞부분을 뒷부분에다 똑같이 붙여버리는 문제가 존나있음.
정확히 프롬프트로 그 물체가 무엇인지, 뒷부분은 어찌해야하는지를 명시해도 마찬가지임
애초에 ai가 이미지를 생성할때 인간처럼 3d로 물체를 인식하고 추론해서 만드는게 아니라
내가 쓴 프롬프트나 첨부한 레퍼런스이미지를 인코딩해서 학습된 데이터와 유사도로 묶는 느낌이라선지
카메라의 각도, 심도 이런걸 근본적으로 이해못하는게 큰듯
지니3가 나오던 4가 나오던 ai가 3차원으로 물체를
인식못하면 앞에선 멀쩡해보이는 바위도 뒤로돌리면 마치 똥처럼 동글동글 뭉쳐있을수도있다는거임
지니 3가 뽑은 걸 가우시안 어쩌구로 다시 3D 모델링으로 뽑고 그러지 않았나
드림가우시안말하는건가 쨋던 지니3가 그냥 단일이미지를 생성했으먼 그건 아무 의미없음 360도 멀티뷰로 존나 일관성있게 잘만들어야 의미가있음
@채영맨 고전 명화 3D 월드 뽑고 그걸 다시 그대로 3D 모델링으로 옮기던데
@채영맨
https://x.com/bilawalsidhu/status/1954229425199034753?t=rZu6F7e430m9livHu2QHzw&s=19
님이
생각하는 거랑 같은 건가
nerf방식같은데 개쩔긴하넹...ㄷㄷ
데이터 자체의 편향성 문제일 것 같긴함. 인간이 느끼는 공간감도 보고 느끼는게 아니라 사실 감각의 종합에 의한 가중치 개념이라고 생각해서
ㅇㅇ 종합적으로 진짜 추론가능한 멀티모달모델이 되서 이미지생성하는게 답임. 디퓨전방식은 한계가 명확함
그거 3d sparc a.i인가.. 있는데 그거 찾아봐라 뒷면 기깔나게 만듬
그거 허깅스페이스에서 데모풀린거 해봄ㅋ 좋긴좋더라 근데 멀티뷰안받잖아
내가 돌려본결과 일단 veo2가 제일 잘돌렸음
난 느낌상 wan2.2나 veo비슷비슷햇음 veo도 똑같이 뒷부분 말도안되게 해주거나 중요한게 프롬프트로만으론 360도 턴테이블처럼 깔끔히 돌려주진않더라 wan2.2에 다른 사람들이 만든 전용 lora쓰는게 그나마 돌리긴 잘돌리는데 뒷부분이 시발임
@채영맨 그거 깔끔하게 돌리는 프롬프트 gpt에 물어봐서 다시 돌려봐. 그리고 약간 가챠가 있음
그런거 대부분은 학습데이터 문제야
시간이 지나면 되지 않을까요?