아마 shap-E에 대해서는 다른 사람이 특갤에 이미 올렸을 것 같은데 openAi에서 발표한 텍스트, 이미지 투 3d 모델링 모델이다. 기존에 나왔던 point-E보다 훨씬 출력시간이 빠르다는 장점이 있다.



https://github.com/openai/shap-e


오픈소스로 푼 덕분에 stable diffusion처럼 파이썬으로 간단하게 설치 가능하다


https://huggingface.co/spaces/hysts/Shap-E

Shap-E - a Hugging Face Space by hysts

Shap-E - a Hugging Face Space by hysts

huggingface.co

또한, 이곳 허깅페이스 링크에서 설치 없이 간단하게 테스트를 해볼 수 있다.



7bec8275b1806cf53fed85e14783706ff15f2a733690b26e175bc9ae8ea1537c55

초보들이 블렌더에서 많이들 연습하는 접시 위 도넛을 주문해봄. 제작에는 30초 정도 걸렸다




7fee8477b7816cf73cec82e44482706c0036122d6ba2b93b762a5e7317dc9fef53e2


7bec8275b4806bf23fed82e747827073d4c766ddb0075df568a4b0a92276ae


7bec8275b1836af53aee84e64283777314428fad510c2e553d5e32a9bee1

도넛의 모양을 안 써놨다지만 이건 먹다남은 도넛이 좀 상한 느낌이다



7cef8373b4806bf33fec83e74584766e04f88b29c11af394b1fb355ec0614b5f0c



그렇다면 이미지는 어떨까?



7eeb8019c3ed69fe36ef8fe3418274020d55a483a36df87e612fb5b2ca3ad904757f9abe7db389e8635e227297c961fe0423a70a8279d944592fe52a35a53b



7cef8373b4866ef43deb80e74585726f49ad94ef24ad7897ab9a125e3a7ffd4a51a739

일러스트나 사진보다는 라이팅이 들어간 3d모델링을 더 정확하게 인식할 수 있을듯 해서, 집 3d모델링을 검색해서 나온 이미지를 넣어보았다.

생성에 80초 정도 걸렸다.



78ec8273b6836ef43de984e642876a2d8d421215d853b84de6f91e663f

7aef8373b3806bf238ed85e1409f34336be76d182c4bf5a3a9dfc65b20


그만 알아보자



텍스트나 이미지나 결과물은 처참하지만, 프롬프트 없이 단장의 이미지만으로 유추하여 네모난 모형의 모델링을 만들어냈다는 점은 놀랍다

또 선배격의 이미지 투 3d 모델인 nvidia의 ganverse3d와는 달리 로컬 pc로 구동할 수 있는 것은 좋은 점이라 볼 수 있음

3d라는 것이 텍스쳐와 셰이딩 빨이 상당히 크기 때문에 여기서 더 발전하면 ai로 초벌을 만든 후 수정, 텍스쳐를 입히는 식으로 오브젝트의 제작 시간을 단축할 수 있지 않을까 기대해본다