[🐣질문] 유니티 바라쿠다랑 텐서플로우 잘 아시는 분들 도움 부탁드립니다...

[익명(180.65)]

물고기 사진을 분류하는 onnx 모델을 제작하고, 이를 유니티와 연동했는데 화면이 유의미하게 바뀌더라도 계속 비슷한 출력값이 나오는 문제가 생겼습니다.

우선, colab을 통해서 물고기 사진을 식별하는 모델을 만들었습니다. 아래는 모델을 제작한 코드입니다.

이후 이를 유니티 바라쿠다와 연동하기 위해서 .onnx 파일로 변환시켰습니다. 아래는 그 코드입니다.

모델을 정상적으로 변환시키고 유니티 에셋으로 불러들였습니다.

유니티에서는 웹캠 텍스쳐를 가져오고, 이를 인풋값에 맞게 크롭한 뒤, 모델에 집어넣었습니다.

우선 웹캠 텍스쳐를 불러들이고, 모델에 입출력한 코드입니다.

* 69번째 라인에서 받아온 결과값들을 출력했습니다.

다음은 웹캠 텍스쳐를 모델의 인풋에 들어맞게 전처리한 코드입니다.

다음은 웹캠 텍스쳐를 RawImage에 출력한 코드입니다.

이렇게 유니티에서 모델의 입출력을 구성해놓았는데, 아웃풋을 갖고오는 데에는 성공했으나 웹캠 텍스쳐가 유의미하게 바뀌어도 계속 비슷한 출력값만 나오는 문제가 생겼습니다.

아래는 Classification.cs 69번째 라인의 로그들입니다.

화면이 유의미하게 바뀌어도 계속 비슷한 출력값만 나타나고 있습니다.

아래는 onnx로 변환한 모델을 netron으로 본 것입니다.

도대체 어디에서 문제가 발생한 건지 도저히 모르겠어서 글 올려봅니다. 지나가시는 고수분들 제발 도움 부탁드립니다.

- dc official App

[익명(118.35)]

유의미하게 바뀐 이미지들이 먼지 알아야 할 것 가튼데용..

[익명(180.65)]

저의 모습을 찍는 일반적인 웹캠 화면과 손바닥으로 전부 가려 검은색으로 만든 웹캠 화면일 때도 같은 결과가 나왔고, 이상하다 싶어 WebCamTexture 말고 RawImage로 받아와서 이것저것 다른 물고기 사진들을 넣어서 출력해도 같은 문제가 발생했습니다.

[익명(118.35)]

유니티로 머신러닝을 해본 경험은 없음을 미리 말씀드립니당.. 전처리 과정에서 크롭을 이미지의 내부의 인식하려는 객체에 맞게 하시는 건가요? 학습 셋이 어떻게 구성되어 있는지 양이 얼마나 있는지 모르겠지만 인식하려는 물고기 자료의 크기가 각각 다를 경우 정확히 물고기 부분만 크롭하는 알고리즘이 필요하실수도 있습니다. 그리고 혹 학습셋 이미지를 전처리 할 때 색정보를 살려서 이용하신다면 이미지의 특성에 따라 RGB 색공간보다는 HSV 같은 색공간을 사용하시는 게 더 좋을 수도 있습니당.

[익명(118.35)]

그리고 만약 말씀하신대로라면 과적합 문제는 아닐 가능성이 높아보여요. 일반적인 웹캠 화면과 검은 화면, 그리고 물고기 이미지일 때도 같은 값이 나온다면 과적합이 아니라 학습이 제대로 안 이루어져 있는 것 같습니다.

[익명(180.65)]

이번에 만드는 프로젝트 때문에 텐서플로우를 공부하는 중이라 아직 많은 부분을 알진 못합니다. 크롭도 해야하는 건 이제야 알았네요,, 제가 어제 하루종일 여러 테스트를 해봤는데 우선 모델 자체에는 문제가 없는 것 같습니다. 손실함수도 잘 줄어들고 있고, 정확도도 98 정도가 나옵니다.

[익명(180.65)]

또, 유니티의 웹캠 화면을 인풋으로 하는 게 아니고 구글에서 물고기 사진을 직접 다운 받아서 파이썬 환경에서 테스트를 해보면 정답을 잘 예측합니다. 유니티와 tflite 연동 예제에 담긴 모델들을 보면 uint8로 양자화가 되어있던데, 아무래도 양자화가 안되어서 그런게 아닐까 합니다.

[익명(180.65)]

그런데 구글에서 올린 양자화 예제를 보고 따라해도 모델이 양자화가 안되더라구요,, 왜 그런진 모르겠지만 정말 막막합니다,,,

[익명(116.38)]

모델이 학습이 안 되서 그런건지 연동하면서 문제가 생긴건지 확인해 보는게 좋을듯

[익명(180.65)]

밤새 구글링 해보니 과적합 문제였던 것 같습니다. 오늘 안에 수정 해보려구요

[익명(183.96)]

유니티에서 캡처한 데이터 보면 x랑 y가 반대로 나와요