인간이 가지는 신뢰성을 높이기 때문에 비즈니스적인 측면에서는 중요하다고 볼수 있고, 흥미로운 것도 사실이지만,
모델 자체의 성능적으로는 전혀 도움을 주지 않고, 실제로는 오히려 그런 기능을 추가하느라 성능이 떨어짐.
그리고 오해하는 경우가 있는데 이 설명이라는것도 결국에 추상적이고 대략적인 설명이지 구체적이고 세세한 설명은 아님.
예를 들어 cnn의 각각의 피쳐맵이 뭘 의미하는지는 앞으로도 알 수 없고, 어차피 그런건 설명을 하든 말든 인간이 이해 못하는 범주임.
이 모델이 대충 여기를 주목해서 이런 판단을 했다 같이 인간이 이해할 수 있는 범주의 대략적인 설명만 가능함.
모델 자체의 성능적으로는 전혀 도움을 주지 않고, 실제로는 오히려 그런 기능을 추가하느라 성능이 떨어짐.
그리고 오해하는 경우가 있는데 이 설명이라는것도 결국에 추상적이고 대략적인 설명이지 구체적이고 세세한 설명은 아님.
예를 들어 cnn의 각각의 피쳐맵이 뭘 의미하는지는 앞으로도 알 수 없고, 어차피 그런건 설명을 하든 말든 인간이 이해 못하는 범주임.
이 모델이 대충 여기를 주목해서 이런 판단을 했다 같이 인간이 이해할 수 있는 범주의 대략적인 설명만 가능함.
XAI 말하는거지?
ㅇㅇ
참고로 나는 gpt3같은 일부 언어모델도 본인의 판단 근거를 물으면 어느정도 제대로 답한다는 점에서 설명가능한 ai라고 볼 수 있다고 생각함. 이것은 attention으로 과거 자신의 생각을 참조한다는 점에서 실제로 본인의 사고과정을 설명하는게 맞음.