[📪정보] 아까 썼던 Mistral 7B v0.2 글 보충함

안녕하세요! 여러분이 이해하기 쉽도록 전문용어를 하나씩 설명해 드리겠습니다.

1. Base Model (기본 모델):

- 인공지능을 만들 때 시작점이 되는 모델이에요.

- 이 모델을 바탕으로 새로운 기능을 추가하거나 개선해 나가는 거예요.

2. Context Window (문맥 창):

- 인공지능이 한 번에 처리할 수 있는 글자 수를 말해요.

- 32K context window는 32,000자까지 한 번에 볼 수 있다는 뜻이에요.

- 8K에서 32K로 늘어났으니 더 많은 정보를 한 번에 파악할 수 있게 된 거죠.

3. Theta (RoPE) (θ (RoPE)):

- 인공지능이 문장의 위치 정보를 잘 이해할 수 있도록 도와주는 값이에요.

- 1e6은 1,000,000을 간단히 쓴 거예요.

- 이 값이 크면 클수록 위치 정보를 더 잘 파악할 수 있어요.

4. Sliding Window (슬라이딩 윈도우):

- 긴 문장을 처리할 때, 일정 길이씩 잘라서 순서대로 읽는 방법이에요.

- 하지만 Mistral-7B-v0.2에서는 이 기술을 사용하지 않기로 했어요.

- 대신 문맥 창을 크게 늘려서 한 번에 더 많은 내용을 볼 수 있게 만들었죠.

이렇게 Mistral-7B-v0.2는 기존 모델을 개선하고, 문맥 창을 늘리고, 위치 정보 파악 능력도 높인 새로운 인공지능 모델이라고 할 수 있어요. 여러분도 이제 이 용어들을 보면 쉽게 이해할 수 있을 거예요!

새로 나온거 맞는듯 아까 글 올렸는데 이상하게 안올라가서 다시올림

댓글 2