현행 프로세스 명세서에 따르면
1.
n개의 FTP API 로 받아온 결과값들을
일정한 뎁스의 json 형태로 만든뒤
리스트 안에 n index 를 가지게 해서
n개의 FTP API 로 사용했던 Id 인자를 root key 로 해서
구조화 시킨뒤 RDB에 집어넣는다.
2.
구조화된 데이터는 벡터로 변환하고 식별가능한 요소들은 검색의 질을 높이기 위한 메타데이터로 전부 사용.
이 데이터를 임베딩 하게되면 JSON 포맷하면서 발생하게 되는
괄호, 쌍따옴표, 쉼표가 vector search에 긍정적인 영향을 주는지??
아니면 그저 노이즈에 불가하여 유사도를 하락시키는지요??
목업하자니 선행으로 처리해야할 1번 인터페이스도 지연되고있어서 확인이 늦습니다
JSON 은 의미 있는지요? 없는지요?
- dc official App
토크나이저 보캡에 특수문자도 있으면 큰 영향은 없을걸요 예시로 모델을 학습할 때 데이터증강 방법으로 punctuation 추가만 했는데 성능이 올랐다는 연구도 있고요