뉴스 기사의 내용이 "A 기업의 영업이익이 B% 증가했다"라는 내용과 이 내용이 나온 뒤 주식의 변동성? 몇퍼센트 올랐는지를 레이블로 삼고싶습니다.

문장들과 상승하락폭을 가지고 머신러닝 시키고 싶습니다. 상승하락폭은 변동폭을 가져오면 해결되는 문제라 쉽게 데이터를 가져올 수 있었습니다.

뉴스 기사 내용도 가져오는 것은 쉬웠습니다. 그러나 이 뉴스 기사 내용을 머신러닝 시키려면 전처리를 통해 토큰화를 시키고 이를 어떻게 한다는 것 같은데

잘 모르겠습니다 ㅠㅠ


1.문장들을 어떻게 머신러닝 시키는지

토큰화를 하고 전처리 작업을 하는것 까지는 실행을 완료한 상태입니다. 그러나 [[A1,A2,A3],[B1,B2,B3,B4,B5],[C1,C2,C3,C4]]이런식으로 리스트 안에 리스트의 형태로 저장은 해봤습니다.  토큰화를 진행할때 숫자와 영어 부분을 제거해야할지 말지 궁금합니다. 토큰화 한 내용은 밑의 내용입니다. 토큰화를 진행했지만 


[['재판매', '및', 'DB', '금지', '김', '주환', '기자', '코스닥', '상', '장사', '카카오', '게임', '즈', '시장', '전', '망치', '밑도', '3분', '기', '실적', '기록', '카카오', '게임', '즈', '연결', '기준', '올해', '3분', '기', '영업', '이익', '437억', '원', '지난해', '동기', '보다', '2.3%', '증가', '것', '잠정', '집계', '돼다', '2일', '공시', '이다', '영업', '이익', '기준', '연합인포맥스', '집계', '시장', '전', '망치', '617억', '원', '29.1%', '하', '회하', '수치', '다', '매출', '3천', '69억', '원', '작년', '동기', '대비', '34.17%', ',', '직전', '분기', '대비', '9.4%', '감소'], 

['판타지오', 'CI', '파이낸셜뉴스', '판타지오', '최근', '매출', '액', '약', '30%', '달', '드라마', '공동', '제작', '계약', '체결', '소식', '장', '중', '주가', '오르다', '보이', '고', '있다'], ['한국', '카본', '현', '대', '중공업', 'LNG', '수송', '선', '화물', '창용', '초', '저온', '보냉', '자재', '공급', '계약', '체결', '2일', '공시', '계약', '금액', '1363억', '4103만원', '이다', '2021년', '매출', '대비', '37.07%', '해당', '규모', '다', '계약', '기간', '2026년', '2월', '28일', '까지다'], 

['엔', '케이', '맥스', '국내', '바이오', '기업', '최초', '로', '미국', '식품', '약국', '부터', '동정', '적', '사용', '승인', '받다', '알츠하이머', '환자', '에게', '세포', '치료', '제', '투여', '한다는', '소식', '주가', '강세', '다', '2일', '오전', '9시', '48분', '현재', '엔', '케이', '맥스', '전일', '대비', '600원', '오른', '1만', '3950원', '거래', '되다', '있다', '엔', '케이', '맥스', '자회사', '엔', '케이', '젠', '바이오', '텍', '자사', 'NK', '세포', '치료', '제', 'FDA', '로부터', '알츠하이머', '환자', '치료', '위', '동정', '적', '사용', '승인', '받다', '날', '밝히다', '동정', '적', '사용', '승인', '제도', '더', '이상', '사용', '가능하다', '치료', '제', '없다', '치료', '포기', '상황', '이르다', '경우', '의료', '당국', '시판', '승인', '전의', '신약', '공급', '치료', '기회', '주다', '제도', '다'], 

['엔', '케이', '맥스', '국내', '바이오', '기업', '최초', '로', '미국', '식품', '약국', '부터', '동정', '적', '사용', '승인', '받다', '알츠하이머', '환자', '에게', '세포', '치료', '제', '투여', '\n', '엔', '케이', '맥스', '자회사', '엔', '케이', '젠', '바이오', '텍', '자사', 'NK', '세포', '치료', '제', '미국', '식품', '약국', '으로부터', '알츠하이머', '환자', '치료', '위', '동정', '적', '사용', '승인', '받다', '2일', '밝히다']]


2. 이렇게 토큰화 한 내용을 이후에 어떻게 활용해야할지 감을 못잡겠습니다.
제 생각에는 이렇게 토큰화 한 데이터들을 각각 임베딩을 시켜 벡터화 시킨다음 각 문장마다 평균 벡터를 구하고 그 평균 벡터와 레이블(변동폭)을 가지고 나중에 새로운 뉴스 기사가 생성되었을 때 새로운 뉴스 기사 내용과 제일 유사한 몇개의 뉴스 기사 내용과 그에 대응하는 변동폭을 가져와 평균을 구해 알려주는? 그런 방식을 생각하고 있습니다. 그러나 이 벡터화를 시키는 과정에서 예를들어 지금 리스트에 5개의 문장이 있고 첫번째 문장이

['재판매', '및', 'DB', '금지', '김', '주환', '기자', '코스닥', '상', '장사', '카카오', '게임', '즈', '시장', '전', '망치', '밑도', '3분', '기', '실적', '기록', '카카오', '게임', '즈', '연결', '기준', '올해', '3분', '기', '영업', '이익', '437억', '원', '지난해', '동기', '보다', '2.3%', '증가', '것', '잠정', '집계', '돼다', '2일', '공시', '이다', '영업', '이익', '기준', '연합인포맥스', '집계', '시장', '전', '망치', '617억', '원', '29.1%', '하', '회하', '수치', '다', '매출', '3천', '69억', '원', '작년', '동기', '대비', '34.17%', ',', '직전', '분기', '대비', '9.4%', '감소']

이렇게 잡혀있습니다. 그런데 여기서 이 토큰화된 데이터들을 어떻게 벡터화를 시켜야 할지를 모르겠습니다. 

model=Word2Vec(sentences=text,size=300)
word_vectors=model.wv

구글링을 해보니 이런식으로 하라고 되어있어서 해봤는데 제가 생각한것처럼 되는것 같지는 않습니다.

지금은 예시를 들기위해 5개의 데이터만을 가져왔지 코드를 돌릴 때는 100개의 데이터를 가져와서 실행해봅니다.

제 생각에는 '재판매', '및', 'DB', '금지', '김', '주환', '기자', '코스닥', 이런식으로 각각 하나씩 벡터화가 되고

나중에 모든 벡터화된 내용들의 평균을 통해 첫번째 문장(데이터)의 평균벡터를 구하고 싶은데 모든 단어의 벡터화가 진행이 안되는 것 같습니다.