[📪정보] 기다려 온 토크나이저 혁신, H-Net

[익명(121.178)]

기존에 미리 글자를 잘라서 단어 덩어리를 만드는 토크나이저 (대부분 BPE) 방식에서 벗어나

사람이 미리 자를 필요 없이 모델이 직접 읽어가면서 알아서 덩어리를 정할 수 있도록 하는 H-Net 개발

카네기 멜론 대학에서 황석준 게이와

Mamba 아키텍쳐 제1저자 Albert Gu 외 1인이 작성한 논문

조회수 보면 알 수 있듯이 많은 관심을 받고 있음

관심이 쏠린 이유는 Albert Gu 자체가 유명한 연구자이기도 하고

근본적인 언어 모델링의 문제로 지목된 토크나이저 문제를 상당 부분 해결했다고 주장하기 때문

"H-Net 모델은 제 오랜 꿈이었습니다. 다행히도 제 학생인 황석준 씨는 이 모델의 기술적 혁신을 이루어 딥러닝의 매우 어렵지만 근본적인 문제라고 생각하는 문제를 해결(또는 적어도 상당한 진전을 이룸)하는 데 기여했습니다."

-Albert Gu

그래서 뭐가 좋은거냐?

논문에서 보여준 것

1. 학습 효율성 개선 (vs BPE 트랜스포머)

훨씬 빠른 LOSS 감소를 보여주는 H-Net

특히 2 스테이지로 더 높은 추상화 수준을 적용하면 더 잘 먹힌다는 점도 보여줌

다양한 언어모델 벤치마크 상으로도 우위를 보여줌

2. 특히 영어가 아닌 언어, 그 외의 과학적 시퀀스에서의 큰 성능 격차

-쭉 나열되는 영어와 달리 중국어 같은 언어들에서 기존 토크나이저 방식 대비 매우 큰 개선을 보여줌 (석구게이가 예시 짤방으로 한국어 만든거보면 한국어에서도 잘 통할 것으로 보임)

-또한 DNA 시퀀스 같이 일반적인 언어와 다르지만 기존 언어모델에 호환하기 위해 토크나이저를 사용했던 분야에서도 큰 개선

-코드에서도 마찬가지로 매우 좋은 성과

중국어, 코드 에서 실험 결과

DNA 시퀀스 모델링에서의 실험 결과

아래는 논문에서 직접 드러내거나 완전히 증명된 건 아니지만

Albert Gu가 블로그에서 쓴 H-Nets의 미래와 기대감을 보여주는 내용

1. 확장성

-가장 많은 사람들이 질문할 내용은 '그래서 실제로 더 스케일링이 잘 되냐?'로 예상한다

-논문에서 이미 보여줬고, 영어에서도 좋아졌지만 특히 데이터에 따라 더 나은 확장성을 이미 보여줬다

-나는 여러 가지 이유로 H-Net이 스케일링 법칙 곡선을 상당히 크게 변화시킬 것이라고 생각한다

-다만 컴퓨팅 용량 부족 등으로 공식적인 스케일링 법칙을 아직 완전히 증명하지는 못했다

-그러나 이미 언급했듯 스케일링이 잘 될 것이라 생각할만한 몇 가지 이유가 있다

2. 대체 언어 및 모달리티

-H-Net은 특히 중국어, 코드, 유전체학(DNA) 등에서 훨씬 더 나은 확장성을 보인다

-나는 H-Net이 특히 이런 유전체학 같이 특이한 특성을 지닌 시퀀스 모달리티에 즉시 채택될 것으로 예상한다 (가설)

-H-Net은 오디오와 비디오에 유용할 것이지만, 아직 더 많은 연구가 필요할 수 있다

3. 멀티모달리티 향상

-H-Nets은 텍스트, 오디오 등 모달리티를 융합하는 경로를 제공해 더 나은 상호작용을 가능하게 할 것이다 (가설)

4. 언어 모델링과 추론 능력의 향상

-H-Net의 근본적인 목표는 간단히 말해 '데이터를 의미 단위로 압축, 더 높은 수준의 추상화에서 작동하는 것'이다

-이를 통해 언어 모델링과 추론 능력이 향상될 것이다

5. 롱 컨텍스트 능력

-H-Net은 롱 컨텍스트 능력을 크게 향상시킬 것이다 (가설)

-논문에서 살펴보고 싶었지만 다른 부분이 너무 많아 미처 다루지 못했다

-앞으로 누군가 조사해줬으면 함

https://x.com/sukjun_hwang/status/1943703574908723674

https://goombalab.github.io/blog/2025/hnet-past/

https://arxiv.org/pdf/2507.07955

[익명(bluewarp)]

[익명(shore1232)]

한국인이 해냈다!

[아브소(mail6435)]

??? : 그래서 이걸로 유튜브 만듬? 이걸로 구글 같은거 만들 수 있음? 못만드면 증명 못한거임 아직 멀었음 설레발 ㄴㄴ

[아브소(mail6435)]

실제 필드 도입했을 때 토큰 절약량이 얼마나 될지 궁금하네. 누구라도 좋으니 로컬모델에라도 시험적으로 도입해서 안알려주나

[ㅇㅇ 1(106.73)]

개추안하고 뭐해 ㅆㅃ 왔다!!! - dc App

[익명(help2538)]

[ㅁㄱㅌㅊ(39.122)]

[익명(cleep00001)]

설마 또 시즌 17635371869492번째 근들갑은 아니겠지

[ㅇㅇ 2(14.35)]

이제 토크나이저 찐빠 좀 덜 보려나 기존의 구조에 바로 흡수시킬 수 있는건가?

[이세이미야케(jkwarawara)]

[익명(39.115)]

1조 토큰 가능한거지?

[ㅇㅇ 5(14.53)]

와 개끌리네

[초존도초(htr3c654r6ft)]

[유후후(badly2727)]

오 대박 이거 진짜 혁신이네

[익명(210.121)]

석구게이야

[낭만적특이점(next1842)]

[익명(account9429)]

와 이제 0.11 이랑 0.9 어떤게 큰지 툴 안쓰고도 가능한가 ㅋㅋ

[익명(rechido)]

[익명(account9429)]

특이점이 온다

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

대 석 준

[익명(suffer3234)]

[ㅇㅇ 3(121.133)]

그래 씨발 이런 소식이 들려야 된다고

[익명(wallet8965)]

과장안하고 특갤에서 이런글 한 100번은 본듯

[Weisser_Adler(adler1)]

이정도 글은 본 기억이 없는데

[익명(hyeongim264)]

이런게 쌓여서 AI 가속발전 하는거지

[ㅇㅇ 6(112.169)]

어쩌자는 거지

[Azurespace(azurespace)]

@AGI2025 이거 근데 메타에서 계속 비슷한 연구 해오긴 했어 megabyte랑 byte latent transformer였던가?

[글쓴 ㅇㅇ(121.178)]

Alberto Gu 블로그 글에서 BLT랑 비교한 내용있음. 인용하면 "BLT는 실제로 엔드투엔드가 아닙니다. H-Net은 BLT보다 사용하기 훨씬 쉽고 성능도 더 좋습니다." 트윗에서는 답글로 "제 생각에 BLT는 과장되었고 몇 가지 본질적인 결함이 있었습니다. 이는 논문과 블로그에 설명되어 있습니다."라고 달기도 함. 그 전의 문제점들을 해결하기 위해 많이 노력한 연구라고 봐야할 듯

[익명(merge3772)]

대 석 준

[ㅇㅇ 4(125.179)]

우머나이저로 읽고 들어왔네

[점심밥(yield0917)]

[VBKO(abko121115)]

캬

[STRATUMILATE(curry0010)]

이건 좀 지리노

[익명(course2187)]

[Weisser_Adler(adler1)]

[익명(connect3420)]

[익명(nose8049)]

대 석 준

[익명(enough2752)]

황석준 그녀석은 우리들 중 최약체다 - dc App

[천사다천사(jjtheman999)]

[asi2026(dart5404)]

[나쁜말안돼(piracy2794)]

대석준 이건 진짜 지리네

[Varian Wrynn(hanjanthe)]

[익명(58.79)]

다시는 한국을 무시하지마라

[스칼렛(ashamed6749)]

[익명(fine0748)]

황넷 ㄷㄷ

[인지(tend9111)]

한자가 뜻글자라 토큰으로 자르기 쉬운건가? - dc App

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

아틀라스 아키텍쳐랑 잘 어울리겠네