https://github.com/simdutf/simdutf#how-fast-is-it

GitHub - simdutf/simdutf: Unicode routines (UTF8, UTF16, UTF32) and Base64: billions of characters per second using SSE2, AVX2, NEON, AVX-512, RISC-V Vector Extension, LoongArch64, POWER. Part of Node.js, WebKit/Safari, Ladybird, Chromium, Cloudflare Workers, Ghostty and Bun.

Unicode routines (UTF8, UTF16, UTF32) and Base64: billions of characters per second using SSE2, AVX2, NEON, AVX-512, RISC-V Vector Extension, LoongArch64, POWER. Part of Node.js, WebKit/Safari, Lad...

github.com



노드가 어느 순간부터 문자열처리 되게 빨라졌는데 icu 버리고 simdutf 저 라이브러리로 갈아탓다고함

1ebec223e0dc2bae61abe9e74683726d31d5a1cbee7d8ba092a31014f8a7a90543aa32858279a5a26dcd




ㄷㄷㄷ


소개

이 함수들은 SIMD 명령어(예: ARM NEON, SSE, AVX, AVX-512, RISC-V Vector Extension, LoongSon, POWER 등)를 사용하여 가속됩니다. 문자열에 수백 개의 문자가 포함되어 있더라도 초당 10억 개 이상의 속도로 변환할 수 있습니다. 영어(ASCII) 문자열뿐만 아니라 중국어, 일본어, 아랍어 등 다양한 언어에서도 빠른 속도를 기대할 수 있습니다. 이모티콘을 포함한 모든 문자를 완벽하게 지원합니다.

이 라이브러리는 컴파일 시 수백 킬로바이트 정도의 작은 크기로 저장됩니다. 저희 함수는 예외를 발생시키지 않으며 메모리 할당도 필요하지 않습니다. 또한, 광범위한 테스트와 벤치마크를 통해 검증되었습니다.

저희는 정교한 퍼징 환경을 포함한 철저한 테스트를 거쳤습니다. 해당 라이브러리는 수년간 실제 운영 시스템에서 사용되어 왔습니다.


예외도 없고 메모리 할당도 잘관리하는 좋은 라이브러리다