https://pytorch.org/get-started/pytorch-2.0/


토대 torch.compile는 새로운 기술인 TorchDynamo, AOTAutograd, PrimTorch 및 TorchInductor입니다.

  • TorchDynamo 는 Python Frame Evaluation Hooks를 사용하여 PyTorch 프로그램을 안전하게 캡처하며 안전한 그래프 캡처에 대한 5년 간의 R&D 결과로 탄생한 중대한 혁신입니다.

  • AOTAutograd 는 PyTorch의 autograd 엔진을 사전 역방향 추적을 생성하기 위한 추적 autodiff로 오버로드합니다.

  • PrimTorch는 ~2000개 이상의 PyTorch 연산자를 개발자가 완전한 PyTorch 백엔드를 구축하기 위해 대상으로 삼을 수 있는 ~250개의 기본 연산자의 닫힌 집합으로 정규화합니다. 이것은 PyTorch 기능 또는 백엔드 작성의 장벽을 상당히 낮춥니다.
  • TorchInductor 는 여러 가속기 및 백엔드를 위한 빠른 코드를 생성하는 딥 러닝 컴파일러입니다. NVIDIA GPU의 경우 OpenAI Triton을 핵심 빌딩 블록으로 사용합니다.

TorchDynamo, AOTAutograd, PrimTorch 및 TorchInductor는 Python으로 작성되었으며 동적 모양(예: 재컴파일을 유도하지 않고 다양한 크기의 Tensor를 보낼 수 있는 기능)을 지원하여 유연하고 쉽게 해킹할 수 있으며 개발자와 공급업체의 진입 장벽을 낮춥니다.