[정보 🌐] PCIe 레인에 대한 넓고 얕은 이야기

[АSМL(asml877543)]

이전에 누구와 약속한대로 PCIe에 대해 가볍게, 라이트한 컴덕질에 지장이 없는 수준에서 다뤄보고자 합니다.

꽤 길지도 몰라요.

일단, PCIe 슬롯은 여러 장치를 보드, 궁극적으로는 CPU와 연결하는데 사용되는 슬롯이라는 것을 아실거라고 생각합니다.

대부분은 그래픽카드를 장착하기 위해 x16 슬롯을 사용하는데, 여기서 x16은 곧 16개의 레인을 사용한다는 것을 의미합니다.

NVMe SSD를 위한 M.2 슬롯도 x4, 4레인을 할당 받을 수 있는 슬롯이죠

결국 어떤 장치를 연결하기 위해서는 PCIe 레인이 많이 필요하며, 이는 곧 CPU 다이의 크기와 비용으로 이어집니다. 물리적으로는 한계가 존재하는거죠.

이것은 9950X3D의 PCIe레인에 대한 정보입니다.

여긴 285k입니다.

각자 PCIe 레인 수에 대해서 24개라고 지칭하고 있는 것을 볼 수 있습니다.

생각해보죠. VGA에 16개의 레인이 할당되면 남은 것은 8개의 레인입니다. 그럼, M.2 NVMe SSD 2개를 연결하면 남는 레인이 없어지죠.

하지만, 우리는 메인 보드가 더 많은 장치를 연결할 수 있는 것을 알고있습니다.

바로 칩셋입니다.

AMD에서 Total/Usable 레인의 수가 다른 것은 4개의 레인을 칩셋에 연결하기 때문이고, 인텔은 별도로 DMI라고 명명된 방식을 통해 칩셋을 연결합니다.

그렇기에 제조사는 칩셋의 등급에 차이를 두어 메인보드의 확장성을 다르게 합니다.

위는 X870E의 다이어그램입니다. 칩셋이 2개 사용되며, CPU와는 하나만 4.0 x4로 연결되는 것을 알 수 있습니다.

참고로, X870E보드는 USB4가 필수로 들어간다는 규칙이 있으며, USB4는 PCIe x4를 터널링하여 외부 기기와 연결할 수 있습니다.

그렇기에 PCIe 4레인이 필요하며, 이는 유저가 자유로이 선택할 수 있는 확장성을 떨어뜨립니다.

보드사들은 스위치를 통해 확장성을 조금이라도 유지했습니다. 대부분의 소비자용 보드에서 사용되는 것은 MUX 스위치라고 보시면 됩니다.

위는 X870E 타이치 OCF의 다이어그램입니다.

M.2_2포트는 USB4 포트와 PCIe 5.0 4레인을 공유하는 것을 확인할 수 있습니다.

매뉴얼에서는 M.2_2와 USB4가 사용하는 레인을 BIOS에서 0/4, 2/2, 4/0으로 설정할 수 있다고 합니다.

그외에 눈여겨볼 포인트는 2가지로, PCIe 5.0 x16이 나누어질 수 있어 16/0, 8/8연결을 지원한다는 것과, M.2_3는 PCIe 4.0 x2만을 사용한다는 부분입니다.

그리고, M.2_3을 사용하지 않는다면 PCIe 1이 x2 x2를 합쳐서 4레인을 사용할 수 있음을 예상할 수 있고요.

인텔도 TB4가 들어가지만, AMD와 다르게 CPU에서 직접 연결되는 구조라 사용자가 체감하는 레인의 수에는 영향을 주지 않습니다.

그럼 M.2 포트는 다들 동일하게 4레인을 할당받는데, 칩셋 아래에 연결된 NVMe SSD와 CPU와 직접 연결된 NVMe SSD는 동일한 성능을 보일까요?

PCIe 신호가 결국 칩셋을 거친다는 부분에서 예상할 수 있지만, 지연시간이 늘어납니다.

그외에 칩셋이 4.0 x4로 연결되어 있고, 아래에 2개의 4.0 x4 NVMe SSD를 접근한다면, 최대속도는 떨어집니다.

CPU와 연결되는 통로는 결국 4레인이니까 최대 4레인의 속도로 제한되는 것이죠.

그럼, CPU와 직접 연결한 NVMe SSD들의 성능은 동일하냐 묻는다면, 반드시 그렇지는 않습니다.

위에서 봤지만, 에로우 레이크는 최대 24개의 레인을 지원합니다.

그리고 에로우 레이크는 여러 개의 다이가 타일 구조를 이루고 있죠

이는 CPU의 내부라 보드에 명시되지 않아 많은 사람들이 넘어가지만, 에로우 레이크에서 CPU와 직결되는 24개의 PCIe 레인 중 일부는 CPU 타일과 더 멀리 떨어져있습니다.

5.0 x16, 다시말해 그래픽카드와 직접 연결되는 슬롯(PEG 슬롯)에는 SOC 타일의 PCIe 컨트롤러가 처리를 담당합니다.

하지만 5.0 x4와 4.0 x4... 누가봐도 M.2 NVMe SSD를 위한 슬롯이죠? 이들을 담당하는 PCIe 컨트롤러는 IOE 타일에 위치합니다.

(참고로, DRAM 컨트롤러는 SOC 타일에, TB는 IOE 타일이 담당합니다.)

그리고 타일간의 연결은 CPU Tile - SOC Tile - IOE Tile이죠.

다시말해, 지연시간이 증가합니다. 실제로 DRAM 지연시간 측정을 통해 다이간 대역폭은 우수하지만, 지연시간은 뒤쳐진다는 실험 결과가 존재하니까요.

올해 초에 제기되었고, 중순에 화제로 올라온 에로우 레이크에서의 SSD 성능 하락도 이와 관련된 문제로 보입니다.

그럼 이번엔 PCIe 분기에 대해 알아봅시다.

또 등장하는 에로우 레이크입니디. PCIe 구성을 보시면 1x16+2x4, 2x8+2x4, 1x8+4x4의 옵션이 기입된 것을 확인할 수 있습니다.

4레인 2개는 방금 IOE 타일에서 처리한다고 말씀드렸죠.

그럼 16레인을 2개의 8레인이나 1개의 8레인 + 2개의 4레인으로 구성할 수 있단 말이됩니다.

실제오 위의 SOC 타일이 담당하는 PCIe 레인 구성을 보면 16레인 전체를 하나로 사용할 수 있거나 2개의 8레인으로도 구성이 가능한 것을 볼 수 있습니다.

1개의 8레인과 2개의 4레인을 구성하는 옵션도 보이고요.

전통적으로(?) 인텔은 조금 짜게 굴고, 암드는 APU가 아닌 제품에 한하여 16레인을 4개의 4레인으로 구성할 수 있는 옵션을 줍니다.

물론, 단일 그래픽카드를 사용한다면 별로 중요한 옵션은 아니에요.

하지만 그래픽카드를 사용하지 않고 저장장치에 미친 사람이라면, 이런 식으로 16개의 레인을 나누어 4개의 NVMe SSD를 장착하고 풀성능으로 쓸 수 있겠습니다.

그럼, 이번엔 조금 다른 이야기를 해보겠습니다.

위에서 보았던 X870E의 다이어그램입니다. X870E 칩셋 아래를 잘보면 PCIe 3.0을 SATA포트로 사용할 수 있는 것이 보일 것 입니다.

그리고 이는 Z890의 사양입니다.

최대 24개의 PCIe 레인을 사용할 수 있는 것을 확인할 수 있습니다.

거기에 SATA 포트도 최대 8개 지원된다고 하네요.

실제로 가능한 구성은 위와 같습니다. 유연하게 설정이 가능하다고 Flex I/O라고 불리죠.

Flex IO의 0~9은 PCIe가 아닌 USB로 작동하는 것을 확인할 수 있습니다.

끝의 34~41은 DMI 전용으로 지정되어 있고요.

그럼 남은 10~33은 Z890의 사양에서 최대 PCIe 레인에 해당하는 24개라는 것을 파악할 수 있습니다.

그리고 동시에 22~29는 SATA 레인으로 지정되어있는 것도 보이시죠?

8개의 SATA 포트를 사용하기 위해서는 PCIe 4.0 x8을 포기해야한다는 말이 됩니다. 하나의 PCIe 레인이 하나의 SATA 포트에 대응하는거죠.

속도차이가 나는데 왜 그렇게 하냐고 묻는다면, 이게 Flex IO의 의의라고 말씀드릴 수 밖에 없네요.

SATA SSD를 사용하는데 일부 M.2 포트가 비활성화 된다면 이러한 이유때문이라고 할 수 있겠습니다.

N100과 같은 CPU도 이런 함정이 있습니다.

PCIe 3.0으로 9개의 레인을 지원하는 이 CPU.

1개의 레인까지 세세한 분기가 가능합니다. 하지만 이는 동시에 Flex IO에 해당하는 레인입니다.

스펙에 SATA 포트가 2개 지원된다고 적혀있지만, 이는 3.0 x2레인이 SATA 포트로 대체되는 것입니다.

심지어 USB 3.2 Gen 2와 UFS도 Flex IO에 대응되죠.

그렇기에 오드로이드 H4와 같은 제품들은 그냥 외부에 SATA 칩셋을 PCIe로 연결하여 2개가 넘는 SATA 포트를 구현합니다.

물론, 위에서 보았던 칩셋에 연결되는 장치들처럼 최대 처리량은 SATA 칩셋과 연결된 PCIe 대역폭에 의해 제한됩니다.

그럼 또 주제를 바꿔봅시다. 저장장치에 관심이 많다면, 가끔 x16슬롯에 NVMe SSD가 8개 또는 그 이상으로 장착되는 제품을 보신적이 있을 수도 있습니다.

이들은 PCIe 스위치를 사용한 제품으로, PCIe 분기와 상관없이 알아서 처리해줍니다.

PCIe에 한정한다면, X870E나 Z890과 같은 칩셋이라고 봐도 무방하겠네요. 단, 위 카드 같은 경우에 대역폭은 칩셋들보다 훨씬 넓은 5.0 x16에 달합니다.

사용되는 PCIe 스위치는 PEX89048이라는 칩으로 최대 48레인을 지원합니다. CPU와 연결되는 16레인을 제외하면 32개가 남고, 이를 4레인씩 할당하면 8개가 나오죠.

다시말해, 8개의 NVMe SSD를 장착할 수 있습니다.

5.0 x16을 2레인 8개로 나누는 것과 동일하지 않냐는 의문이 들 수 있습니다.

그런식으로 PCIe 분기를 하면 하나의 NVMe SSD만 사용할 때도 최대 처리량이 2레인으로 제한되지만, PCIe 스위치를 이용하면 4레인을 전부 처리할 수 있다는 것이 장점이죠.

물론, 5개를 풀로 사용한다면 대역폭 제한이 걸리지만요.

PCIe 스위치 이야기가 나온김에 이들이 무엇을 할 수 있는지 하나 더 예시를 들어보겠습니다.

예시는 칩셋이지만, 하는 역할은 동일하니까요.

ASUS Pro WS X570-ACE라는 보드입니다.

여긴 컨슈머에서 다이어그램을 재공하지 않는 경우가 많아 직접 사양표를 보고 생각할 필요가 있습니다.

메뉴얼의 Expansion Slots에서는 Processor들이 처리할 수 있는 두 개의 PCIe 4.0 x16슬롯 (x8/x8 모드라고 적혀있죠?)과 X570 칩셋이 처리하는 하나의 PCIe 4.0 x16(최대 x8 모드)가 적혀있습니다.

X870E는 CPU와 4.0 x4 연결인데, X570은 왜 8레인을 처리하도록 만들었을까요? X570은 CPU와 8레인으로 연결되는 걸까요?

물론 그럴 일은 없고 X570도 CPU와 PCIe 4.0 x4로 연결됩니다.

다시말해, 최대 처리량이 PCIe 4.0 x4로 제한되는 것이죠. 그럼 칩셋 아래의 8레인, 이점은 무엇일까요?

몇 가지 있지만, 여기서는 하나만 소개하고자 합니다.

PCIe 대역폭은 메이저 버전마다 대략 2배로 상승합니다. 다시말해, 3.0 x8의 대역폭은 4.0 x4와 비슷합니다.

하지만, 4.0 x4 슬롯에 3.0 x8 카드를 장착하면 3.0 x4로 동작하게 됩니다. 대역폭은 유사하지만 전기적으로는 4레인만 연결되니 말이죠.

그럼, 4.0 x8에 3.0 x8 카드를 장착하면? 3.0 x8로 동작합니다. 카드의 원래 스펙을 전부 사용할 수 있는 것이죠.

이런 이용 방식은 이 보드 뿐만 아니라 여러 개의 PCIe 장치를 요하는 경우에 종종 보입니다.

비슷하지만, 또 다른 사용법도 있습니다.

이것은 서버에 사용되는 최신 네트워크 카드입니다. 800Gbps를 지원하죠.

잠깐 PCIe의 대역폭에 대해 생각해봅시다.

3.0 기준으로 1레인은 약 8Gbps, 16레인은 128Gbps입니다.

4.0은 약 2배이니, 16레인은 256Gbps이며, 5.0 x16은 512Gbps입니다.

해당 카드는 x16을 지원하는 것으로 보이고, 아직 PCIe 6.0 호스트는 등장하지 않았습니다. 하지만, 이 카드는 PCIe 6.0 x16을 지원합니다.

그럼 현재의 상황에서 800Gbps의 대역폭은 어떻게 사용할 수 있을까요?

앞쪽에 x16을 지원하는 별도의 MCIO라는 이름의 커넥터가 있습니다.

이런식으로 2개의 5.0 x16 슬롯에 장착하여 800Gbps의 대역폭을 사용할 수 있는 것이죠.

5.0 x32를 6.0 x16으로 바꾸는 작업이라고 생각하시면 될 것 같습니다.

실제로 이 카드에 사용된 네트워크 칩은 PCIe 스위치의 역할도 할 수 있어, 해당 커넥터에는 NVMe SSD도 장착이 가능합니다.

의외로 PCIe 슬롯, M.2 슬롯이 아님에도 불구하고 PCIe를 지원하는 커넥터가 있는 것을 알게되었습니다.

조금 더 소개해보죠

이전엔 U.2 포트라고도 불렀던 MiniSAS-HD 커넥터입니다.

이는 컴퓨터 관련 커뮤니티를 하시는 분들이라면 저렴하고 고성능의 eGPU 솔루션이라는 것으로 알게되었을 수도 있는 OCuLink 커넥터입니다.

여기는 SlimSAS 커넥터라고 하죠.

마지막은 가장 최신의, 위에서도 보았던 MCIO 커넥터입니다.

왜 이렇게 많은 커넥터가 있을까요?

PCIe는 버전이 올라가며 빨라지지만, 그만큼 민감합니다.

예를 들어, 앞에서 보았던 MiniSAS-HD등의 커넥터는 PCIe 5.0의 요구사항을 만족하기 어렵습니다. 그렇기 때문에 MCIO와 같은 새로운 커넥터가 등장하는 것이죠.

사실, M.2 커넥터도 꽤 한계에 봉착한 상황입니다. 이러한 이유로 M.2 연장 라이저 케이블을 통해 PCIe 5.0 SSD를 연결하게되면, 인식되지 않는 경우도 상당수 존재합니다.

호환성 문제로 취급하는 경우가 많은데, 그런 쉬운 문제가 아니란 말이죠.

특히, SFF의 구성을 하는 유저들의 경우에는 라이저 케이블을 굉장히 애용합니다. 하지만, PCIe의 요구사항이 점점 까다로워지면서 길이를 연장해주는 것은 점점 힘들어집니다.

미니 PC등에 OCuLink등을 통해 eGPU를 구성하는 경우도 마찬가지입니다. 커넥터 자체는 PCIe 4.0에서 사용될 수 있지만, 케이블의 길이가 길어지면 신호의 무결성을 보장하기가 힘들어지죠.

여기서 사용할 수 있는 것이 리드라이버/리타이머 입니다.

차이점 등에 대한 것은 생략하겠으나, 위 이미지는 PCIe 신호의 퀄리티라고 보면 됩니다. eye diagram을 아신다면 바로 그것입니다.

왼쪽이 가장 알아보기 어렵고, 오른쪽이 제일 뚜렷해보이죠?

낮음과 높음이 디지털 신호의 0과 1을 의미한다고 생각하시면 오른쪽이 가장 깨끗하기에 정확한 신호를 알려준다는 것을 짐작할 수 있을 것입니다.

이렇게보니 Thunderbolt가 꽤 멋진 기술이죠?

여기까지 읽었다몀 라이트한 컴덕질에는 크게 무리가 없는 수준이 아닐까합니다.

그 이상은 제가 잘 모르기도하고요.

자세한 데이터시트를 들며 이야기한 것이 인텔뿐인게 아쉬울지도 모르겠습니다.

하지만, amd의 저런 데이터시트를 보기 위해서는 nda를 체결하고 기밀 유지를 해야하기에 저 같은 일반인은 확인할 수가 없네요

글이 도움이 되었다면 좋겠습니다.

[고닉임?(wtd01)]

글 여러 개를 쓰려다가 귀찮아져서 다 이어 붙여버린 느낌을 풍기는 이 글은 무엇인가

[고닉임?(wtd01)]

암튼 리타이머 달린 M.2 to MCIO 기판 싸게싸게 만들어주셈

[АSМL(asml877543)]

[호구왕(charming4872)]

@고닉임? 그거 20만-30만하던데 생각보다 비쌈 ㄷㄷ

[고닉임?(wtd01)]

@호구왕 리타이머 하나부터 10만에 근접해서 어쩔 수 엄슴...

[호구왕(charming4872)]

@고닉임? 하긴 그것도 모자라서 케이블까지 구비하면 ㅠ

[고닉임?(wtd01)]

@호구왕 직접 설계하려다 귀찮아서 접고 다시 고민하는 것을 무한 반복 중

[호구왕(charming4872)]

@고닉임? 저랑 똑같네요 ㅋㅋ 하고 접고 고민하고 접고 무한반복

[제주도삼다수.(sodoso)]

이거보고 엠닷2를 전부 사타포트로 장착해서 48베이 하드 자작나스 만들었다

[АSМL(asml877543)]

[제주도삼다수.(sodoso)]

@АSМL 저번에 질문드린거 해결이 되었어요 보드도 중요하지만 처리하는 시피유도 중요하다는걸 배운 좋은지식이였어요 이제 암드가 52레일 시피유를 만들면되는것이에요

[АSМL(asml877543)]

@제주도삼다수. 쓰레드리퍼로 오너라~

[야채살해자(pool6019)]

초고용량 광 스위치 물리적으로 스위칭하는 거 흠 그정돈가 였는데, pcie 5.0 x16 bandwidth가 모자라서 두개 박은 거 보니까 갑자기 이해되네...

[АSМL(asml877543)]

[SSun(o1oo1ooo1)]

[АSМL(asml877543)]

[흰오리(lameduck1)]

eye diagram 보니까 PAM4 쓰는 6.0은 얼마나 노이즈 마진이 낮을지 벌써 라이저 찐빠에 고통받을 슾갤롬들이 아른거리는군여

[흰오리(lameduck1)]

그나저나 800Gbps NIC이 5.0x16으로 안돼서 MCIO로 하나 더박는건 상상도 못했네여 지식이늘었?다

[АSМL(asml877543)]

[로파이미붕이(junior5709)]

그러니깐 레인댇지를 사랑하면 돈을 더 달라는거죠?

[무기를ㅡ접자(kkb1970)]

ㄹㅇ네.....

[АSМL(asml877543)]

[로파이미붕이(junior5709)]

[무기를ㅡ접자(kkb1970)]

깨달은거 사양 필요없는 컴들은 옛날이나 지금이나 APU박고 그래픽카드 자리에 M.2나 박는게 최고겠구나~

[АSМL(asml877543)]

본문에서는 자세히 언급하지 않았지만, AMD의 Zen 2 이후 APU 라인업은 최대 x8 x4 x4 분기를 지원하여... PCIe 스위치를 사용하지 않는다면 PEG슬롯에는 NVMe SSD를 3개까지만 장착가능하다는 점이 좀 아쉽죠

[АSМL(asml877543)]

[익명(vhmzzpfmgfpk)]

[익명(vhmzzpfmgfpk)]

재밌당

[АSМL(asml877543)]

[호구왕(charming4872)]

결론 레인수 많이 쓰고 싶다 = 제온 / 쓰레드리퍼로 가라

[АSМL(asml877543)]

[다중뉴비(insight0634)]

요약: 돈으로 때려부숴라는거구낰ㅋㅋㅋ - dc App

[АSМL(asml877543)]

[nVIDIA(combung2)]

이거보고 SOC인 에픽 샀다

[АSМL(asml877543)]

[Sandglass(rofmrhs)]

저장해두고 내일 읽어야지

[АSМL(asml877543)]

[Purenexus(hokyu)]

이궈궈던

[АSМL(asml877543)]

[익명(116.34)]

ㅈㄴ 어렵네 10줄읽고 포기

[АSМL(asml877543)]

[익명(112.172)]

내가 M.2는 2레인이면 충분하다는 근거가 얼추 나오네 CPU와 연결된 레인 자체가 적어서. 어차피 병목 하지만 이것도 가격 폭등하기전 이아기였지 지금은 하나하나 있는거 죄다 뽕 뽑아먹어야함

[익명(112.172)]

대충 이거 인텔보드에도 붙일 수 있으니 나오면 살꺼같음
https://gall.dcinside.com/m/svr/18564

[Kingstank(kingstank)]

M.2가 벌써 한계...?