맥북 사면 그냥 패가망신한다
아 물론읶는 있는 모델에 다운받아서 lola같은 파인튜닝용 가중치 돌리는거면 어차피 거기서 거기니 걍 암거나사도됨 ㅇ.
근데 연구목적 용 dit model, sd, vla, vae, llm이런거 처음부터 모델 클래스 짜고 loss 설계하고 이런거면 맥북은 절대사면안됨
왜냐고? Rtx cuda 생태계가 이미 트랜스포머 행렬연산 계열로 최적화가 엄청 되어있음 그래서 학습 속도가 어마어마하게차이남 특히 rtx30번대부터 탑재되는 bf16 만해도 fp16보다 거진 1.5배 빠름
맥북은 칩 특성상 이런 cuda 시스템 자체를 못넣음
Vram은 배치를 늘려주는거지 학습속도를 늘려주는게아님!
Apple M2부터 bf16 지원함
CUDA만이 전부인줄 아는 멍청이였군
Cuda만이 전부맞아 임마
니 말대로면 엔비디아 들어간 노트북도 느려서 학습용으로 쓰면 안됨
@ㅇㅇ 뭔소리야 ㅅㅂ 엔비디아가 cuda임
@ㅇㅇ 알아 병신아 누가 엔비디아가 쿠다가 아니래? 노트북에 들어가는 쬐끄만 모바일 지피유가 빨라봤자 거기서 거기니까 가성비 고르란건데
엉 엄청차이나
@ㅇㅇ 인텔 AMD 애플 다 지원하는 bf16을 엔비디아만 지원한다고 쳐우기더니 빤스런했군
아오 ㅋㅋㅋ 인텔 암드 bf16은 얼척이없네 ㅋㅋㅋㅋ 얌마 학습때 bf16 지원은 bf16변환해서 deviece로 올리는용도야 ㅋㅋㅋㅋㅋㅋㅋ
얌마 cpu는 bf16당연한거야 gpu bf16 연산이 규모가 다른거고 ㅋㅋㅋㅋ bfloat16이 뭔지는 아냐
걍 넌 맥북써라 애초에 정도 능지먄 그거쓰는게맞음
@ㅇㅇ bfloat16 형식은 구글의 인공지능 연구 그룹인 구글 브레인에서 개발되었다. 이는 인텔 제온 프로세서(AVX-512 BF16 확장), 인텔 데이터 센터 GPU, 인텔 너바나 NNP-L1000, 인텔 FPGA[5][6][7], AMD 젠, AMD 인스팅트, 엔비디아 GPU, 구글 클라우드 TPU[8][9][10], AWS 인퍼렌티아, AWS 트레이니움,
@ㅇㅇ ARMv8.6-A[11], 애플의 M2[12] 및 이후 A15 칩 등 다양한 CPU, GPU, AI 프로세서에서 활용된다. CUDA[13], 인텔 oneAPI Math Kernel Library, AMD ROCm[14], AMD 최적화 CPU 라이브러리, PyTorch, 텐서플로 등 여러 라이브러리가 bfloat16을 지원한다.
@ㅇㅇ 다 디바이스 지원 얘기임
@ㅇㅇ 엔비디아 얘기했더니 쿠다랑 다른거냐고 읽는 문해력
니말대로 cpu bf16은 당연히 다지원함 왜? 어차피 추론용이니근데 gpu bf16은 애초에 행렬 숫자연산이라 규모자체가다름 gpu에 bf16을 올릴수있냐 없냐가 학습속도에 어마어마한 차이임 당장 니 노트북에도 cpu는 bf16 지원함
@ㅇㅇ 디바이스 목록에 AMD 서버용 GPU도 있고 구글 TPU도 있고 애플 실리콘 GPU AI 프로세서 얘기도 있는데 CPU만 지원한다고 이해하는 능지
그래서 닌 잘 모르겠지만 to.debive를 하더라도 cuda에 어떤 타입으로 올릴건지 dtype을 항상 지정해줘 왜? Cuda에서는 소숫점을 중요시 여기기 때문에 정밀도 문제 여부를 항상 물어보거든 어텐션 계열이 다 그럼 근데 어쨋든 cpu -> gpu 올릴려면 이게 안전하게 올라가야된단거임
맞음 tpu 암드 다있음 엄청된거니 ㅇ 그래서 bf16없는 gpu 찾기가 힘들지 근데 맥북은 학습때 device에 올리면서 제대로지원함?
@ㅇㅇ ㅇㅇ 그거 다른 디바이스도 다 중요하게 생각함 니는 아예 지원 안한다고 우기고
중요한건 학습때 bf16을 지원하냐 안하냐임 그리고 bf16뿐만이아님 당장 l4 <-> a100 만 하더라도 둘다 bf16 지원하는데 a100부터 cuda 생채계에서 지원하는 amp나 complie같은게 성능 향상이 엄청되면서 속도차이만 3~4배남 이게 다 cuda <-> 트랜스포머 상호 작용덕임
ㄴㄴ 내가지원안한다고 우기는건 맥북이었음 착각한거면 내가 쏘리 ㅇ.
@ㅇㅇ 애플 실리콘은 CPU GPU 통합 메모리라서 데이터 타입 지정하면 CPU GPU AI프로세스 다 그 타입 그대로 올라가는데 자꾸 뭔소리하는거야
참고로 complie만 하더라도 기억상으론 rtx3000번대 부터 지원할거임 complie 하나만으로 장기간 학습 속도 3~50% 올라감
학습때도 정상 작동함? 트랜스포머계열에서? 그게 중요한거
추론은 걍 다 작동해 애초에 cpu만 있어도 추론 돌아감
@ㅇㅇ 아니 뭔 예를 들어 쿠다는 예시가 많은데 애플은 별로 없으니까 파이토치 같은데서 삽질 좀 해야한다 그러면 이해되는데 통합 메모리에 디바이스에서 bf16 지원하는데 뭔 PCIE타고 CPU GPU 복붙해야하는 아키텍처마냥 아예 안된다고만 우기는게 이해가 안되네
니가 사서 검증하면되겠네 ㅇㅇ 하고 학습돌려 ㅇㅇ 걍 넌 맥북이딱임
@ㅇㅇ 당연하지 그러니까 맥미니로 에이전트 머신으로 돌리고 있잖아 추론에 쓰는 디바이스면 크기 차이 제외하고 학습에도 쓰는거랑 거의 같은데
@ㅇㅇ 디바이스 지원 안한다고 우기다가 지원하는거 가져오니까 정신승리 후 빤스런
아 ㅋㅋ 에이전트머신 ㅋㅋ 야 에이전트 머신은 학습아니잖아
뭐 에이전트 머신정도면 걍 미니맥북 써서 돌릴만하다
@ㅇㅇ 로컬 AI모델로 에이전트 머신 돌리는데 전부 맥미니 쓴다 로컬 아니면 걍 아무데서나 쓰고
Ai 에이전트 머신정도면 따로 gpu도 필요없을거임 요즘 cpu좋아서
@ㅇㅇ 하지만 사람들은 맥미니를 사지 메모리 가격 GPU 가격 전력 비교하면 애플 실리콘이 가성비 갑이니까
@프갤러1(114.202) 다중이가 아니면 너만의 근거를 가져왔겠지
@ㅇㅇ(211.234) 병신새끼 ㅉㅉ
@ㅇㅇ(211.234) 인마는 로그인 해와도 다중 계정돌리는 거 일도 아니라고 또 다중이로 몰아갈 새끼임ㅋㅋㅋㅋ
@ㅇㅇ(211.234) 이 새끼 엄마가 여러명이라 모든 세상이 다중이로 보이는 듯 ㅋㅋㅋㅋ
@ㅇㅇ(118.235) 깃갤에서 쫒겨난 애들이 프갤에서 살고 있었구나 댓글 여러개 우수수 쓰면서 부들대는건 여전하네
해당 댓글은 삭제되었습니다.
로그인해라
해당 댓글은 삭제되었습니다.
가만보면 중간중간 아무 정보도 안 올리면서 분쟁을 유도하는 유동들이 있음
@프갤러1(114.202) 본문과 관련된 내용은 하나도 없는 댓글