[운영체제] CPU 도 예측하고 미리 움직인다 (2)

CPU의 캐시 메모리는 성능을 높이기 위한 강력한 수단입니다. 그리고 CPU와 RAM의 속도차이를 극복하기 위해 존재합니다. 그런데 최근에는 CPU의 연산능력에 RAM이 일정 수준 개입하는 방향으로 전환이 일어나고 있습니다.

 

https://youtu.be/aApNYVy1TNU?si=T8u-cv3ucP2xa4EZ

---

 

CPU와 RAM 속도 차이와 캐시 메모리의 역할 변화

CPU는 매우 빠르게 동작하며, 1ns 단위로 작업을 수행하는 반면, RAM은 상대적으로 느려 50ns가 소요된다. 

이 속도 차이를 해결하기 위해 캐시 메모리를 활용하게 되었다. L1, L2, L3 캐시를 징검다리처럼 배치하여 RAM과 CPU를 연결해 연산을 효율적으로 수행했다. 

 

그러나 이 패러다임, 즉 CPU가 연산을 담당하고 RAM이 데이터를 관리하는 방식이 변화하고 있다.

 

GPU 와 연산 

연산을 수행할 수 있는 장치로 CPU 와 GPU가 있다. CPU의 코어는 평균적으로 8-16개인 반면, GPU는 평균 4000-5000개, 많게는 10000개까지 존재한다. GPU는 구조상 병렬 처리가 용이하지만, 개별 코어의 성능은 CPU에 비해 낮다. 그러나 다수의 코어를 통해 대량의 단순 작업을 효율적으로 처리할 수 있다.

GPU 와 CPU

즉 CPU와 GPU는 구조적으로 수행할 수 있는 역할이 다르다. 복잡한 계산 문제를 해결할 때는 CPU가 적합하지만, 단순하고 반복적인 작업을 처리할 때는 GPU가 더 효율적이다. 이를 비유하자면, 복잡한 작업은 소수의 전문가가, 단순한 작업은 다수의 인력이 참여하는 것이 더 효율적일 수 있다는 것이다. 이처럼 CPU와 GPU는 각기 다른 용도로 최적화된 장치들이다.

 

 

연산 메모리 PIM (Process in Memory)

 

최근의 패러다임이 하나 바뀌고 있는데, RAM이 GPU 가 AI 연산을 하는데, 인공지능에도 좋은 GPU 가 필요한다. 

AI 시대를 맞이하여 RAM에서도 연산을 하는 추세이다. 

데이터 처리를 극대화 하기 위해 전처리를 RAM에서 수행한다는 개념이다. 그렇게 되면 RAM은 더이상 단순 기억장치가 아니며 약간의 연산 기능도 수행하게 된다(PIM). 

 

 

 

 

기억장치에서 연산장치의 역할까지 수행하여, 연산장치의 타이틀까지 가질 수 있게 된 RAM 의 이야기는.. 라면왕 이철호씨의 이야기와 비슷하다! 이 사례를 통해 기억하면 좋을 듯 하다.

감자를 효율적으로 깎아 요리사로 승격할 수 있었던 라면왕 이철호씨..

 

---

ref : https://ggaby98.tistory.com/60

감자 하나를 깎아도 남다르게

 

https://velog.io/@selenium/%EB%94%A5%EB%9F%AC%EB%8B%9D-CPU-vs-GPU-CPU-%EB%8F%99%EC%9E%91-%EA%B3%BC%EC%A0%95-GPU%EC%99%80-AI

[AI] CPU vs GPU : CPU 동작 과정, GPU와 AI, CPU GPU 차이