현장에서 "작은 박스에 LLM 올릴 수 있나"라는 질문을 자주 받습니다. 결론부터 말하면 됩니다. 다만 기대치를 조정해야 합니다.
LLM 추론 속도는 연산량(FLOPS)보다 메모리 대역폭에 지배됩니다. 토큰 하나를 만들 때마다 모델 전체 파라미터를 메모리에서 읽어야 하기 때문입니다.
| 플랫폼 | 메모리 | 대역폭 | 7B 모델 체감 |
|---|---|---|---|
| Intel N97 | DDR5 싱글채널 | 약 38 GB/s | 2~4 tok/s |
| AMD 7840U | LPDDR5x 듀얼 | 약 120 GB/s | 8~14 tok/s |
| NVIDIA L4 | GDDR6 24GB | 300 GB/s | 35~50 tok/s |
N97급에서 7B 모델 4비트 양자화(Q4_K_M)를 돌리면 약 4.5GB를 차지합니다. 8GB 모델이면 OS와 여유분을 감안해 실사용이 어렵습니다.
범용 챗봇을 현장 박스에 넣는 구성은 권하지 않습니다. 응답이 느리면 사용자가 결국 안 쓰게 됩니다. 대신 좁고 반복적인 작업을 자동화하는 쪽이 체감 효과가 큽니다.
팬리스 케이스는 방열핀으로 열을 내보냅니다. LLM 추론은 지속 부하라서 순간 부하보다 발열이 큽니다. 주변 온도 40℃ 환경에서 30분 이상 돌려보고 스로틀링 여부를 확인해야 합니다.
스펙표의 TDP는 순간 최대치입니다. 지속 부하에서 실제로 유지되는 클럭을 측정하는 것이 중요합니다.