現場で「小さなボックスにLLMを載せられるか」という質問をよく受けます。結論から言えば可能です。ただし期待値を調整する必要があります。
LLM推論速度は演算量（FLOPS）よりもメモリ帯域に支配されます。トークンを1つ生成するたびにモデル全体のパラメータをメモリから読み出す必要があるためです。
| プラットフォーム | メモリ | 帯域幅 | 7Bモデルの体感 |
|---|---|---|---|
| Intel N97 | DDR5シングルチャネル | 約38 GB/s | 2~4 tok/s |
| AMD 7840U | LPDDR5xデュアル | 約120 GB/s | 8~14 tok/s |
| NVIDIA L4 | GDDR6 24GB | 300 GB/s | 35~50 tok/s |
N97級で7Bモデルの4ビット量子化（Q4_K_M）を動かすと約4.5GBを占めます。8GBモデルだとOSと余裕分を考慮して実用は難しいです。
汎用チャットボットを現場のボックスに入れる構成は勧めません。応答が遅いとユーザーは結局使わなくなります。代わりに狭く反復的な作業を自動化する方が体感効果が大きいです。
ファンレスケースは放熱フィンで熱を逃がします。LLM推論は持続負荷のため、瞬間負荷よりも発熱が大きくなります。周囲温度40℃の環境で30分以上動かし、スロットリングの有無を確認する必要があります。
スペック表のTDPは瞬間最大値です。持続負荷で実際に維持されるクロックを測定することが重要です。