Local AI registry
The model to run on your GPU, and exactly how.
Pick your card. You get the three best models it can run, how fast each one goes, and the command that starts it. Every recipe here was run on the card and passed six checks: it loads, answers, thinks, calls tools, holds its context window and keeps pace.
37 GPUs37 recipes27 tested on the real card6 checks each
NVIDIA
RTX PRO 6000 Blackwell96 GB
Qwen3.8-27BEXL3 6 bpw52 tok/s›RTX 6000 Ada48 GB
Qwen3.8-27BEXL3 5 bpw93 tok/s›RTX A600048 GB
Qwen3.8-27BEXL3 5 bpw69 tok/s›RTX 509032 GB
Qwen3.8-27BEXL3 5 bpw155 tok/s›RTX PRO 4500 Blackwell32 GB
Qwen3.8-27BEXL3 5 bpw65 tok/s›RTX 309024 GB
Qwen3.8-27BEXL3 3 bpw139 tok/s›RTX 3090 Ti24 GB
Qwen3.8-27BEXL3 4 bpw87 tok/s›RTX 409024 GB
Qwen3.8-27BEXL3 3 bpw174 tok/s›RTX PRO 4000 Blackwell24 GB
Qwen3.8-27BEXL3 4 bpw72 tok/s›RTX 4000 Ada20 GB
Qwen3.8-27BEXL3 4 bpw37 tok/s›RTX 4060 Ti16 GB
Qwen3.8-27BEXL3 3 bpw29 tok/s›RTX 4070 Ti SUPER16 GB
Qwen3.8-27BEXL3 3 bpw74 tok/s›RTX 408016 GB
Qwen3.8-27BEXL3 3 bpw70 tok/s›RTX 4080 SUPER16 GB
Qwen3.8-27BEXL3 3 bpw77 tok/s›RTX 5060 Ti16 GB
Qwen3.8-27BEXL3 3 bpw62 tok/s›RTX 5070 Ti16 GB
Qwen3.8-27BEXL3 3 bpw94 tok/s›RTX 508016 GB
Qwen3.8-27BEXL3 3 bpw109 tok/s›RTX 2000 Ada16 GB
Bonsai 2 27BTernary– tok/s›RTX 306012 GB
Qwen3.5-9BEXL3 4 bpw78 tok/s›RTX 3080 Ti12 GB
Qwen3.5-9BEXL3 4 bpw106 tok/s›RTX 407012 GB
Qwen3.5-9BEXL3 4 bpw104 tok/s›RTX 4070 SUPER12 GB
Qwen3.5-9BEXL3 4 bpw115 tok/s›RTX 4070 Ti12 GB
Qwen3.5-9BEXL3 4 bpw78 tok/s›RTX 507012 GB
Qwen3.5-9BEXL3 4 bpw129 tok/s›RTX 308010 GB
Qwen3.5-9BEXL3 3 bpw117 tok/s›RTX 3060 Ti8 GB
Qwen3.5-9BEXL3 3 bpw86 tok/s›RTX 30708 GB
Qwen3.5-9BEXL3 3 bpw85 tok/s›RTX 3070 Ti8 GB
Qwen3.5-9BEXL3 3 bpw105 tok/s›RTX 40608 GB
Qwen3.5-9BEXL3 3 bpw55 tok/s›RTX 4060 Ti8 GB
Qwen3.5-9BEXL3 3 bpw55 tok/s›RTX 50608 GB
Qwen3.5-9BEXL3 3 bpw90 tok/s›RTX 5060 Ti8 GB
Qwen3.5-9BEXL3 3 bpw90 tok/s›RTX 4060 Laptop8 GB
Qwen3.5-9BEXL3 3 bpw55 tok/s›
AMD