Skip to main content
The following table lists the default LoRA target modules for each supported model. When all-linear is chosen, all modules from the list are selected as trainable.

​
Text Models

ModelDefault Target Modules
togethercomputer/llama-2-7b-chatk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3-8Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3-8B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3-70B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-8B-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-8B-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-8B-131k-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-8B-131k-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-70B-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-70B-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-70B-32k-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-70B-32k-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-70B-131k-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Meta-Llama-3.1-70B-131k-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.2-1Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.2-1B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.2-3Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.2-3B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.3-70B-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.3-70B-32k-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-3.3-70B-131k-Instruct-Referencek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
meta-llama/Llama-4-Scout-17B-16Ek_proj, o_proj, q_proj, v_proj, shared_expert.gate_proj, shared_expert.up_proj, shared_expert.down_proj, feed_forward.gate_proj, feed_forward.up_proj, feed_forward.down_proj
meta-llama/Llama-4-Scout-17B-16E-Instructk_proj, o_proj, q_proj, v_proj, shared_expert.gate_proj, shared_expert.up_proj, shared_expert.down_proj, feed_forward.gate_proj, feed_forward.up_proj, feed_forward.down_proj
meta-llama/Llama-4-Maverick-17B-128Ek_proj, o_proj, q_proj, v_proj
meta-llama/Llama-4-Maverick-17B-128E-Instructk_proj, o_proj, q_proj, v_proj
mistralai/Mistral-7B-v0.1k_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
mistralai/Mistral-7B-Instruct-v0.2k_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
mistralai/Mixtral-8x7B-v0.1k_proj, o_proj, q_proj, v_proj
mistralai/Mixtral-8x7B-Instruct-v0.1k_proj, o_proj, q_proj, v_proj
Qwen/Qwen2-1.5Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2-1.5B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2-7Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2-7B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2-72Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2-72B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-1.5Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-1.5B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-3Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-3B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-7Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-7B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-14Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-14B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-32Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-32B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-72Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen2.5-72B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-0.6B-Basek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-0.6Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-1.7B-Basek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-1.7Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-4B-Basek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-4Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-8B-Basek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-8Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-14B-Basek_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-14Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-32Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-30B-A3B-Basek_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-30B-A3Bk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-30B-A3B-Instruct-2507k_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-235B-A22Bk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-235B-A22B-Instruct-2507k_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-Coder-30B-A3B-Instructk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-Coder-480B-A35B-Instructk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-Next-80B-A3B-Instructk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-Next-80B-A3B-Thinkingk_proj, o_proj, q_proj, v_proj
google/gemma-3-270mk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-270m-itk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-1b-itk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-1b-ptk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-4b-itk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-4b-ptk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-12b-itk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-12b-ptk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-27b-itk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-27b-ptk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
deepseek-ai/DeepSeek-R1-Distill-Qwen-14Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
deepseek-ai/DeepSeek-R1-Distill-Llama-70Bk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
deepseek-ai/DeepSeek-R1-Distill-Llama-70B-32kk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
deepseek-ai/DeepSeek-R1-Distill-Llama-70B-131kk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
deepseek-ai/DeepSeek-V3q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
deepseek-ai/DeepSeek-R1q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
deepseek-ai/DeepSeek-V3-Baseq_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
deepseek-ai/DeepSeek-V3-0324q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
deepseek-ai/DeepSeek-R1-0528q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
deepseek-ai/DeepSeek-V3.1-Baseq_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
deepseek-ai/DeepSeek-V3.1q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
moonshotai/Kimi-K2-Instructq_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
moonshotai/Kimi-K2-Thinkingq_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
moonshotai/Kimi-K2-Baseq_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
moonshotai/Kimi-K2-Instruct-0905q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
moonshotai/Kimi-K2.5q_a_proj, q_b_proj, kv_a_proj_with_mqa, kv_b_proj, mlp.gate_proj, mlp.up_proj, mlp.down_proj
openai/gpt-oss-20bk_proj, o_proj, q_proj, v_proj
openai/gpt-oss-120bk_proj, o_proj, q_proj, v_proj
zai-org/GLM-4.6k_proj, o_proj, q_proj, v_proj
zai-org/GLM-4.7k_proj, o_proj, q_proj, v_proj

​
Multimodal Models

ModelDefault Target Modules
meta-llama/Llama-4-Scout-17B-16E-Instruct-VLMk_proj, o_proj, q_proj, v_proj, shared_expert.gate_proj, shared_expert.up_proj, shared_expert.down_proj, feed_forward.gate_proj, feed_forward.up_proj, feed_forward.down_proj
meta-llama/Llama-4-Maverick-17B-128E-Instruct-VLMk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-VL-8B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-VL-32B-Instructk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
Qwen/Qwen3-VL-30B-A3B-Instructk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3-VL-235B-A22B-Instructk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3.5-35B-A3Bk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3.5-35B-A3B-Basek_proj, o_proj, q_proj, v_proj
Qwen/Qwen3.5-122B-A10Bk_proj, o_proj, q_proj, v_proj
Qwen/Qwen3.5-397B-A17Bk_proj, o_proj, q_proj, v_proj
google/gemma-3-4b-it-VLMk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-12b-it-VLMk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj
google/gemma-3-27b-it-VLMk_proj, up_proj, o_proj, q_proj, down_proj, v_proj, gate_proj