π Lance: ΠΌΡΠ»ΡΡΠΈΠΌΠΎΠ΄Π°Π»ΡΠ½Π°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ ΠΎΡ ByteDance
ΠΠ°Π±ΠΎΡΠ°ΡΠΎΡΠΈΡ Intelligent Creation (ByteDance) ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΠ»Π° Lance β ΠΊΠΎΠΌΠΏΠ°ΠΊΡΠ½ΡΡ ΠΌΡΠ»ΡΡΠΈΠΌΠΎΠ΄Π°Π»ΡΠ½ΡΡ ΠΌΠΎΠ΄Π΅Π»Ρ Ρ 3 ΠΌΠ»ΡΠ΄ Π°ΠΊΡΠΈΠ²Π½ΡΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ². ΠΠ»Π°Π³ΠΎΠ΄Π°ΡΡ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠ΅ dual-stream MoE ΠΈ ΠΌΠ΅Ρ Π°Π½ΠΈΠ·ΠΌΡ MaPE, ΠΎΠ½Π° ΠΎΠ±ΡΠ΅Π΄ΠΈΠ½ΡΠ΅Ρ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅, Π³Π΅Π½Π΅ΡΠ°ΡΠΈΡ ΠΈ ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΌΠ΅Π΄ΠΈΠ° Π² Π΅Π΄ΠΈΠ½ΠΎΠΌ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π΅.
π ΠΠ΅ΡΠ΅Ρ ΠΎΠ΄ ΠΊ ΡΠ½ΠΈΡΠΈΡΠΈΡΠΎΠ²Π°Π½Π½ΡΠΌ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΠ°ΠΌ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ Π΄ΠΎΡΡΠΈΡΡ ΡΠΈΠ½Π΅ΡΠ³ΠΈΠΈ ΠΌΠ΅ΠΆΠ΄Ρ Π·Π°Π΄Π°ΡΠ°ΠΌΠΈ Π³Π΅Π½Π΅ΡΠ°ΡΠΈΠΈ ΠΈ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΡ, ΡΠ½ΠΈΠΆΠ°Ρ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ Π·Π°ΡΡΠ°ΡΡ.
π€ ΠΠΎΠ΄Π΅Π»Ρ ΠΎΡΠΊΡΡΠ²Π°Π΅Ρ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΠΈ Π·Π°ΠΏΡΡΠΊΠ° ΡΠ»ΠΎΠΆΠ½ΡΡ Π·Π°Π΄Π°Ρ (ΡΠ΅Π΄Π°ΠΊΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ Π²ΠΈΠ΄Π΅ΠΎ) Π½Π° ΠΌΠ΅Π½Π΅Π΅ ΠΌΠΎΡΠ½ΠΎΠΌ ΠΎΠ±ΠΎΡΡΠ΄ΠΎΠ²Π°Π½ΠΈΠΈ.
ΠΡΡΠΎΡΠ½ΠΈΠΊ 1: https://lance-project.github.io/ ΠΡΡΠΎΡΠ½ΠΈΠΊ 2: https://arxiv.org/abs/2605.18678