Levis's GenAI Fullstack Engineer Blog

時代と共に、生成AIフルスタックエンジニアへ。

Temperature

大语言模型蒸馏中 Softmax 温度调节机制的可视化解释

在大语言模型(LLM, Large Language Model)的**知识蒸馏(Knowledge Distillation)**过程中,**温度调节(temperature scaling)**是一个关键的技术机制,特别是在“软标签(soft targets)”的生成与使用中发挥着重要作用。以下是温度调节在知识蒸馏中的具…