Destilação de Conhecimento

Casos Práticos

Tópico	Descrição	Código	Vídeo
Destilação de Redes Neurais	Caso prático de uma destilação com redes neurais	Código	Em Breve
DistillBert	Destilação do modelo Bert	Código	—
Modelo Poscomp	Pipeline de construção do modelo especialista em POSCOMP	Notebook	—

Título	Link	Descrição	Análises em Português
Distilling the Knowledge in a Neural Network	ArXiv	Surge o conceito “Destilação de Conhecimento”.	Em construção
A Survey on Knowledge Distillation of Large Language Models	ArXiv	Revisão sobre técnicas de destilação de conhecimento para modelos de linguagem.	Análise
Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs	ArXiv	Proposta de técnica de destilação universal para LLMs.	Em construção
DISTILLM: Towards Streamlined Distillation for Large Language Models	ArXiv	Abordagem otimizada para destilação de LLMs.	Em construção
DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs	ArXiv	Estratégias para melhorar a eficiência da destilação de LLMs.	Em construção

1º Seminário do Agents4Good sobre Destilação de Conhecimento:
Repositório de Artefatos do Seminário