Seminário Destilação - Artefatos

Este repositório documenta o conteúdo e os artefatos utilizados no seminário apresentado sobre Destilação de Conhecimento.

Seminário ocorreu em: 04/06/2025. Disponível atualmente apenas para leitura.

---

📚 Artigos Utilizados

1. Distilling the Knowledge in a Neural Network
   Artigo que introduz a técnica de knowledge distillation com redes professor-aluno.

2. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
   Proposta de destilação de modelos BERT com técnicas de compressão em vários níveis.

3. A Survey on Knowledge Distillation of Large Language Models
   Pesquisa completa sobre Destilação em LLMs (2024).

---

🛠️ Artefatos

• Apresentação em slides: slides/
• Modelo POSCOMP: notebooks/poscomp/
• Outros casos de Destilação: MasterChef-AI