Fine tuning dei modelli

Scarica catalogo completo

Modulo 1: Introduzione ai Modelli Encoder

• Fondamenti dei Modelli Encoder e Architettura Trasformer
  • Introduzione ai modelli encoder: BERT, RoBERTa, DistilBERT
  • Differenze tra modelli encoder e decoder
  • Applicazioni pratiche (classificazione, named entity recognition)
• Setup dell’Ambiente di Sviluppo
  • Installazione e setup di strumenti per il fine-tuning (Hugging Face, PyTorch)
  • Preparazione dei dataset per il fine-tuning

Modulo 2: Fine-Tuning di BERT

• Introduzione al Fine-Tuning di BERT
  • BERT: struttura interna e livelli
  • Pre-training vs Fine-tuning: differenze e approccio
  • Task supervisionati per il fine-tuning (ad es. classificazione del testo, NER)
• Laboratorio: Fine-Tuning di BERT su Task di Classificazione
  • Preprocessamento del dataset
  • Implementazione del fine-tuning su un dataset di classificazione (ad es. sentiment analysis)
  • Valutazione delle performance e tuning dei parametri
• Miglioramenti e ottimizzazioni
  • Uso di tecniche di regularizzazione (dropout, weight decay)
  • Hyperparameter tuning: apprendimento, batch size, numero di epoche

Modulo 3: Fine-Tuning di RoBERTa

• Differenze tra BERT e RoBERTa
  • Architettura e vantaggi di RoBERTa rispetto a BERT
  • Maggiore utilizzo di dati e impatto sulle performance
• Implementazione del Fine-Tuning di RoBERTa
  • Dataset più complessi per il fine-tuning
  • Implementazione su task di generazione e comprensione del testo
• Laboratorio Pratico: Fine-Tuning di RoBERTa su Task di NER
  • Preprocessamento del dataset NER
  • Esecuzione del fine-tuning e valutazione delle performance

Modulo 4: Fine-Tuning di Altri Modelli Encoder

• DistilBERT: Modelli Leggeri per Applicazioni Veloci
  • Architettura ridotta di DistilBERT e vantaggi in termini di efficienza
  • Fine-tuning su dispositivi a bassa capacità di calcolo (ad es. mobile)
• Altri Modelli Encoder (Electra, ALBERT)
  • Approccio all’efficienza nei modelli encoder moderni
  • Pre-training e fine-tuning di Electra e ALBERT
• Laboratorio Pratico: Confronto tra Encoder
  • Esecuzione di fine-tuning su BERT, RoBERTa, DistilBERT ed Electra
  • Confronto delle performance e dei tempi di addestramento

Modulo 5: Best Practices e Sfide nel Fine-Tuning

• Gestione del Data Drift e Overfitting
  • Come affrontare il data drift e l’overfitting nei modelli fine-tuned
  • Monitoraggio e adattamento dei modelli nel tempo
• Considerazioni Etiche sul Fine-Tuning
  • Bias introdotti durante il fine-tuning
  • Limitazioni nell’utilizzo di modelli pre-addestrati

Modulo 6: Progetto Finale

• Implementazione di un modello fine-tuned per un task a scelta (ad es. NER, QA) utilizzando BERT, RoBERTa o un modello encoder alternativo
• Valutazione della performance e ottimizzazione del modello