Week 7: Taalmodellen

Week 7: Taalmodellen#

Onderwerpen#

NB: omdat het hoorcollege van week 8 erg onhandig geroosterd is, komt dit te vervallen en wordt de stof van week 7 én 8 in het hoorcollege van week 7 behandeld.

  • (Large) Language Models

  • Word Embeddings

  • Recurrente neurale netwerken (RNN’s)

  • RNN’s met geheugen (LSTM, GRU)

  • Transformers

  • Ruimte voor vragen over de eerdere stof en de laatste opdracht

  • Afsluiting en evaluatie van het vak

College-sheets#

  • Hier vindt u de presentatie die in het college gebruikt is.

  • En hier de Notebook waarin we geprobeerd hebben een science fiction-roman te schrijven op basis van character prediction met een RNN. NB: dat er naast de vectorisatie ook een Embedding-laag in het definitieve model zit, is correct en nodig om de als int’s gecodeerde karakters om te zetten in vectoren van floats die (beter) door het netwerk verwerkt kunnen worden.

Lezen#

  • Géron: hoofdstuk 15 en 16