Informacje dot. przedmiotu Wprowadzenie do przetwarzania języka naturalnego 2024L

Etapy projektu

1. (do 25.03) Wybór tematu / propozycja własnego tematu (dookreslenie zakresu projektu)
2. (do 15.04) Projekt wstępny - przygotowanie raportu podsumowujacego studia literaturowe i opisującego projekt implementacji (już ze szczegółami) + wstępne wyniki
3. (do 31.05) Oddanie projektu, pełna dokumentacja, prezentacja na konsultacjach
   • Na oddanie projektu proszę umówić się poprzez calendly
   • Do raportu końcowego sugeruję wykorzystać template dostępny tutaj
   • Uwaga! Raport końcowy nie powinien przekroczyć 9 stron

Informacje organizacyjne

• Zespoły 2-3 osobowe
• Mail do kontaktu w sprawach projektu: monika.wysoczanska.dokt@pw.edu.pl
• Konsultacje zdalnie (MS Teams) rezerwacja terminu
• W razie dodatkowych pytań kontakt w formie mailowej/chat MS Teams na bieżąco
• Język implementacji dowolny (zachęcam do implementacji w języku Python)

Propozycje projektów

Proponowane tematy:

1. Wybrane zadanie z SemEval24’. Istnieje możliwość realizacji częściowej wybranego zadania.
2. Ewaluacja enkodera tekstowego modelu CLIP na kilku wybranych zadaniach z benchmarku GLUE
3. Modyfikacja i fine-tuning modelu miniBERT do kilku (wybranych) zadań (multi-task learning)
4. Hate-speech detection. Opracowanie i trening prostego klasyfikatora i analiza porównawcza z dotrenowanym wybranym enkoderem dostępnym w bibliotece HF
5. Analiza porównawcza kilku wybranych modeli językowych pod względem biasu. Materiały pomocniczne: https://huggingface.co/blog/evaluating-llm-bias

Mile widziane zgłoszenie własnych tematów.