Токенизация, оценка качества LLM Тихомиров Михаил Михайлович 00:16 Токенизация до subword tokenization 15:36 "Особенности" токенизации в современных пакетах 23:37 Проект Ruadapt 40:31 Оценка качества LLM 01:02:24 MERA 01:08:51 Shlepa 01:10:16 LLMTF - Benchmark 01:13:13 llmarena.ru 01:19:38 Выводы 01:21:01 Домашнее задание Ссылка на плейлист Teach-In: https://teach-in.ru/course/fundamentals-of-training-llm-tihomirov Ссылка на плейлист YouTube: https://www.youtube.com/playlist?list=PLcsjsqLLSfNAz_J4tGrLSI--CzdYyhnj3 Ссылка на плейлист VK: https://vkvideo.ru/playlist/-176441665_866 Ссылка на плейлист RuTube: https://rutube.ru/plst/1513656 #teach_in #МГУ #MSU #Artificial_intelligence #искусственный_интеллект #ИИ #AI #лекция #lecture #Тихомиров #Tikhomirov #LLM #языковое_моделирование #language_modeling #токенизация #Transformer_Architecture #BERT #tokenization #Ruadapt #оценка_качества_LLМ #LLM_quality_assessment #MERA #Shlepa #LLMTF_Benchmark #llmarena