https://disk.yandex.ru/i/6ij0x5A0EYGFtw — презентация Large generative language models speedup optimization Современные языковые модели — большие, мощные, но неторопливые. Обзор классических подходов к сжатию моделей. Практический опыт ускорения генеративных языковых моделей типа ruGPT-3 при помощи фреймворков ONNX Runtime, Deepspeed, FasterTransformer. Ускорение моделей за счёт архитектурных изменений. Размещение одной модели по нескольким GPU Data Fest 2023: https://ods.ai/events/datafestonline2023 Трек "NLP": https://ods.ai/tracks/df23-nlp Наши соц.сети: Telegram: https://t.me/datafest Вконтакте: https://vk.com/datafest