Современные системы искусственного интеллекта становятся всё более масштабными. Если несколько лет назад крупной считалась нейросеть с сотнями миллионов параметров, то сегодня ведущие языковые модели оперируют десятками и даже сотнями миллиардов параметров. Однако с ростом размера моделей возникает серьёзная проблема: вычислительная стоимость обучения и запуска таких систем растёт экспоненциально. Инженеры и исследователи ищут способы увеличивать мощность…