Тензорные ядра больше не спасают: почему ИИ-ускорители упрутся в память

Производители ИИ-ускорителей продолжают увеличивать количество тензорных ядер и осваивать всё более короткие форматы данных, включая FP8 и FP4. Производительность вроде как растёт, причем впечатляющими темпами, но есть одна загвоздка. Вычислительные блоки нужно постоянно снабжать весами модели и промежуточными данными. Если память не успевает, дорогой чип с…