hardware

Pozornost technologických firem se podle článku přesouvá od trénování stále větších modelů k inferenci, tedy jejich každodennímu nasazení pro odpovědi, tvorbu kódu či autonomní agenty. Zátěž zvyšují zejména uvažující modely, které vytvářejí delší řetězce výstupů, a agentní systémy běžící nepřetržitě. Inference se od trénování liší tím, že při generování každého dalšího tokenu musí opakovaně pracovat s parametry modelu i rostoucí pamětí kontextu, takzvanou KV cache. Hlavní překážkou proto není jen výpočetní výkon, ale zejména kapacita a propustnost paměti; GPU mohou při čekání na data zahálet. Výrobci hledají nové architektury, například těsnější vertikální propojení paměti a výpočtů nebo rozšíření paměti do větší vzdálenosti od akcelerátorů. Rostoucí poptávka zároveň vede k neobvyklým partnerstvím mezi velkými firmami a specializovanými výrobci čipů.