Внутри LLM: что происходит между промптом и следующим токеном
Прогулка по конвейеру языковой модели с настоящими числами: токены, эмбеддинги, блок трансформера, softmax и сэмплер, KV-кэш и обучение. С двумя интерактивами прямо в тексте.
Блог · тема
Как LLM устроены внутри и как они живут в проде — инференс, раскатка моделей, MLOps.
1 статья
Две стороны одной работы. Разборы: что происходит внутри модели между промптом и ответом. И практика: как эту модель раскатать, чем она упирается в железо и сколько это стоит.
Прогулка по конвейеру языковой модели с настоящими числами: токены, эмбеддинги, блок трансформера, softmax и сэмплер, KV-кэш и обучение. С двумя интерактивами прямо в тексте.
…