M
Автор
Matt Foster
1 матеріал
InfoQ
Автор
1 матеріал
InfoQ
Netflix розкриває архітектурні рішення та операційні виклики своєї внутрішньої платформи для висновків LLM, що використовує Triton та vLLM для ефективної роботи з різними моделями та обладнанням.