NVIDIA выпустила Chat With RTX, демонстрацию локального исполнения приложений ИИ в ранней бета-версии. Это означает, что языковая модель может не только выполняться локально, но и, теоретически, обучаться на собственных данных. По сути, перед нами технологическая демонстрация, поскольку Chat With RTX, естественно, опирается на многие аппаратные и программные технологии, разработанные NVIDIA.
Среди них – RAG (Retrieval Augmented Generation). RAG предназначена для повышения точности и надежности генеративных моделей ИИ, позволяя обращаться к внешним источникам для проведения своего рода проверки фактов. В Chat With RTX также используется TensorRT-LLM в качестве API между аппаратным и программным обеспечением. TensorRT-LLM повышает производительность LLM на графических процессорах с архитектурой Ampere, Ada-Lovelace и Hopper. Конечно, задействуются ядра Tensor вышеупомянутых архитектур GPU.
Для локальной установки требуется некоторое количество свободного места на диске. Точнее, 69,1 ГБ для всей установки, в то время как модели LLama2 и Mistral требуют 31 и 17 ГБ соответственно. Только для среды Python требуется 6,5 ГБ.
Минимальные требования к видеокарте: серия GeForce RTX 30 или 40 с 8 и более Гбайт видеопамяти, в системе должно быть 16 Гбайт ОЗУ. Минимальным требованием также является наличие драйвера GeForce 535.11.
Chat With RTX можно загрузить непосредственно с сайта NVIDIA.
Обновление:
На днях Google представила Gemma, новую облегченную модель LLM с возможностью выбора из 2 и 7 миллиардов параметров. Все желающие могут опробовать Gemma через NVIDIA AI Playground в двух вариантах Gemma 2B и Gemma 7B в браузере. NVIDIA также планирует в скором времени выпустить обновленную версию Chat with RTX, которая будет включать LLM Gemma.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).