Вместе с несколькими партнерами по программному обеспечению NVIDIA уже больше года работает над взаимодействием NPC с поддержкой ИИ. Первая демонстрация была показана на выставке Computex в июне и была посвящена максимально интерактивному общению с NPC. В январе NVIDIA представила доработанную версию на CES.
NVIDIA ACE – это платформа с поддержкой ИИ для разработчиков игр, содержащая компоненты NeMo и Omniverse. Причем подразумевается не просто генерация персонажей или 3D-объектов, а оживление мира или сцены с помощью ИИ. В будущем NPC будут взаимодействовать с игроком не только путем выбора той или иной опции в диалоге, но реагировать на голосовые сообщения геймера. Речь игрока переводится локально на ПК в текст, обрабатывается в LLM в облаке, создается соответствующая реакция NPC, которая затем отправляется обратно на ПК. Затем NPC зачитывает ответ, причем у 3D-модели будет синхронизироваться мимика. Цель - добиться реалистичного взаимодействия с персонажами NPC в игре.
На GDC NVIDIA в сотрудничестве с Ubisoft и поставщиком Middleware Inworld AI показала новое технологическое демо, в котором для каждого NPC создается полная история жизни, база знаний и стиль общения. Все параметры также могут быть настроены, после чего реакции персонажей будут отличаться.
Новое техническое демо под названием Covert Protocol использует движок Unreal Engine 5, поэтому впечатляет и с графической точки зрения. Через SDK был добавлен MetaHuman. Также были использованы технологии автоматического распознавания речи Riva Automatic Speech Recognition (ASR) и Audio2Face (A2F), которые принадлежат NVIDIA.
Пока нет информации о том, в каких играх мы увидим такой уровень взаимодействия с NPC.
Подписывайтесь на группу Hardwareluxx ВКонтакте и на наш канал в Telegram (@hardwareluxxrussia).