Embodied AI Reading Club | Использование графового описания сцены при планировании с LLM

Описание: Запись доклада Анатолия Онищенко про использование графового описания сцены при планировании с LLM.

В докладе рассматриватся подходы к планированию с использованием LLM, такие как ReAct и DELTA.Также уделяется внимание методам, использующим графовое представление сцены:

▪️ SayPlan: генерирует план, предоставляя LLM текстовое описание API и графа, затем использует граф для проверки плана и получения обратной связи для корректировки
▪️ VeriGraph: строит граф сцены по изображению и проверяет решение с помощью визуальных языковых моделей (VLM)

Кроме того, отдельно выделяются подходы для планирования и обновления графов сцены:

▪️ Multi-Modal 3D Scene Graph Updater: обновляет графы сцены, используя данные из разных источников
▪️ SWIFTSAGE: применяет два модуля LLM для быстрого и для продуманного планирования

Статьи:

1. ReAct: Synergizing Reasoning and Acting in Language Models: https://arxiv.org/abs/2210.03629

2. DELTA: Decomposed Efficient Long-Term Robot Task Planning using Large Language Models: https://arxiv.org/abs/2404.03275

3. SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning: https://arxiv.org/abs/2307.06135

4. VeriGraph: Scene Graphs for Execution Verifiable Robot Planning: https://arxiv.org/abs/2411.10446

5. Multi-Modal 3D Scene Graph Updater for Shared and Dynamic Environments: https://arxiv.org/abs/2411.02938

6. SwiftSage: A Generative Agent with Fast and Slow Thinking for Complex Interactive Tasks: https://arxiv.org/abs/2305.17390

Не пропускайте анонсы новых мероприятий и будьте в курсе новостей:

▪️Телеграм-канал AIRI: https://t.me/airi_research_institute

▪️Комьюнити AIRI: https://t.me/+g57c7ytnSY9jYzUy

▪️Телеграм-канал Embodied AI Reading Club: https://t.me/embodied_ai_rc