[TIL] AI Multi-Agent에 관한 개괄

이 paper와 랩 세미나를 참고하였다 ㅎㅅㅎ

LLM based Multi-agent 

Agent들이 서로 communication/interact 할 수 있는 상황을 가정하고 이를 통해 task를 해결하는 것이다. 
얻을 수 있는 이점으로는 
1) Specialized LLM (다양한 capability를 가진) 을 various distinct agent로 이용해 collective decision-making processes을 가능하게 한다. 
2) Agent간 interaction을 통해 복잡한 real-world environment에 simulation을 용이하게 한다. 

 

Overview of Multi-agent

아래와 같은 Embodied AI 등의 분야에서 많이 사용되고 있다. 예를 들어 여러가지 로봇이 복잡한 태스크를 수행하기 위해 함께 일하는 상황을 생각하면 이해가 빠르다! 

무엇이 필요할까? 

- Multi-agent Communication/collaboration: Social/pragmatic behavior을 배우고 performance, interpretetability를 높이기 위해 필요
- Grounding: Perception/Action: Agent가 world를 인식하고 embodied action을 하기 위해 Multimodal grounding, Learning abstraction이 필요하다. 
- Ambiguity/underspecification 등의 uncertainty에 대응하는 것도 중요하다. 

 

Multi-Agent 환경에 대하여 

Multi-agent 환경 셋업을 위해서는 아래와 같은 것들이 필요할 것이다. 

1. Agents-Environment Interface: Agent들이 action을 수행할 environment (e.g., game 공간) 
2. Agents Profiling: Environment에서 agent들이 가지고있는 skill set (e.g., game에서 특정 skill..) 
3. Agents Communication: Agent 들이 communication 하는 방식 (e.g., discussion을 하거나, debating을 하거나..) 
-> e.g., 서로 다른 LLM들에서 Initial response를 얻고 discussion prompt를 이용해 discussion 하게 한다. 
4. Agents Capabilities Acquisition: Agent들이 어떻게 evolving 할건지에 대한 고민 (e.g., feedback from environment, feedback from agent interaction, human feedbacks..) 

 

어떻게 Multi-agent간 interaction을 학습할까? 

Multi-agent에서 발생할 수 있는 challenge의 경우에는 
1. Cost of multi-agent multimodel: MAGDi (learning interaction w/o the cost of multi-agent interaction at text time) 
2. Calibration and LLM: 모델의 출력이 신뢰도와 얼마나 잘 일치하는지를 평가하고, 이를 개선하는 방법
- Calibration은 trusty and safety에 중요함 
- Explicit (e.g., 100% 확신함) / Implicit calibration (e.g., background) 을 둘 다 다루는게 중요