[LLM] Social Skill Training with Large Language Models 논문 리뷰

Social Skill Training with Large Language Models 논문 리뷰

---

 사람들은 효과적인 의사소통과 직장 및 개인의 삶에 잘 생활하기 위해 갈등 해결과 같은 사회적 기술(Social Skill)을 활용합니다. 그러나 대부분의 사람들에게 사회적 기술 훈련 환경은 접근하기 어렵습니다.

이 문제를 해결하기 위해 대규모 언어 모델을 활용하여 사회적 기술 훈련에 대한 현실적인 실습과 맞춤화된 피드백을 가능하게 하는 APAM 프레임워크(AI Partner, AI Mentor)를 제안합니다​​. 

 

https://arxiv.org/abs/2404.04204

Social Skill Training with Large Language Models

 

 

* 논문의 아이디어 위주로 러프하게 설명하니 읽기 전 참고 부탁드립니다.

 

1. Introduction

사회적 기술의 중요성

전문 분야의 근로자들은 기술적 역량뿐만 아니라 분야별 소프트 스킬(Soft skill)이 필요합니다. (ex. 정신 건강 상담사의 적극적 경청 등)

사회적 기술을 배우기 위해 수동적 관찰, 시행착오, 명시적 지시가 사용되지만, 실제 상호작용을 통한 실습이 필요합니다. 

People need both general and domain-specific skills to succeed in home and work life Dean (2017). Specialized workers need not only technical competence, but also field-specific soft skills that extend broader social skill-sets.
...
but ultimately, a learner will need deliberate practice Giddens and Griffiths (2006), as social skills are inherently interactive.

 

사회적 기술 학습 환경의 접근성 한계

전문가에 의해 제공되는 공식 프로그램은 비용과 시간이 많이 소요되며, 가용성이 제한됩니다.

기존의 연습 및 피드백 메커니즘은 대부분 전문가의 감독에 의존하므로 교육 규모를 확장하기 어렵고, 전문 인력이 부족하다는 문제가 있습니다. 

Learning environments for social skills can be inaccessible, especially when training is offered by experts in formal programs, which are expensive, time-consuming, and limited in availability.
...
most coaches who can provide tailored feedback are not able to help the large number of people who need it.

 

APAM 프레임워크

AI Partner와 AI Mentor 프레임워크를 통해 경험 학습을 실습과 맞춤형 피드백과 제공하는 것을 목표로 대규모 언어 모델을 활용하여 사회적 기술 훈련 방법을 제안합니다. 

• AI Partner: 상황 실습을 통해 경험 학습에 확장 ​​가능한 솔루션을 제공
• AI Mentor: 도메인 전문 지식과 실제 지식을 기반으로 개인화된 피드백을 제공

In this position paper, we propose Social Skill Training via two complementary visions of AI assistance, and outline a roadmap for their implementation.
...
Together, the AI Partner and AI Mentor (APAM) framework can merge experiential learning with realistic practice and tailored feedback. Our paper calls for cross-disciplinary innovation to address APAMs broad implications.

 

2. LLMs for Characters and Simulation

• 시뮬레이션 기반 학습의 효과에 대한 기존 연구 소개 (논문 참고)
• LLM 에이전트의 시뮬레이션 관련 다양한 분야의 적용 사례 (토론 이해, 전략적 커뮤니케이션, 협력, 갈등, 도시 계획 등, 논문 참고)

 

3. The APAM Framework

https://arxiv.org/abs/2404.04204

APAM 프레임워크는 사용자가 새로운 사회적 기술을 배우려고 할 때,

AI Partner가 관련 시나리오를 통해 시뮬레이션된 대화를 제공함으로써 실습을 돕고,

AI Mentor가 시뮬레이션의 중요한 시점에서 지식 기반 피드백을 제공하는 방식으로 구성됩니다.

We propose a generic framework for social skill training with an AI Partner and an AI Mentor (APAM). Both are critical. When a user wants to learn a new social skill, the AI Partner can help them practice a relevant scenario with simulated conversation. The AI Mentor can provide knowledge-grounded feedback at critical junctures of the simulation.

 

AI Partner

 일관된 스타일, 행동, 감정적 특성을 유지하는 것이 어렵고, 목표 도메인과 일치하는 높은 수준의 복잡성과 세부 사항을 요구합니다. 또한, 학습자에게 빠르고 깊게 교육할 수 있는 효율적인 커리큘럼을 따라야 합니다. 

 

AI Mentor

 도메인 전문 지식, 상황 인식, 피드백 효율성뿐만 아니라 AI 파트너가 보여주는 일관성에 크게 의존합니다. 관련 문헌에서 이론이나 프레임워크를 인용하고 설명하여 피드백을 개발해야 하며, 현재 시나리오와 학습자의 지식 상태에 기반한 제안을 해야 합니다.

 

적용 방법론

1. 사회적 과정 이해: 학습하고자 하는 기술(ex. 갈등 해결)에 기초한 사회적 과정을 이해합니다.
2. AI Partner 설계: AI Partner를 설계하여, 학습자가 목표 과정을 연습할 수 있도록 관련 시나리오에서 시뮬레이션 대화를 제공합니다.
3. AI Mentor 생성: AI Mentor를 생성하여 시뮬레이션 중요 지점에서 지식 기반 피드백을 제공합니다. 
4. 통합된 학습 환경 구축: 학습자가 안전하게 학습할 수 있는 시뮬레이션 환경에 AI Partner와 AI Mentor를 통합합니다. 

We now propose a generic methodology for Social Skill Training via LLMs in four steps: (i) understanding the social processes that underlie one’s desired skill (e.g., conflict resolution); (ii) designing an AI partner to simulate conversations that expose the learner to the target processes, allowing the learner to practice; (iii) creating an AI mentor to provide tailored feedback; (iv) integrating the two agents into a simulated environment for users to learn safely.
...

 

APAM 예시

APAM 프레임워크의 구체적인 적용 예시 소개 (논문 참고)

 

4. Vision for Safe Deployment & Technical Challenges

• APAM 프레임워크를 사용하여 사회적 기술 훈련 도구로서 대규모 언어 모델(LLM)을 안전하게 활용하기 위한 비전 소개 (논문 참고)
  • AI Parner와 AI Mentor의 다양한 능력 수준을 고려한 사용 가이드라인을 제공합니다.
• APAM 시스템을 개발하고 배포하는 과정에서 직면하는 기술적 도전 과제 소개  (논문 참고)
  • 장기간 상호작용 최적화 (Optimizing Long-Term Interactions), 전문가 프레임워크 통합 (Integrating Expert Frameworks), 사용자 제어를 위한 설계 (Designing for End-User Control), 기술 훈련 개인화 (Personalizing Skill Training) 등

5. Evaluation

내부 평가(Intrinsic Evaluation)와 외부 평가(Extrinsic Evaluation)로 APAM의 효과를 평가합니다. 

• 내부 평가: 시스템의 출력 품질을 직접 평가
• 외부 평가: 시스템 사용이 사용자의 행동, 지식, 또는 기술에 미치는 영향 평가

To develop effective evaluations of more powerful systems, we believe domain users need to be involved as collaborators, rather than just as annotators. Potential users are best placed to assess the intrinsic measures that make a system usable, confusing, or even harmful ... For APAM and other NLP systems where value is derived through direct user interaction, we benefit by learning best practices specific to each domain.

 

6. Discussion & Summary and Outlook

• APAM 프레임워크의 사회적 영향: 사회적 학습 기회 제공 (교육적, 사회적 불평등을 일부 해결하기 위한 목적)
• 우려사항: 고정관념, 시스템 과의존, 직업 대체 위험
• APAM 시스템의 지속적인 개선을 통해 더 나은 사회적 기술 훈련 솔루션 개발 가능