이 논문은 감정 노동 상황에서 근로자의 감정적 업무부하(emotional workload)를 자동으로 측정하기 위한 멀티모달 센싱 기반 머신러닝 모델에 대한 논문이다.
인간의 감정을 객관적으로 분석할 수 있는지에 대한 궁금증으로부터 시작하여 이 논문을 읽게 되었다.
📌 연구 개요
논문: Hide-and-seek: Detecting Workers' Emotional Workload in Emotional Labor Contexts Using Multimodal Sensing (2024)
저자: Eunji Park, Duri Lee, Yunjo Han, James Diefendorff, Uichin Lee
콜센터 감정노동자를 대상으로 멀티모달 센싱과 머신러닝을 활용해 감정적 업무부하를 자동으로 측정하는 연구이다.
🎯 핵심 연구 질문
- 감정노동자의 감정적 업무부하를 어떻게 모델링할 수 있는가?
- 감정적 업무부하 인식을 위한 주요 피처는 무엇인가?
🔬 실험 설계
참가자
- 31명의 현직 콜센터 감정노동자 (여성 24명, 남성 7명)
- 평균 근속 경력: 3.25년
실험 시나리오
동일한 고객과 총 3회 통화 (각 4분), 고객의 감정 상태를 조작:
1. 중립적 말투
2. 고성(shouting)
3. 욕설(swearing)
수집 데이터
생리학적 데이터
장비측정 데이터샘플링 속도| Polar H10 | ECG, 심박수 | 130Hz |
| Empatica E4 | EDA, BVP, 체온, 가속도 | 4-64Hz |
| Muse S | EEG (4채널) | 256Hz |
음성 데이터
- 고객과 근로자의 대화 음성 녹음 (44.1kHz)
📊 특징 추출
음성 데이터 (88개 피처)
- 기본 주파수(F0), 에너지, ZCR
- 13개 MFCC
- 5개 스펙트럼 특징
생리학적 데이터 (48개 피처)
데이터피처 수주요 지표| EDA | 9 | 토닉/페이직 성분, 피크 수 |
| EEG | 20 | 5개 밴드 파워 |
| TEMP | 5 | 평균, 표준편차, 기울기 |
| ECG | 7 | HRV 지표 (SDNN, RMSSD 등) |
| ACC | 7 | 3축 가속도 및 크기 |
🏷️ 라벨링 방법
1. 자극 기반 라벨링 (Given Emotional Workload)
- 고객의 말투를 기준으로 분류
- 이진 분류: 저자극(중립) vs 고자극(고성/욕설)
- 3분류: 중립 vs 고성 vs 욕설
2. 자가보고 기반 라벨링 (Perceived Emotional Workload)
- 통화 후 근로자가 자신의 감정 억제 노력을 1-20점으로 평가
- 개인 평균값 기준으로 저/고 또는 저/중/고로 분류
- 출처: Hide-and-seek: Detecting Workers’ Emotional Workload in Emotional Labor Contexts Using Multimodal Sensing (2024)
🤖 모델 및 평가
사용 모델
전통적 머신러닝: Decision Tree, Random Forest, SVM, XGBoost, AdaBoost, LDA, kNN
딥러닝: FCN, MLP-LSTM
검증 방법
- LOSO (Leave-One-Subject-Out) 교차 검증
- 개인 간 일반화 성능 평가
📈 주요 결과
이진 분류 성능
라벨링 방법최고 모델정확도F1-score| 자극 기반 | SVM | 0.87 | 0.90 |
| 자가보고 기반 | AdaBoost/LDA | 0.68 | - |
3분류 성능
라벨링 방법최고 모델정확도F1-macro| 자극 기반 | Random Forest | 0.84 | 0.81 |
| 자가보고 기반 | Random Forest/AdaBoost | 0.54 | 0.45 |
핵심 발견: 자극 기반 라벨이 자가보고 기반보다 훨씬 높은 성능
🔍 데이터 소스별 기여도 분석
데이터 조합정확도F1-score특징| 고객 음성만 | 0.88 | 0.91 | 최고 성능 |
| 고객 음성 + 직원 음성 | 0.88 | 0.91 | 성능 변화 없음 |
| 생리학적 데이터만 | 0.75 | 0.79 | 중간 성능 |
| 직원 음성만 | 0.65 | 0.78 | 최저 성능 |
SHAP 분석 결과
상위 20개 중요 피처 중:
- 17개: 고객 음성 피처
- 3개: 근로자 생리신호 피처
결론: 직원 음성은 예측에 거의 기여하지 않음 → 감정노동자가 디스플레이 규칙에 따라 감정을 숨기고 연기하기 때문
💡 연구의 의의
이론적 기여
- 감정적 업무부하를 자동으로 측정하는 첫 시도
- 감정 조절 이론을 센싱 기술과 결합
- 자극 기반 라벨링의 우수성 입증
실용적 가치
- 실시간 감정 부하 모니터링 시스템 개발 가능
- 감정 소진 예방 및 근로자 웰빙 관리
- 업무 스케줄 최적화 및 성과 피드백
⚠️ 연구의 한계
- 환경적 제약
- 시뮬레이션 기반 실험 (실제 콜센터 환경과 차이)
- 동일 고객과의 연속 통화는 비현실적
- 모델링 한계
- 언어적 자극(공격적 어휘) 미반영
- 개인의 감정 인식/표현 능력 차이 미반영
- 실무 적용 어려움
- 개인정보 보호 이슈
- 생리신호 센서 착용 부담
- 새 사용자 적응 기간 필요
🔮 향후 연구 방향
- 언어 자극을 포함한 모델 개발
- 개인 특성을 반영한 적응형 시스템
- 윤리적 가이드라인 수립
- 실제 콜센터 환경에서의 검증
🎓 결론
✅ 연구 성과 요약
- 멀티모달 센싱 + 머신러닝 기반 워크로드 분류 모델 제안
* 고객 음성, 생리신호 등 활용- 이진 분류 정확도 최대 0.88, 3분류도 높은 성능 입증
- 정의 기여: 감정적 워크로드 개념을 명확히 제시
💡 적용 의미
- 콜센터처럼 디스플레이 룰이 엄격히 적용되는 환경에서
→ 실시간 감정 부하 모니터링 가능
🔧 향후 과제
- 언어 자극 포함 모델 개발
- 개인별 감정 표현 특성 반영을 위한 정교한 사용자 적응형 시스템 필요
느낀점?
이 논문을 읽으면서 가장 인상 깊었던 점은 직원의 음성이 감정 예측에 거의 기여하지 못한다는 결과였다. 감정노동자들이 본인들의 디스플레이 규칙에 따라 자신의 진짜 감정을 숨기기 위해 얼마나 노력하는지 데이터로 증명한 셈이다. 이는 감정노동의 본질을 정확히 포착한 결과라고 생각한다.
또한 자가보고 기반 라벨링보다 자극 기반 라벨링의 성능이 월등히 높았다는 점도 흥미로웠다. 사람들은 자신이 감정을 얼마나 억제했는지조차 정확히 인지하지 못할 수 있다는 의미이기도 하다. 이는 감정노동의 위험성을 다시 한번 상기시켰다. 즉, 본인도 모르는 사이에 감정적 소진이 누적될 수 있다는 것이다.
기술적 관점에서는 멀티모달 센싱의 가능성을 확인할 수 있었다. 음성, 생리신호, 뇌파 등 다양한 데이터를 결합하면 인간의 감정 상태를 상당히 객관적으로 측정할 수 있다는 점이 놀라웠다. 특히 생리신호는 의식적으로 통제하기 어렵기 때문에 숨겨진 감정을 드러내는 정직한 지표가 될 수 있다.
하지만 동시에 윤리적인 측면에서의 우려도 있었다. 이 기술이 근로자의 웰빙을 위해 사용된다면 긍정적이겠지만, 감시와 통제의 도구로 악용될 가능성도 있다. 근로자의 감정 상태가 실시간으로 모니터링되고, 이것이 성과 평가에 반영된다면? 오히려 더 큰 스트레스 요인이 될 수 있다.
결국 기술은 중립적이며, 어떻게 사용하느냐가 중요하다. 이 연구가 감정노동자의 권리를 보호하고 건강한 노동환경을 만드는 데 기여하길 바란다. 그리고 이를 위해서는 기술 개발과 함께 명확한 윤리 가이드라인과 법적 보호 장치가 반드시 마련되어야 한다고 생각한다.
마지막으로, 이 연구를 통해 "인간의 감정을 객관적으로 분석할 수 있는가?"라는 나의 초기 질문에 대한 답을 어느 정도 찾을 수 있었다. 완벽하진 않지만, 충분히 많은 데이터와 연구가 있다면 어느 정도는 가능할 것 같다.
Reference
Park, E., Lee, D., Han, Y., Diefendorff, J., & Lee, U. (2024). Hide-and-seek: Detecting Workers' Emotional Workload in Emotional Labor Contexts Using Multimodal Sensing.