* 본 블로그 포스트에서 사용된 표, 이미지 및 기타 관련 자료는 해당 논문에서 발췌한 것입니다. 이 자료들은 논문의 내용을 요약하고 이해를 돕기 위한 참고용으로 제공됩니다. 또한, 해석 과정에서 일부 오류가 있을 수 있으니 원 논문을 참고하여 확인하시기 바랍니다
Abstract
AffectNet은 자연환경에서 감정 컴퓨팅을 위한 가장 큰 얼굴 데이터베이스로, 인터넷에서 1250개의 감정 관련 키워드를 사용해 6개 언어로 1,000,000개 이상의 얼굴 이미지를 수집하고 주석 처리하였습니다. 이 데이터베이스는 7가지 이산적 감정과 발렌스(valence) 및 각성(arousal)의 강도를 포함하며, 감정 인식을 위한 이산적 및 연속적 모델 연구를 지원합니다. 두 가지 딥러닝 모델을 사용해 이산적 감정을 분류하고 발렌스와 각성의 강도를 예측하였으며, 기존 머신러닝 방법 및 기존 얼굴 감정 인식 시스템 대비 우수한 성능을 보였습니다.
1 INTRODUCTION
정서(affect)는 감정과 느낌의 외적 표현을 의미하며, 이를 인식하고 해석하는 시스템 개발은 정서적 컴퓨팅(affective computing)의 주요 목표입니다. 얼굴과 얼굴 표정은 인간 감정을 전달하는 중요한 비언어적 채널로, 자동화된 얼굴 표정 인식(FER) 시스템 개발에 있어 많은 연구가 이루어져 왔습니다. 그러나 현재의 FER 시스템은 다양한 환경에서 안정적으로 작동하기 어렵고, 특히 자연 환경(wild setting)에서의 성능 향상을 위한 데이터가 부족한 상황입니다.
주요 내용:
1. 정서 모델:
- 범주형 모델(categorical model): 기본 감정을 특정 카테고리로 구분.
- 연속적 모델(dimensional model): 감정을 발렌스(valence)와 각성(arousal)의 연속적 척도로 표현.
- FACS 모델: 얼굴 움직임(Action Units, AUs)을 통해 감정을 설명.
2. 데이터베이스 필요성:
- 기존 데이터는 통제된 환경에서 포즈된 표정이 대부분이며, 자연스러운 표정의 다양성이 부족.
- 기존 데이터베이스는 특정 감정 모델(범주형, 연속형 등)만 포함하거나 감정 범위가 제한적.
3. AffectNet 데이터베이스:
- 인터넷에서 6개 언어(영어, 스페인어, 포르투갈어, 독일어, 아랍어, 페르시아어)로 1,250개의 감정 관련 키워드를 사용해 100만 개 이상의 얼굴 이미지 수집.
- 45만 개 이미지를 범주형 및 연속적 모델(발렌스와 각성)로 주석 처리.
- 36,000개의 이미지에 대해 두 명의 주석자의 일치도를 확인.
4. AffectNet의 기여:
- AffectNet은 범주형 및 연속적 모델을 모두 포함한 최초의 대규모 데이터베이스로, 자연 환경에서 다양한 얼굴 정서를 포괄.
- 연구 커뮤니티에 얼굴 이미지, 랜드마크 점, 감정 주석 정보를 공개하여 자동화된 정서 컴퓨팅 연구를 지원.
5. 논문의 구조:
- 기존 데이터베이스 및 최신 방법 리뷰(섹션 2).
- AffectNet 데이터 수집 및 주석 과정(섹션 3).
- 두 가지 자동 감정 인식 및 예측 모델(섹션 4).
- 결론 및 향후 연구 방향(섹션 5).
이 데이터베이스는 감정 컴퓨팅 분야에서 범주형 및 연속적 모델 연구를 위한 중요한 자원으로 작용할 것입니다.
2 RELATED WORK
2.1 Existing databases
초기 얼굴 표정 데이터베이스는 주로 통제된 실험실 환경에서 포즈된 표정을 캡처한 데이터로 구성되었습니다. 그러나 일상적인 자연스러운 표정(즉, 자발적 표정)의 다양성과 현실감을 반영하지 못하는 한계가 있었습니다. 이에 따라 자연스러운 표정을 포함한 데이터베이스와 "in-the-wild" 환경에서 캡처된 데이터에 대한 연구가 증가했습니다.
1. 포즈된 표정 데이터베이스 (Lab-Controlled Environment)
- JAFFE, Cohn-Kanade, MMI, MultiPie:
- 실험실 환경에서 캡처된 고품질 데이터.
- 포즈된 표정 위주로 구성되어 자연스러운 일상 표정과 차이가 있음.
2. 자발적 표정 데이터베이스 (Spontaneous Expressions)
- DISFA, AM-FED, Belfast:
- 실험 참가자가 특정 영상 시청 또는 실험 기반의 정서 유도 과제 수행 중에 자발적 표정을 캡처.
- 다중 모달 데이터(음성, 생체 신호 등)와 연속적 표정 변화 연구를 지원.
- 제한점: 피험자 수, 머리 자세, 환경 조건의 다양성이 부족.
3. 자연 환경(in-the-wild) 데이터베이스
- AFEW, SFEW:
- 영화에서 캡처된 데이터로, 6가지 기본 감정 및 중립 상태로 주석 처리.
- AFEW는 330명의 피험자와 다양한 연령대를 포함하며, SFEW는 700개의 정적 이미지로 구성.
- 제한점: 데이터 수가 적고 감정 범위가 제한적.
- FER-2013:
- Google 이미지 검색 API를 사용해 35,887개의 이미지를 수집, 6가지 기본 감정과 중립 감정으로 주석.
- 대부분 "in-the-wild" 환경에서 캡처되었으나, 일부 감정(예: 혐오)은 샘플 수가 적고 이미지 해상도가 낮아 랜드마크 탐지가 어려움.
- FER-Wild:
- 검색 엔진에서 감정 관련 용어로 수집된 24,000개 이미지.
- 높은 해상도와 얼굴 랜드마크 제공, 그러나 감정 범위(특히 혐오와 공포) 샘플 수 부족.
- EmotioNet:
- WordNet에서 "feeling" 관련 단어로 수집된 1백만 개의 얼굴 이미지.
- FACS(Action Units, AUs)를 자동으로 주석 처리하고, 23개의 감정 카테고리 제공.
- FACS 모델의 중요한 자원이지만, 연속적 정서 모델(발렌스 및 각성)을 포함하지 않음.
4. 연속적 모델 데이터베이스 (Dimensional Model)
- Belfast:
- 실험실 기반 정서 유도 과제를 통해 발렌스를 연속적 도메인에서 측정.
- 자발적 감정을 포함하지만, 조명 조건 및 머리 자세가 통제된 실험실 환경에서 캡처.
- DEAP:
- 음악 영상에 대한 반응을 기반으로 EEG 및 생리 신호, 얼굴 영상을 캡처.
- 발렌스와 각성 측면에서 이진 분류 연구에 적합.
- 제한점: 소규모 피험자와 실험실 환경에서 캡처.
- RECOLA:
- 협력 기반 과제를 수행 중인 46명의 다중 모달 데이터(오디오, 비디오, ECG, EDA)를 수집.
- 발렌스와 각성 연속 측정.
- 제한점: 소규모 피험자와 실험실 환경.
- Aff-Wild:
- YouTube에서 500개 이상의 비디오를 수집하여 발렌스와 각성의 연속적 도메인에서 주석 처리.
- 자발적 감정을 포함하나, 피험자 수가 제한적.
기존 데이터베이스는 각각의 특성과 한계를 가지며, 일부는 포즈된 표정, 일부는 자발적 표정, 또는 연속적 정서 모델에 중점을 둡니다. 특히, 대규모 "in-the-wild" 데이터베이스의 필요성이 지속적으로 대두되고 있습니다.
2.2 Evaluation Metrics
얼굴 표정 및 감정 인식 시스템의 신뢰성을 평가하기 위해 다양한 평가 지표가 사용됩니다. 범주형 모델(categorical model)과 FACS 기반 모델은 정확도(Accuracy), F1-점수(F1-score), Cohen's kappa, Krippendorff's Alpha, ICC, ROC 곡선 아래 면적(AUC), Precision-Recall 곡선 아래 면적(AUC-PR) 등이 사용됩니다. 반면, 연속적 정서 모델(dimensional model)은 연속 도메인에서 평가되므로 다른 평가 지표가 필요합니다.
1. Root Mean Square Error (RMSE)
연속 도메인에서 가장 일반적으로 사용되는 평가 지표로, 예측 값과 실제 값의 차이의 제곱 평균을 계산합니다.
\[
\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^n (\hat{y}_i - y_i)^2}
\]
- \( \hat{y}_i \): 예측 값
- \( y_i \): 실제 값
- \( n \): 샘플 수
- 단점: RMSE는 이상치(outlier)에 민감하며, 예측 값과 실제 값의 공분산을 제공하지 못함.
2. Pearson's Correlation Coefficient (CC)
RMSE의 한계를 극복하기 위해 제안된 지표로, 예측 값과 실제 값 간의 공분산을 계산합니다.
\[
CC = \frac{\text{COV}(\hat{y}, y)}{\sigma_{\hat{y}} \sigma_y} = \frac{\mathbb{E}[(\hat{y} - \mu_{\hat{y}})(y - \mu_y)]}{\sigma_{\hat{y}} \sigma_y}
\]
- \( \mu_{\hat{y}}, \mu_y \): 각각 예측 값과 실제 값의 평균
- \( \sigma_{\hat{y}}, \sigma_y \): 각각 예측 값과 실제 값의 표준 편차
3. Concordance Correlation Coefficient (CCC)
Pearson's CC와 두 시계열(예측 값, 실제 값)의 평균 간의 제곱 차이를 결합하여 정의됩니다.
\[
\rho_c = \frac{2 \rho \sigma_{\hat{y}} \sigma_y}{\sigma_{\hat{y}}^2 + \sigma_y^2 + (\mu_{\hat{y}} - \mu_y)^2}
\]
- \( \rho \): Pearson's CC
- \( \sigma_{\hat{y}}^2, \sigma_y^2 \): 각각 예측 값과 실제 값의 분산
- \( \mu_{\hat{y}}, \mu_y \): 각각 예측 값과 실제 값의 평균
- CC와 달리, 예측 값이 실제 값과 잘 상관되지만 값이 이동된 경우 페널티를 부여.
4. Sign Agreement Metric (SAGR)
발렌스(valence)와 각성(arousal)의 부호 일치를 평가합니다.
\[
\text{SAGR} = \frac{1}{n} \sum_{i=1}^n \delta(\text{sign}(\hat{y}_i), \text{sign}(y_i))
\]
- \( \delta(a, b) \): Kronecker 델타 함수
\[
\delta(a, b) =
\begin{cases}
1, & a = b \\
0, & a \neq b
\end{cases}
\]
- 부호가 같으면 1, 다르면 0으로 평가.
위의 평가 지표는 AffectNet에서의 범주형 및 연속적 정서 모델의 성능 평가에 활용됩니다. RMSE, CC, CCC, SAGR는 각각 다른 측면에서 예측 성능을 측정하여 다각적인 평가를 가능하게 합니다.
3 AFFECTNET
AffectNet은 자연 환경(in-the-wild)에서 수집된 범주형(Categorical) 및 연속적(Dimensional) 정서 모델 데이터를 포함한 가장 큰 데이터베이스입니다. 이 섹션에서는 데이터 수집, 주석 과정, 그리고 주석자 간의 일치도를 중심으로 설명합니다.
3.1 Facial Images from the Web
- 데이터 수집 과정:
- 감정 관련 키워드(예: "joyful girl", "furious young lady")와 성별, 연령, 인종 관련 단어를 결합하여 총 1,250개의 검색어를 생성.
- Google, Bing, Yahoo 검색 엔진을 사용해 약 180만 개 URL을 수집.
- 부적절한 이미지(예: 그림, 애니메이션, 워터마크 포함 이미지)를 최소화하기 위해 부정 키워드(예: "drawing", "cartoon")를 사용.
- OpenCV 얼굴 인식 및 얼굴 정렬 알고리즘을 통해 66개의 얼굴 랜드마크를 추출.
- 최종적으로 약 100만 개 이상의 얼굴 이미지가 데이터베이스에 포함됨.
- 이미지 통계:
- 평균 이미지 해상도: \(425 \times 425\) 픽셀 (표준편차: \(349 \times 349\)).
- 남성 비율: 49%, 평균 나이: 33.01세 (표준편차: 16.96세).
- 얼굴 가림: 이마(4.5%), 입(1.08%), 눈(0.49%).
3.2 Annotation
3.2.1 Categorical Model Annotation
- 카테고리:
AffectNet은 11가지 감정 카테고리로 주석 처리됨:
- Neutral, Happy, Sad, Surprise, Fear, Anger, Disgust, Contempt, None, Uncertain, Non-face.
- "None": 기본 감정에 해당하지 않는 특수 감정(예: tired, focused).
- "Non-face": 얼굴이 없거나, 그림/애니메이션/왜곡된 얼굴.
- 주석 결과:
- Happy(48%)와 Neutral 샘플이 가장 많음.
- Disgust(2.7%)와 Contempt(2.4%)는 가장 적음.
- None 카테고리는 미묘한 감정으로 인해 다른 카테고리와 혼동되기 쉬움.
3.2.2 Dimensional (Valence & Arousal) Annotation
- 정의:
- Valence: 감정의 긍정적/부정적 정도 \((-1 \leq \text{Valence} \leq 1)\).
- Arousal: 흥분/차분의 정도 \((-1 \leq \text{Arousal} \leq 1)\).
- Circumplex(2D 좌표계) 모델 사용.
\[
-1 \leq \text{Valence} \leq 1, \quad -1 \leq \text{Arousal} \leq 1
\]
- 주석 소프트웨어:
- Annotator가 Circumplex 공간 상의 위치를 선택하면, 발렌스와 각성 값이 표시됨.
- 각 감정에 대해 사전 정의된 발렌스/각성 범위를 벗어나면 경고 메시지를 제공.
- 예: Happy 감정 → 발렌스 범위: \((0.0, 1.0]\), 각성 범위: \([-0.2, 0.5]\).
- 결과 분석:
- 대부분의 샘플은 Neutral 및 Happy 영역(긍정적 발렌스, 낮은 각성)에 분포.
- Fig. 4의 히스토그램에서 샘플 분포를 확인 가능.
3.3 Annotation Agreement
- 주석자 간의 일치도 평가:
- 총 36,000개 이미지를 두 명의 주석자가 독립적으로 주석 처리.
- 주석자 간 60.7%의 이미지에서 동일한 감정 카테고리를 선택함.
- 카테고리별 일치도:
- Happy와 No Face에서 높은 일치도를 보임.
- None 카테고리는 가장 큰 불일치율을 보였으며, 이는 미묘한 감정 때문으로 분석됨.
- 연속적 모델 평가:
- Sec. 2.2에서 정의된 평가 지표를 사용하여 Valence와 Arousal 주석의 상관성을 분석.
- 두 시나리오에서 평가:
1. 주석자 간 감정 카테고리에 대한 일치가 있는 경우.
2. 모든 이미지에 대해 평가.
- 평가 지표:
1. Root Mean Square Error (RMSE):
\[
\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^n (\hat{y}_i - y_i)^2}
\]
2. Pearson's Correlation Coefficient (CC):
\[
CC = \frac{\text{COV}(\hat{y}, y)}{\sigma_{\hat{y}} \sigma_y}
\]
3. Sign Agreement Metric (SAGR):
\[
\text{SAGR} = \frac{1}{n} \sum_{i=1}^n \delta(\text{sign}(\hat{y}_i), \text{sign}(y_i))
\]
- 결과 분석:
- 두 주석자가 감정 카테고리에 대해 일치한 경우, RMSE가 낮고 CC와 SAGR이 높음.
- 모든 이미지에 대해 분석 시, Valence의 일치도가 Arousal보다 높음.
- 이는 Valence가 더 명확하고 덜 주관적이기 때문.
AffectNet은 범주형 및 연속적 정서 모델 연구를 위한 중요한 데이터베이스로, 특히 자연 환경에서의 감정 주석과 모델 개발에 도전적인 과제를 제시합니다. 주석자 간의 Valence 주석 일치도는 높은 편이나, Arousal은 정지 이미지에서 주관적인 해석의 어려움으로 인해 낮은 일치도를 보였습니다. 이는 AffectNet이 감정 인식 연구에서 현실적이고 복잡한 문제를 해결하는 데 기여할 수 있음을 시사합니다.
4 BASELINE
AffectNet 데이터베이스를 기반으로 두 가지 베이스라인 모델을 제안하였습니다. 첫 번째는 범주형 모델에서 이미지를 분류하고, 두 번째는 연속적 모델에서 발렌스(valence)와 각성(arousal)을 예측하는 모델입니다. 두 모델 모두 딥러닝 기반의 Convolutional Neural Networks (CNNs) 아키텍처를 사용하며, 기존의 SVM 및 SVR 기반 방법과 비교하여 성능을 평가하였습니다.
4.1 Test, Validation, and Training Sets
1. Test Set:
- 두 명의 주석자가 주석한 이미지 중 일부를 테스트 세트로 사용.
- 연속적 모델의 경우, 하나의 주석 값을 무작위로 선택하여 테스트 세트에 포함.
- 범주형 모델의 경우, 주석자 간 불일치 시 검색 쿼리에 더 가까운 감정으로 선택.
- 테스트 세트는 클래스 불균형이 심각함 (예: Happy 11,000장, Contempt 1,000장).
2. Validation Set:
- 각 감정 카테고리에서 500개의 샘플을 무작위로 선택.
- 클래스가 균형 잡혀 있어 스큐 보정(skew normalization)이 필요하지 않음.
3. Training Set:
- 나머지 이미지로 구성.
- 클래스 불균형 문제를 해결하기 위해 다양한 학습 전략(Down-Sampling, Up-Sampling, Weighted-Loss) 적용.
4.2 Categorical Model Baseline
1. 아키텍처:
- AlexNet 기반 CNN 사용:
- 5개의 합성곱 레이어, 맥스 풀링, 정규화 레이어, 그리고 3개의 완전 연결 레이어로 구성.
2. 불균형 데이터 처리:
- Down-Sampling: 클래스당 최대 15,000개의 샘플만 사용하여 데이터 균형을 맞춤.
- Up-Sampling: 소수 클래스 데이터를 중복 샘플링하여 클래스 균형을 맞춤.
- Weighted-Loss: 손실 함수에 클래스별 가중치를 적용해 소수 클래스의 중요성을 증가.
\[
E = -\sum_{i=1}^K H_{l,i} \log(\hat{p}_i)
\]
- \(H_{l,i}\): 클래스 \(i\)의 가중치, \(K\): 클래스 수, \(\hat{p}_i\): 클래스 \(i\)의 예측 확률.
- 소프트맥스 확률:
\[
\hat{p}_i = \frac{\exp(x_i)}{\sum_{j=1}^K \exp(x_j)}
\]
3. 결과:
- Weighted-Loss 접근법이 다른 방법들보다 우수한 성능을 보임.
- 특히 Contempt, Fear, Disgust와 같은 소수 클래스에서 개선이 두드러짐.
- Table 9에서 성능 지표(Accuracy, F1-Score, AUC 등)를 확인 가능.
4. SVM과의 비교:
- SVM(HOG 특징 사용)은 CNN에 비해 모든 성능 지표에서 열등.
- 이는 CNN이 AffectNet의 다양한 샘플에서 더 구별력 있는 특징을 학습했기 때문.
4.3 Dimensional Model (Valence and Arousal) Baseline
1. 아키텍처:
- AlexNet을 사용해 두 개의 네트워크를 각각 발렌스와 각성을 예측하도록 설계.
- 마지막 완전 연결 레이어를 단일 뉴런의 선형 회귀 레이어로 교체:
\[
E = \frac{1}{2N} \sum_{n=1}^N \|\hat{y}_n - y_n\|^2
\]
- \(\hat{y}_n\): 예측 값, \(y_n\): 실제 값, \(N\): 샘플 수.
2. 결과:
- CNN은 SVR에 비해 발렌스와 각성 예측에서 더 낮은 RMSE를 보임.
- 이는 AffectNet의 데이터 다양성이 CNN이 더 복잡한 특징을 학습하는 데 도움을 주었기 때문.
3. 성능 분석:
- Fig. 7에서 보여지듯, Circumplex 중심부(Neutral 및 Happy 영역)에서 낮은 RMSE.
- Contempt, Bored, Sleepy와 같은 감정을 포함하는 영역에서 예측이 어려움.
- 주석자 간 발렌스 RMSE: 0.367, 각성 RMSE: 0.481 (Sec. 3.3 참조). <- Table5 의 내용으로 보임
5 CONCLUSION
AffectNet 데이터베이스는 인간 얼굴 행동 분석과 관련된 복잡하고 도전적인 문제를 해결하기 위해 설계된 데이터베이스입니다. 이 섹션에서는 AffectNet의 주요 기여와 연구적 의의를 정리합니다.
기존 문제점
- 얼굴 정서 분석은 매우 복잡하고 도전적인 과제입니다.
- 기존의 얼굴 정서 분석 시스템은 주로 머신 러닝 방법론에 기반하며, 이들의 성능은 주로 주석된 데이터의 양과 다양성에 크게 의존합니다.
- 기존 데이터베이스의 한계:
1. 특정 감정 모델(예: 범주형 모델)만을 다룸.
2. 피험자 수가 제한적임.
3. 특정 감정(예: Disgust, Contempt)의 샘플이 부족함.
AffectNet의 기여
1. 데이터베이스 규모:
- AffectNet은 인터넷에서 자연 환경(in-the-wild)에서 캡처된 얼굴 이미지를 포함하여 100만 개 이상의 이미지로 구성됨.
- OpenCV 및 얼굴 랜드마크 추출 알고리즘을 사용하여 얼굴 랜드마크를 포함.
- 총 45만 개의 이미지를 12명의 전문가가 수동 주석 처리.
- 범주형 모델: 11개의 감정 카테고리.
- 연속적 모델: 발렌스(valence)와 각성(arousal).
2. 데이터베이스의 중요성:
- AffectNet은 범주형 및 연속적 모델을 모두 포함하는 최초의 대규모 데이터베이스.
- 연구자들이 두 모델을 동일한 데이터셋에서 연구하고, 동시 학습(co-training)을 통해 성능을 향상할 가능성을 제공.
주석자 간 일치도
- 카테고리 모델:
- 주석자 간 60.7%의 일치도를 보임.
- 특정 카테고리(예: None)에서 낮은 일치도를 확인. 이는 미묘한 감정과 주관적 해석 차이 때문.
- 연속적 모델:
- 발렌스와 각성의 RMSE는 각각 0.34와 0.36으로, 주석자 간 큰 차이가 존재.
- 이는 자연 환경에서 발렌스와 각성을 예측하는 작업이 얼마나 도전적인지 보여줌.
기계 학습 모델의 성능
- 베이스라인 모델:
- AffectNet에서 훈련된 간단한 딥러닝 기반의 CNN 모델(AlexNet)은 기존의 전통적 머신 러닝 방법(SVM, SVR) 및 상용 시스템(Microsoft Cognitive Services)을 능가.
- 주요 결과:
- 범주형 모델의 성능: 소수 클래스(Disgust, Contempt)에서 특히 뛰어난 성능을 보임.
- 연속적 모델의 성능: SVR보다 낮은 RMSE를 기록하며 발렌스와 각성 예측에서 우수한 결과.
연구적 의의
1. 범주형 및 연속적 모델의 융합 가능성:
- 동일 데이터셋에서 두 모델을 연구하고, 이를 결합(co-training)하여 감정 분석 성능을 향상할 수 있는 기회를 제공.
2. 연구 커뮤니티에 미치는 영향:
- AffectNet은 감정 컴퓨팅 연구를 위한 가장 큰 데이터베이스로, 자연 환경에서 감정 인식의 정확성을 높일 수 있는 도전을 제공합니다.
- 딥러닝의 발전과 결합하여, 자동 정서 분석 시스템의 성능을 크게 향상할 가능성을 제시.
3. 향후 전망:
- AffectNet의 대규모 데이터와 딥러닝 기술의 발전이 결합될 경우, 얼굴 표정 인식 및 발렌스/각성 예측 시스템의 성능을 획기적으로 개선할 것으로 기대.
결론
- AffectNet은 자연 환경에서 얼굴 정서 분석 연구를 위한 기준 데이터베이스(benchmark database)로 자리 잡을 가능성이 높습니다.
- 특히 범주형 및 연속적 모델을 모두 포함함으로써, 감정 컴퓨팅 시스템의 정확성과 실용성을 한 단계 끌어올릴 수 있는 중요한 연구 자원으로 평가됩니다.
