[NP 저널미팅 #2] 99% 정확도의 함정: GNN 약물 상호작용 예측의 현실 (Abbas et al., 2025 리뷰)

1. 🧐 이 논문을 선택한 이유

AI(GNN)가 네트워크 약리학의 핫한 주제이며, 한의학의 '네트워크 타겟'을 찾는 데도 사용됩니다. 그렇다면 GNN의 성능은 과연 얼마나 좋을까요?

이 논문은 GNN을 '약물-약물 상호작용(DDI)' 예측에 직접 적용한 2025년 최신 연구입니다. DDI는 다약제 병용(polypharmacy)이 늘면서 환자 안전에 치명적인 문제가 될 수 있고 , 반대로 '시너지' 효과를 찾는 핵심이기도 합니다.

이 연구는 GCN, SAGE, GAT 등 수많은 GNN 아키텍처를 가져와 "어떤 모델이 DDI 예측을 가장 잘하는가?"에 대해 3개의 공개 데이터셋으로 공정하게 벤치마킹을 수행했습니다. '최고의 모델'을 찾으려던 이 연구가 오히려 '평가 지표의 함정'이라는 매우 중요한 현실을 밝혀냈다는 점에서 이번 저널 미팅 논문으로 선정했습니다.

 

2. 📝 논문 정보

• 논문 제목: Graph neural network-based drug-drug interaction prediction
• 저자: Khushnood Abbas et al.
• 저널: Scientific Reports (2025) 15:30340
• DOI/링크: https://doi.org/10.1038/s41598-025-12936-1
• 코드/데이터: https://github.com/khushnood/DrugDruginteractionPredictionBasedOnGNN

 

GitHub - khushnood/DrugDruginteractionPredictionBasedOnGNN: Graph Neural Networks for drug drug interaction prediction

 

3. 💡 3줄 핵심 요약

1. 배경 (Problem): 다약제 병용 시 발생하는 유해한(혹은 유익한) 약물 상호작용(DDI) 예측은 매우 중요하며 , GNN이 유망한 예측 도구로 주목받고 있습니다.
2. 방법 (Method): GCN, SAGE, AGDN 등 다양한 GNN 모델들을 3개의 DDI 벤치마크 데이터셋(Biosnap, DrugBank, Ogbl-DDI)에서 '정확도(Accuracy)'와 '랭킹(Hits@K)' 성능으로 비교 평가했습니다.
3. 결과 (Finding): 대부분 모델이 99%에 달하는 높은 **'정확도'**를 보였으나, 실제 상호작용을 찾아내는 'Hits@K(랭킹)' 성능은 0에 가까웠습니다. 이는 평가 작업이 극도로 불균형(1개의 '참' 상호작용 vs 10만 개의 '거짓' 샘플)하기 때문이며 , DDI 예측 시 Accuracy 지표는 무의미할 수 있음을 경고합니다.

4. 🔬 연구 내용 상세 분석

A. 배경: DDI 예측, 왜 GNN인가?

• 여러 약물을 동시에 복용(polypharmacy)하는 것은 암이나 복합 질환 치료에 흔합니다.
• 이때 약물 간 상호작용은 치료 효과를 높이기도(시너지) 하지만, 독성을 유발하거나 효능을 감소시키는(길항) 부작용을 낳기도 합니다.
• 가능한 모든 약물 조합을 실험실(in vitro, in vivo)이나 임상시험으로 테스트하는 것은 시간과 비용상 불가능합니다.
• GNN(그래프 신경망)은 약물 분자 구조나 약물 간의 관계를 '그래프'로 처리하는 데 강력한 도구이므로, DDI 예측 문제에 적합합니다. (Figure 1 참조 )

B. 방법론: GNN 모델과 평가 지표

• 기본 모델: GCN , GAT , SAGE
  • 고급 모델: AGDN (Adaptive Graph Diffusion Networks) , MAGCN (Memory attention graph convolution)
  • 변형 모델: 기본 모델에 Skip Connection , NGNN , Post-processing layer 등을 추가하여 성능을 비교했습니다.
• 테스트한 모델 (Figure 3 참조 ):
• 사용한 데이터셋:
  • Biosnapddi, Drugbankddi, Ogbl-ddi (3대 DDI 벤치마크 데이터셋)
• 핵심 평가 지표: 이 논문의 핵심입니다.
  1. Accuracy (정확도): 전체 예측 중 맞춘 비율 (예: '상호작용 함' -> '함', '안 함' -> '안 함').
  2. Hits@K (랭킹 정확도): 1개의 '진짜 상호작용'과 수많은 '가짜 상호작용'(여기선 10만 개 )을 섞어놓고, 모델이 예측한 점수 순위에서 '진짜 상호작용'이 K등(예: 10등, 50등) 안에 들었는지의 비율.

C. 주요 결과: '99% 정확도'의 배신 (Table 2 참조 )

이 논문의 가장 충격적이고 중요한 결과입니다.

• Biosnapddi 데이터셋:
  • Accuracy: AGDN, SAGESKIPCONNECTION 모델이 **99.2%**라는 경이로운 정확도를 달성했습니다.
  • Hits@K: 하지만 Hits@50(상위 50위권)조차 0.000 또는 0.010 (즉 0%~1%)에 불과했습니다.
• Drugbankddi 데이터셋:
  • Accuracy: SAGENGNN, SAGE 등이 **~81%**의 준수한 정확도를 보였습니다.
  • Hits@K: 역시 Hits@50도 ~1% 수준이었습니다.
• 결과 해석: "Accuracy"는 왜 거짓말을 했나?
  • DDI 예측은 극도로 불균형한(imbalanced) 문제입니다. 실제 상호작용하는 약물 쌍보다 '상호작용하지 않는' 쌍이 압도적으로 많습니다.
  • 이 실험의 평가 환경은 '진짜' 1개 vs '가짜' 10만 개였습니다.
  • 모델이 100,001개의 모든 쌍에 대해 "상호작용 안 함"이라고만 예측해도, 100,000개를 맞추고 1개만 틀려서 정확도는 **99.999%**가 나옵니다.
  • 즉, 높은 Accuracy는 모델이 '상호작용이 없음'을 잘 맞춘다는 뜻이지, 정작 우리가 찾아야 할 '상호작용이 있음'을 잘 찾는다는 뜻이 아닙니다.
• 유일한 희망, Ogbl-ddi 데이터셋:
  • 이 데이터셋에서는 Hits@K 성능이 유의미하게 측정되었습니다.
  • GCNNGNNGRAPHCONV와 GCNSKIPCONNECTION 모델이 Hits@50에서 각각 44%, 41%로 가장 좋은 '랭킹' 성능을 보였습니다.
  • 재미있는 점은, 이 데이터셋에서 'Accuracy'가 가장 높았던 모델은 **SAGE(98.1%)**였습니다.
  • 즉, 'Accuracy'가 높은 모델과 'Hits@K'가 높은 모델이 서로 달랐습니다.

5. 💭 나의 '셀프 미팅' 노트

• 이 논문의 기여점 (Contribution):
  • GNN 기반 DDI 예측 연구에 "Accuracy 99% 달성!" 같은 '보여주기식 성능'에 속지 말라고 경고하는 '현실 확인(Reality Check)' 논문입니다.
  • DDI 예측처럼 극도로 불균형한 문제에서는 '랭킹 기반 지표(Hits@K)'나 (논문에 언급되진 않았지만) AUPR이 훨씬 더 중요하다는 것을 실증적으로 증명했습니다.
  • "최고의 GNN 모델은 없다". Accuracy가 중요한 데이터셋(SAGE)과 Ranking이 중요한 데이터셋(GCN 변종)에서 각각 뛰어난 모델이 달랐습니다.
• 아쉬운 점 또는 한계 (Limitation):
  • 가장 중요한 질문인 "왜 Biosnap/DrugBank는 Hits@K가 0이고, Ogbl-ddi는 괜찮았는가?"에 대한 심층 분석이 부족합니다. (데이터셋의 구성 방식이나 불균형 정도가 근본적으로 달랐을 텐데 이에 대한 고찰이 아쉽습니다.)
  • Figure 5에서 Biosnap/DrugBank 데이터가 '균형(balanced)' 잡혀있다고 했는데 , 테스트 결과(Table 2) 및 평가 방법(1 vs 10만) 은 극심한 '불균형'을 시사합니다. 이 모순점에 대한 명확한 설명이 없습니다. (아마도 원본 데이터의 클래스 비율은 1:1로 맞춰져 있으나(Figure 5), 실제 평가 태스크는 랭킹 문제라 1:N으로 샘플링한 것으로 보입니다.)
  • DDI에는 '시너지'와 '길항'이 있는데 , 이 논문은 이를 구분하지 않고 '상호작용 유무'(binary) 또는 '상호작용 타입 분류'(multi-class) 로만 접근했습니다.
• 추가적인 의문 (Further Questions):
  • '시너지' 예측은 '유해한 부작용' 예측보다 더 희귀한(imbalanced) 문제일 것입니다. 시너지 예측에 특화된 벤치마크 데이터셋이 필요하지 않을까요?
  • 이 논문에서 Hits@K 성능이 가장 좋았던 GCN 계열 모델(GCNNGNNGRAPHCONV)의 아키텍처적 특징이 정확히 무엇이길래 랭킹 성능이 좋았을까요?
  • 한약은 개별 약재의 다양한 성분부터 시너지 작용이 나타날 수 있습니다. 일반적인 한약 처방을 복용하면 적게는 4-500가지 성분에서 많게는 천여개가 넘는 성분을 복용합니다. 어떤 성분은 흡수조차 안 되고, 어떤 성분은 활성이 없을 수도 있습니다. 그럼에도 처방을 구성하는 기준이 있고 이론이 있습니다. 약물 상호작용은 매우 드문 일을 예측하는 것인데, 그것보다는 약재 성분의 층차나 특성을 구분하는 다른 DDI 평가방법이 필요지 않을까요?
• 나의 연구/공부와의 연결고리 (My Takeaway):
  • 만약 내가 한약 처방의 '시너지' 조합을 예측하는 AI 모델을 만든다면, "Accuracy 99%"라는 숫자에 절대로 현혹되지 말아야겠습니다.
  • 데이터셋은 1:1로 균형 맞추더라도, 평가는 반드시 1:10000 또는 1:100000 같은 **현실적인 불균형 상황(realistic setting)**을 가정하고 Hits@K나 AUPR을 핵심 지표로 사용해야 합니다.

6. 🎯 결론 및 한 줄 평

"GNN을 이용한 DDI 예측에서 '99% 정확도'가 어떻게 무의미할 수 있는지, '평가 지표'와 '데이터셋'의 중요성을 통렬하게 지적한 연구자 필독 논문."