AI 모델 학습에서 불확실성에 익숙해질 시간입니다

(출처: Shutterstock)

잘못 훈련된 개는 명확하게 알아볼 수 있습니다. 명령에 제대로 반응하지 않고, 경계를 넘어서며, 예측할 수 없게 행동합니다. 잘못 훈련된 인공지능(AI) 모델도 마찬가지입니다. 다만 AI의 경우, 훈련 과정에서 무엇이 잘못되었는지 항상 쉽게 파악할 수 있는 것은 아닙니다.

전 세계 연구 과학자들은 실험 및 이론적 데이터로 훈련된 다양한 AI 모델을 사용하고 있습니다. 목표는 물질을 실제로 만들고 테스트하기 전에 해당 물질의 특성을 예측하는 것입니다. 그들은 실험적 시행착오에 소요되는 시간의 일부만으로 더 나은 의약품과 산업용 화학물질을 설계하기 위해 AI를 활용하고 있습니다.

하지만 AI 모델이 제공하는 답변을 어떻게 신뢰할 수 있을까요? 이는 단순한 학문적 질문이 아닙니다. AI 모델 예측의 신뢰성 여부에 따라 수백만 달러의 투자금이 좌우될 수 있습니다.

에너지부 산하 태평양 북서부 국립 연구소(PNNL)의 연구팀은 신경망 포텐셜이라 불리는 AI 모델 종류가 얼마나 잘 훈련되었는지 판단하는 방법을 개발했습니다. 더 나아가, 이 방법은 예측이 훈련 범위를 벗어났는지, 그리고 개선을 위해 더 많은 훈련이 필요한 부분이 어디인지 식별할 수 있습니다—이를 능동 학습이라고 합니다. PNNL 데이터 과학자인 Jenna Bilbrey Pope와 Sutanay Choudhury가 이끄는 연구팀은 이 새로운 불확실성 측정 방법이 어떻게 작동하는지 NPJ Computational Materials에 게재된 연구 논문에서 설명합니다. 팀은 또한 이 방법을 Scalable Neural Network Atomic Potentials(SNAP)라는 더 큰 저장소의 일부로 GitHub에 공개적으로 제공하여 누구나 자신의 작업에 적용할 수 있게 했습니다.

잘못 훈련된 개는 잘못 훈련된 AI 모델과 같습니다. 경계를 알지 못합니다. (출처: Jaromir Chalabala/Shutterstock)

"일부 불확실성 모델은 실제 예측 오류가 높은 경우에도 과도하게 자신감을 보이는 경향이 있다는 것을 발견했습니다," Bilbrey Pope는 말했습니다. "이는 대부분의 딥 뉴럴 네트워크에서 흔한 현상입니다. 그러나 SNAP으로 훈련된 모델은 이러한 과도한 자신감을 완화하는 지표를 제공합니다. 이상적으로는 전반적인 모델 성능을 평가하기 위해 예측 불확실성과 훈련 데이터 불확실성을 모두 살펴보고 싶을 것입니다."

AI 모델 훈련에 신뢰를 주입하여 발견 속도 향상

연구 과학자들은 AI의 예측 속도를 활용하고 싶어하지만, 현재로서는 속도와 정확성 사이에 트레이드오프가 존재합니다. AI 모델은 기존의 계산 집약적인 방법을 사용해 슈퍼컴퓨터에서 12시간이 걸릴 수 있는 예측을 몇 초 만에 수행할 수 있습니다. 그러나 화학자와 재료 과학자들은 여전히 AI를 블랙박스로 보고 있습니다.

PNNL 데이터 과학팀의 불확실성 측정 방법은 AI 예측을 얼마나 신뢰해야 하는지 이해할 수 있는 방법을 제공합니다.

"AI는 자신의 지식 경계를 정확하게 탐지할 수 있어야 합니다," Choudhury는 말했습니다. "우리는 AI 모델이 신뢰 보증과 함께 제공되기를 원합니다. '이 예측은 귀하의 요구 사항에 기반하여 촉매 A가 촉매 B보다 85% 확률로 더 좋다'와 같은 진술을 할 수 있기를 원합니다."

게재된 연구에서 연구자들은 MACE라고 불리는 원자 재료 화학을 위한 가장 발전된 기초 모델 중 하나로 불확실성 방법을 벤치마크하기로 선택했습니다. 연구자들은 모델이 특정 재료군의 에너지를 계산하도록 얼마나 잘 훈련되었는지 계산했습니다. 이러한 계산은 AI 모델이 슈퍼컴퓨터에서 실행되는 더 시간과 에너지 집약적인 방법을 얼마나 잘 근사할 수 있는지 이해하는 데 중요합니다. 결과는 어떤 종류의 시뮬레이션이 정확한 답변을 얻을 수 있다는 확신을 가지고 계산될 수 있는지 보여줍니다.

이러한 예측에 대한 신뢰와 자신감은 AI 워크플로우를 일상적인 실험실 작업에 통합하고 AI가 신뢰할 수 있는 실험실 조수가 되는 자율 실험실 구축의 잠재력을 실현하는 데 매우 중요하다고 연구자들은 덧붙였습니다.

"우리는 화학을 위한 모든 신경망 포텐셜을 우리의 프레임워크로 '포장'할 수 있도록 노력했습니다," Choudhury가 말했습니다. "그러면 순식간에 불확실성을 인식하는 힘을 갖게 됩니다." 강아지도 순식간에 훈련될 수 있다면 얼마나 좋을까요.

이 연구에는 Bilbrey와 Choudhury 외에도 PNNL 데이터 과학자인 Jesun S. Firoz와 Mal-Soon Lee가 기여했습니다. 이 연구는 DOE 과학 사무소, 기초 에너지 과학 사무소에서 자금을 지원하는 "엑사스케일 계산 화학을 클라우드 컴퓨팅 환경 및 신흥 하드웨어 기술로 이전"(TEC4) 프로젝트에 의해 지원되었습니다.

PNNL 소개

태평양 북서부 국립 연구소는 화학, 지구 과학, 생물학 및 데이터 과학 분야의 특별한 강점을 바탕으로 과학적 지식을 발전시키고 에너지 회복력과 국가 안보 분야의 과제를 해결합니다. 1965년에 설립된 PNNL은 Battelle이 운영하며 미국 에너지부 과학 사무소의 지원을 받습니다. 과학 사무소는 미국에서 물리 과학 기초 연구의 가장 큰 지원자이며 우리 시대의 가장 시급한 과제들을 해결하기 위해 노력하고 있습니다.