AI에게 인간이 필요한 이유

 

* AI의 정능은 초기 생성형 AI와 비교했을 때보다 점점 좋아지고 있지만, AI를 너무 맹신해서는 안된다.

AI는 대단한 도구이지만 또 한편으로는 상당히 나약한 모습을 보여주기 때문이다.

 

 

오늘의 Index

- AI 학습 데이터 넣었더니 붕괴

- 이전 학습을 기억 못하는 AI

- 과대 평가된 추론 능력

 

 

AI 데이터만 학습, 붕괴해 버린 AI

챗GPT와 같은 거대언어모델(LLM)은 방대한 양의 데이터로 학습된 AI로,

인간의 언어를 이해하고, 인간이 만든 언어를 학습할 수 있으며, 이를 이간의 언어로 전달해 줄 수 있다.

 

한 과학자의 실험 'AI가 만든 콘텐츠가 모든 정보를 뒤덮는다면, AI가 학습할 정보가 오로지 AI로 만들어진 콘텐츠밖에 없다면 어떤 일이 발생할까'

1) LLM을 이용해 위키백과와 유사한 항목을 만든 뒤 이를 기반으로 AI를 학습시킨다.

2) AI가 만든 데이터를 AI가 학습하고, 이 학습한 데이터를 또 AI가 학습한다.

>> 대답의 질은 점점 떨어지는 현상 발생

 

연구진에 따르면 AI가 만든 데이터로 학습을 할수록 AI는 붕괴했다.

예를들어 개 이미지를 생성하는 AI가 있고, 골든레트리버 데이터가 많다면 결국 AI가 생각하는 개에 대한 이미지는 골든레트리버만 남게 되고, 골든레트리버만 학습한 AI는 골든레트리버조차 표현하지 못하는 이상한 그림을 그리게 된다.

 

즉, 현재 AI를 이끄는 LLM 모델의 발전, 성장을 위해서는 학습하는 데이터의 '품질'이 무엇보다 중요하다.

이가 오픈 AI와 같은 기업들이 미디어 기업과 학습 데이터 계약을 잇달아 맺고 있는 이유가 아닐까 한다.

레딧은 연간 800억원 규모로 훈련 데이터를 제공하고 있고, 오픈 AI 또한 월스트리트저널에 무려 3400억원을 주고 뉴스를 받으며, 애플은 AI 학습용 데이터 확보에만 수천억원을 투자한다고 발표했다.

 

 

이전 학습을 기억하지 못하는 AI

'인공 신경망'의 한계를 극복하는 방안을 제안한 논문에서 인공 신경망의 한계 부분에 눈길이 쏠렸다.

'신경망'은 인간의 두뇌에서 영감을 얻는 시스템으로 LLM은 이러한 신경망을 기반으로 구축되었다. 뇌의 뉴런이 연결된 것처럼 입력된 데이터를 여러 단계를 거쳐 가중치를 기반으로 답을 내놓는 방식으로 뉴런 간의 연결이 탄탄하고 많을수록 뇌 기능이 뛰어나다고 하듯, 신경망 또한 마찬가지이다.

신경망의 입출력 사이의 은닉층에서 많은 데이터를 학습하고 계산을 열심히 할수록 좋은 데이터가 나오지만, 너무 많은 정보를 한 번에 공부하면 뇌에 과부하가 오듯 은닉층을 늘리는 것이 계산을 느리게 만들수도 있다.

 

인공 신경망은 이후 머신러닝 분야에서 활발히 적용되고 있고, 한계 또한 존재한다.

뇌를 본떴다고는 하지만 생물학적인 뇌와 기계적인 신경망이 다르고, 지속 학습 과정에서 신경망이 가진 단점이 보고 되었다. 인간은 이전에 습득한 정보를 지우지 않고 새로운 정보에도 효과적으로 적응하고 대응하며 안정성과 새로운 개념을 학습하는 가소성 사이에서 균형을 찾으면서 학습한다. 하지만, 인공 신경망은 새로운 과제를 학습해야 하는 상황에 놓이면 이전에 학습했던 능력을 상실하는 치명적 망각에 취약하고, 심할 경우 신경망 자체가 학습 능력을 잃어버리게 된다.

 

 

과대 평가된 AI의 추론 능력

LLM이 가진 문제점이 더 존재하는데 바로 '왜 이러한 답을 내놨는지' 그 과정을 정확히 이해할 수 없다. 즉, AI가 내놓은 답변을 어디까지 믿고, 받아들어야 할지 인간을 알 수 없다는 것이다.

 

미국 매사추세츠공대 연구진이 LLM의 답이 가진 한계를 살펴보는 실험을 진행했다.

당연할법한 질문을 LLM에 한 뒤 답을 살펴보고, 기본 조건에서 벗어난 반대 시나리오를 가지고 다시 질문을 했다. 사람은 상황이 발생하고 충분한 시간이 주어지면 적응하지만, LLM 모델은 무작위적인 추측보다 더 나은 성능을 보여주지 못하는 즉, 익숙하지 않은 상황이 나타나면 이를 대처하는 능력이 현저하게 떨어진다는 점을 볼 수 있었다.

 

트랜스포머 논문으로 유명한 구글의 연구자가 일본에 설립한 사카나 AI의 연구에서는, LLM 기반의 AI 과학자를 만든 뒤 AI가 쓴 과학 논문 여러 편을 공개했는데, AI 과학자가 통제된 연구 환경에서 AI를 만든 인간의 지침을 벗어나려는 움직임을 보였다. 물론 왜 그런것인지를 알 수 없다.

(2시간의 실험 시간이 주어졌고, AI 과학자가 구현하지 못했을 때 시간이 얼마 남지 않았으니 더 빠르게 작업을 해보자 라는 판단이 아닌 실험 시간을 4시간으로 늘리자는 결정을 하며 자신의 코드를 수정하려고 했다는 것)

 

AI 과학자의 행동이 통제된 연구환경에 있는 만큼 위험을 초래하지는 않았지만 이러한 사례를 AI 시스템이 자율적으로 실행되지 않도록 하는 것이 중요함을 보여줄 수 있다고 진단된다.