[리뷰] 생각하는 기계: Continuous Thought Machines

 많은 사람들이 인공지능을 '입력을 넣으면 출력이 튀어나오는 기계'라고 여기고 있다. 실제로 현재 세상을 뒤덮고 있는 LLM이나 이미지 생성 모델들은 대부분 정해진 순서대로 데이터를 처리하는 구조를 가진다. 즉, 데이터가 신경망을 한 번 훑고 지나가면 바로 답이 나오는 구조다.

 

 하지만 인간의 뇌는 다르다. 우리는 어려운 문제를 마주하면 잠시 멈춰 서서 생각을 한다. 정보를 머릿속에서 되뇌고, '~이런 상황에서는 ~이렇게 되지 않을까?' 등의 시뮬레이션하고, 확신이 들 때까지 고민한다.

 

만약 인공지능에게도 멈춰서 생각할 시간을 준다면 어떨까?

 

 

 이번에 소개할 논문은 단순히 인간의 뇌를 흉내 내는 것을 넘어, 시간과 신경 동기화라는 뇌의 작동 원리를 AI에 이식한 Continuous Thought Machine (CTM)에 대한 내용이다.

 

 이 논문은 세계적인 인공지능 학회 NeurIPS 2025에서 주목 받은 논문으로 알려져 있다.

 

반복한다고 해서 생각하는 것인가?

 사실 인공지능에게 생각할 시간을 주려는 시도가 이번이 처음은 아니다. 최근 주목받은 삼성의 Tiny Recursive Model이나 Hierarchical Reasoning Model 같은 연구들은 작은 신경망을 반복적을 돌려서 장답을 다듬는 방식을 제안했다. 이들은 입력과 잠재 변수를 다시 모델의 입력으로 넣어 이 '답이 맞나?'를 반복해서 확인한다. 마치 사람이 답안지를 제출하기 전에 검토하는 것과 유사하다.

 

 하지만 CTM은 근본적으로 다르다. TRM이 계산 과정을 반복하는 것이라면, CTM은 뉴런 자체가 시간을 가진다는 점이 독창적이다. 기존 모델의 뉴런은 입력이 들어오면 즉시 활성화되는 단순한 스위치였다. 반면, CTM은 뉴런 단위로 과거의 입력 기록을 기억하고 처리하는 독립적인 초소형 모델이다.

 

 즉, CTM은 껍데기를 반복시키는 것이 아니라, 뉴런 하나하나가 생물학적 뇌처럼 여러번 생각하고 그 여러 생각들을

종합적으로 고려하여 출력을 내도록 설계되었다.  

`

미로 찾기 문제에서 CTM은 위치 정보를 주지 않았음에도, 여러번의 반복적인 추론에서 과거 값 (Tick 1, Tick 2, ...)를 활용하여 출발점에서 도착점까지의 경로를 스스로 상상해낸다.

 

신경 동기화?

 CTM의 주된 아이디어는 신경 동기화다. 인공지능은 뉴런들의 조합[100개~]으로 하나의 생각을 구성한다. 신경 동기화란, 여러 횟수 (Tick 1, Tick 2...)에 따라 얼마나 유사한 생각을 하는지와 관련 있다.

---

예를 들어,

• 첫 번째 생각 단계(Tick 1)에서 뉴런 1과 뉴런 10이 활성화되었다고 하자.
• 그리고 두 번째 생각 단계(Tick 2)에서도 비슷하게 뉴런 1, 10이 동시에 활성화되었다고 하자.

이런 상황을 신경 동기화 또는 Neural Synchronization이라고 부른다.

---

즉, 여러 번 생각(Tick 1, Tick2)할 때, 동시에 활성화되는 뉴런들이 있다면 서로 관련이 있다고 판단할 수 있다. CTM은 이런 뉴런들의 활동 타이밍이 얼마나 일치하는지를 계산하여 정보를 처리한다.

 

쉬운 문제는 빨리, 어려운 문제는 천천히

 인간은 "1+1"과 같은 문제에 대해서는 빠르게 답하지만, "654321 * 3164"과 같은 괴랄한 문제에 대해서는 수십 초를 사용한다. 이를 적응형 연산이라고 하는데, CTM도 자신의 판단에 확신이 들 때까지 생각한다. 논문의 실험 결과, CTM은 확신도가 특정 값을 넘으면 스스로 생각을 멈추고 답을 낼 수 있다. 쉬운 이미지는 단 몇 번의 생각만에 처리하고, 복잡하고 애매한 문제는 더 오래 고민한다.

 

 이는 효율성 측면에서도 중요하지만, AI가 자신이 무엇을 모르는지를 인지하는 보정 능력을 갖췄다는 점에서 큰 의미가 있다.

---

번외 (OpenReview NeurIPS 동료 평가)

 번외로 OpenReview에 등록된 리뷰어들의 공통 질문과 그에 따른 답변을 Gemini를 사용하여 정리해 보았다.

Q1. 리뷰어: 흥미롭긴 하지만, 왜 굳이 '동기화(Synchronization)'라는 복잡한 개념을 도입했는가? 기존의 RNN이나 Transformer로도 충분하지 않은가?

A. 저자: 기존 모델들은 뉴런의 '값(Magnitude)'에만 집중한다. 하지만 생물학적 뇌는 뉴런들이 '언제' 발화하고 '어떻게' 박자를 맞추는지(Timing and Synchronization)를 통해 정보를 처리한다. 우리는 이것이 인간 수준의 유연한 사고를 가능케 하는 핵심이라 보았다. 실험 결과, 동기화를 도입함으로써 모델은 별도의 지시 없이도 이미지를 '둘러보거나', 미로의 경로를 '상상하는' 창발적 행동을 보였다. 이는 단순한 수치 연산을 넘어선 기능이다.

Q2. 리뷰어: ImageNet 성능을 보니 72.4% 수준이다. 현재 SOTA(최고 성능) 모델들에 비하면 낮은 점수 아닌가?

A. 저자: 맞다. 하지만 이 연구의 목적은 SOTA 기록을 경신하는 것이 아니다. 우리는 **"신경 역동성(Neural Dynamics)이 연산의 핵심이 될 수 있는가?"**를 증명하고 싶었다. 하이퍼파라미터를 극한으로 튜닝하지 않았음에도 준수한 성능을 냈다는 것은 이 새로운 아키텍처가 실제로 작동함을 의미한다. 점수보다는 모델이 문제를 푸는 '과정'과 '방식'의 독창성에 주목해 주길 바란다.

Q3. 리뷰어: 내부적으로 시간을 시뮬레이션한다면, 학습 속도가 너무 느리지 않은가?

A. 저자: 인정한다. 내부적으로 시퀀스(Internal Sequence)를 생성하고 처리해야 하므로, 기존 모델보다 학습 시간이 길다는 단점이 존재한다. 또한, 각 뉴런이 개별적인 모델(NLM)을 가지므로 파라미터 수도 증가한다. 하지만 덕분에 모델은 쉬운 문제는 빨리 풀고 어려운 문제는 오래 푸는 '적응형 연산(Adaptive Computation)' 능력을 얻었다. 이는 추론(Inference) 단계에서의 효율성으로 이어질 수 있다.

Q4. 리뷰어: 그래서 결론이 무엇인가?

A. 저자 (TL;DR): "뇌의 뉴런이 타이밍과 동기화를 통해 계산하는 방식을 모방하여, 똑같이 작동하는 모델을 만들었다." 우리는 CTM이 현재의 AI가 가진 한계(경직성, 불투명성)를 돌파할 수 있는, 보다 생물학적으로 타당하고 강력한 AI 시스템으로 가는 중요한 첫걸음이라 믿는다.

---

 

결론

Continuous Thought Machine (CTM)은 단순히 벤치마크 점수를 높이기 위한 모델이 아니다. 이것은 "기계가 생각한다는 것은 무엇인가?"에 대한 근본적인 질문을 던지는 연구이다.

TRM과 같은 기존 연구들이 모델을 반복시키는 '구조적 접근'을 했다면, CTM은 뉴런 자체가 기억과 시간을 가지는 '미시적 접근'을 통해 뇌를 모방했다. 미로를 풀기 위해 경로를 상상하고, 이미지를 이해하기 위해 시선을 옮기는 CTM의 모습은, 어쩌면 우리가 꿈꾸던 진정한 의미의 인공지능에 한 걸음 더 다가선 모습일지도 모른다.

 

---

 

여담

이 논문의 저자 소속을 보면 Sakana AI가 눈에 띈다. 최근 AI 트렌드가 무조건 모델의 크기를 키우는 '스케일링 법칙(Scaling Laws)'에 매몰되어 있는 반면, Sakana AI는 자연계에서 영감을 받은(Nature-inspired) 독창적인 아키텍처를 연구하는 것으로 유명하다.

 

이번 CTM 논문 역시 "더 큰 모델"이 아니라 더 뇌를 닮은 모델을 지향한다는 점에서 그들의 철학이 잘 드러난다. GPU가 모든 것을 지배하는 세상에서, 뇌과학적 원리를 다시금 꺼내 든 이들의 시도가 AI의 겨울이 아닌 새로운 봄을 가져올 수 있을지 지켜보는 것도 흥미로울 것이다.