시험 범위를 통째로 외운 학생을 상상해 보세요. 아는 문제는 다 맞히는데, 조금만 비틀어 내면 무너집니다. 원리를 안 게 아니라 답을 외운 거니까요. 그런데 — 그 학생을 붙잡아 두고 같은 걸 계속, 아주 오래 반복시켰더니, 어느 날 갑자기 처음 보는 문제까지 술술 풀기 시작한다면요? 기계에서는 실제로 이런 일이 벌어집니다. 이름도 있습니다. 그로킹(grokking)이죠.
저는 수업에서 "이해했니?"와 "외웠니?"를 자주 구분해 묻습니다. 둘은 겉으로 잘 안 갈립니다. 시험지 위에서는 외운 학생과 이해한 학생이 똑같이 100점을 받거든요. 갈리는 건 처음 보는 문제 앞에서죠. 그런데 인공지능을 들여다보다 연구자들이 바로 이 경계선을, 눈금까지 매겨 관찰해 버렸습니다. 기계가 '외우는 단계'와 '이해하는 단계'를 실제로 통과하는 장면을요.
012022년, 이상한 그래프 하나
2022년 오픈AI의 연구자 알레테아 파워 팀이 작은 신경망에게 시시한 과제를 줬습니다. 나머지 연산(예: 두 수를 더한 뒤 어떤 수로 나눈 나머지 구하기)이었죠. 규칙 자체는 초등학교 산수 수준입니다.
신경망은 금방 훈련 문제를 100% 맞히게 됐습니다. 여기까지는 예상대로예요. 문제는 처음 보는 문제였습니다. 훈련에 안 쓴 문제들에 대해선, 정확도가 한참 동안 거의 찍는 수준에 머물렀습니다. 전형적인 '외우기만 하고 이해 못 한' 상태죠. 보통 여기서 학습을 멈춥니다. 더 시켜 봐야 외운 것만 굳어질 것 같으니까요.
그런데 연구진은 멈추지 않고 학습을 계속 — 정말 한참 더 — 돌렸습니다. 그러자 어느 순간, 처음 보는 문제의 정확도가 바닥에서 거의 100%까지 갑자기 솟구쳤습니다. 훈련 정확도가 만점이 된 지 한참, 때로는 학습 스텝 기준으로 수백 배가 지난 뒤였습니다. 기계가 답을 외우는 걸 넘어서, 나머지 연산의 규칙 자체를 붙잡은 겁니다.
연구진은 이 현상에 그로킹이라는 이름을 붙였습니다. 하인라인의 1961년 소설 낯선 땅 이방인에 나오는 화성어 'grok' — 무언가를 완전히, 뼛속까지 이해한다는 뜻 — 에서 따온 말이죠. 우리말론 '지연된 일반화'라고 옮깁니다. 일반화(처음 보는 데 통하는 능력)가 한참 늦게 온다는 뜻입니다.
훈련을 직접 밀어 보세요
슬라이더를 오른쪽으로 옮기면 학습이 진행됩니다. 훈련 정확도와 시험 정확도가 언제, 어떻게 갈라지는지 지켜보세요.
겉보기엔 다 배운 것 같지만, 사실은 문제를 통째로 외웠을 뿐입니다. 처음 보는 문제는 여전히 찍는 수준이에요.
숫자와 곡선은 그로킹의 흐름을 손으로 만져 보게 한 모식(schematic)입니다. 특정 실험의 정확한 값이 아니라, 네 단계의 순서를 보여 주는 장치예요.
02왜 이게 놀라운 일인가
보통의 기계학습은 이렇게 극적이지 않습니다. 학습을 시킬수록 훈련 성적과 시험 성적이 나란히 좋아지다가, 어느 선에서 시험 성적이 슬슬 나빠지죠. 이게 그 유명한 과적합(overfitting)입니다 — 훈련 데이터에 너무 맞춰져서, 새 데이터엔 오히려 약해지는 것. 그래서 현장에선 "과적합이 시작되기 전에 멈춰라"가 상식입니다.
그로킹은 이 상식을 정면으로 비틉니다. 여기선 과적합처럼 보이는 구간을 한참 지나서 일반화가 찾아옵니다. 만약 상식대로 일찍 멈췄다면, 그 신경망은 영원히 '외우기만 하는 기계'로 남았을 겁니다. 진짜 이해가 바로 다음 모퉁이에 있는 줄도 모른 채로요.
겉보기 성적이 만점이라고 이해한 건 아닙니다. 외우기와 이해 사이엔, 눈에 안 보이는 긴 구간이 숨어 있습니다.
한 가지는 분명히 해 둡시다. 그로킹이 가장 또렷하게 관찰된 건 나머지 연산 같은 작고 규칙이 딱 떨어지는 과제들입니다. 규칙이 깔끔할수록, '외운 답'보다 '규칙 하나'가 훨씬 간단하기 때문에 기계가 결국 규칙 쪽으로 넘어갈 여지가 큰 거죠. 그러니 "모든 AI가 항상 이렇게 극적으로 깨친다"고 넘겨짚으면 안 됩니다. 이건 학습이라는 과정의 속살을 유난히 선명하게 드러내 준 실험실 표본에 가깝습니다.
03기계 안에서 무슨 일이 벌어지나
그럼 그 '갑자기'의 순간, 신경망 안에서는 대체 뭐가 바뀌는 걸까요? 2023년, 닐 난다 팀이 그로킹한 신경망을 통째로 역설계해서 안을 열어 봤습니다. 기계론적 해석가능성(mechanistic interpretability)이라 부르는, AI의 머릿속을 뜯어보는 연구죠.
놀랍게도, 나머지 덧셈을 학습한 신경망은 우리가 가르치지 않은 방법을 스스로 찾아냈습니다. 수를 원 위의 회전으로 바꿔서, 덧셈을 각도의 회전으로 처리한 겁니다 — 삼각함수와 비슷한 구조를 내부에 지어 올렸어요. 사람이 짜 준 게 아니라, 학습만으로 이런 '계산 회로'가 저절로 조립된 거죠.
난다 팀은 학습을 세 국면으로 나눠 볼 수 있다고 했습니다. ① 암기 — 훈련 답을 통째로 외운다. ② 회로 형성 — 겉 성적은 그대로인데, 안에서는 규칙을 푸는 회로가 조용히 자란다. ③ 정리(cleanup) — 이제 필요 없어진 '외운 찌꺼기'를 걷어내고 회로만 남긴다. 우리가 밖에서 본 '갑작스러운 도약'은, 사실 안에서 오래 자라던 회로가 마침내 겉으로 드러난 순간이었습니다.
여기서 가중치 감쇠(weight decay)가 중요한 역할을 합니다. 신경망이 답을 너무 복잡하게 외우지 못하도록 '단순함'에 벌점을 매기는 장치인데, 원논문은 가중치 감쇠 같은 규제가 그로킹을 크게 앞당기고 뚜렷하게 만든다고 보고했습니다(규제가 없으면 훨씬 느리게 일어납니다). 단순한 쪽으로 미는 힘이 있어야, 기계가 덩치 큰 암기표를 버리고 작고 우아한 규칙으로 갈아탄다는 거죠.
이 '안에서 만들어진 회로'라는 대목이 흥미롭습니다. 신경망이 스스로 조립한 계산 장치라니 — 계산의 가장 작은 벽돌인 논리 게이트를 직접 이어 회로를 만들어 보면, 왜 규칙이 암기표보다 '간단한지' 손끝으로 느껴집니다.
SIM 논리 게이트 — 계산의 최소 단위AND·OR·XOR를 이어 회로를 만들어 보기. 규칙 하나가 어떻게 수많은 경우를 한꺼번에 처리하는지 직접 조작 →
04그런데 — 아직 다 풀린 문제가 아닙니다
여기서 솔직해야 할 부분이 있습니다. 그로킹은 뜨거운 주제지만, 완전히 설명된 현상은 아닙니다.
왜 하필 그 순간에 도약이 일어나는지를 두고 여러 설명이 경쟁하고 있습니다. 가중치가 커지는 방식으로 보는 쪽, 내부 표현이 단순해지는 과정으로 보는 쪽, 학습을 일종의 상전이(물이 얼음이 되듯 갑자기 상태가 바뀌는 것)로 보는 쪽 — 아직 하나로 모이지 않았어요. 각 설명이 서로 다른 조각을 비추고 있는 상태입니다.
더 큰 물음도 남습니다. 이 극적인 그로킹은 작은 장난감 과제에서 가장 선명한데, 챗봇 같은 거대한 실제 모델에서도 똑같이 일어날까요? "큰 모델도 사실 여기저기서 조용히 그로킹한다"는 주장과, "그건 작은 규칙 과제에서 두드러지는 현상"이라는 신중론이 함께 있습니다. 한편으로는 이 지연을 50배 넘게 앞당기는 방법(Grokfast 등)도 나왔지만, 이것도 '왜'를 다 설명하진 못합니다.
저는 이 '아직 모른다'가 약점이 아니라 이 이야기의 매력이라고 봅니다. 우리가 직접 만든 기계인데도, 그 안에서 벌어지는 학습의 속내를 우리조차 아직 다 못 읽고 있다는 것. 밖에서 지켜보는 별이 아니라, 손안에 두고도 다 모르는 대상이 생긴 셈이죠.
05교실의 시선 — 외우기와 이해 사이
과학 선생으로서 이 현상이 반가운 이유가 있습니다. 오래된 질문 하나를 눈에 보이는 그래프로 바꿔 주거든요. "답을 맞히는 것과 원리를 아는 것은 다르다."
다만 곧바로 조심할 것도 있습니다. "기계가 그로킹하니 사람도 그렇게 외우다 보면 어느 날 깨친다"고 단순히 옮기면 곤란합니다. 기계의 그로킹과 사람의 이해가 같은 메커니즘이라는 증거는 없어요. 이건 은유지 증명이 아닙니다. 그 선은 분명히 그어 둡시다.
그래도 남는 시사점은 있습니다. 첫째, 겉보기 성적에 속지 말 것. 훈련 문제 만점이 곧 이해는 아니라는 걸, 기계가 아주 극적으로 보여 줬습니다. 처음 보는 문제 앞에서만 진짜가 갈립니다. 둘째, AI를 읽는 눈. 요즘 챗봇이 사람처럼 매끈하게 답한다고 해서 그게 정말 이해한 것인지, 아니면 방대한 데이터를 정교하게 '외워' 이어 붙이는 것인지는 다른 문제입니다 — 연구자들조차 그 경계를 아직 다 못 그었죠. 이 구분을 품고 AI를 대하는 것, 그게 지금 필요한 AI 리터러시의 출발점이라고 저는 생각합니다.
- 그로킹(grokking) — 신경망이 훈련 답을 100% 외운 뒤, 한참 지나 갑자기 처음 보는 문제까지 풀게 되는 '지연된 일반화'. 2022년 오픈AI가 나머지 연산 실험에서 발견·명명.
- 왜 놀라운가 — 보통은 과적합 전에 멈추는데, 그로킹은 과적합처럼 보이는 구간을 한참 지나서 일반화가 온다.
- 안에서는 — 암기 → 회로 형성 → 정리의 세 국면. 기계가 규칙을 푸는 '계산 회로'를 스스로 조립한다(난다 팀, 2023). 가중치 감쇠 같은 규제가 열쇠.
- 아직 논쟁 중 — 원인 설명이 여러 갈래로 경쟁. 거대 실제 모델에도 그대로 적용되는지는 미결.
- 교실 시사점 — 답 맞히기 ≠ 원리 이해. 단, 기계의 그로킹을 사람 학습으로 곧장 옮기는 건 은유일 뿐 증명이 아니다.
다시 처음의 학생으로 돌아가 봅시다. 시험지 위에서 외운 학생과 이해한 학생은 똑같아 보입니다. 갈리는 건 늘 처음 보는 문제 앞에서죠. 기계가 우리에게 준 선물은, 그 보이지 않던 경계선을 눈금까지 매겨 보여 줬다는 겁니다. 그러니 다음에 무언가를 '다 안다'고 느낄 때 한 번 물어봅시다 — 나는 지금 답을 외운 걸까, 규칙을 붙잡은 걸까?
이 글의 근거 — 1차 자료
- Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv:2201.02177. — 그로킹 현상의 최초 보고·명명, 나머지 연산 실험, 규제(가중치 감쇠)의 역할.
- Nanda, N., Chan, L., Lieberum, T., Smith, J., & Steinhardt, J. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR 2023, arXiv:2301.05217. — 그로킹한 신경망 역설계, '원 위의 회전' 회로, 암기·회로 형성·정리의 세 국면.
- Lee, J., Kang, B. G., Kim, K., & Lee, K. M. (2024). Grokfast: Accelerated Grokking by Amplifying Slow Gradients. arXiv:2405.20233. — 느린 성분을 키워 그로킹을 크게 앞당김.
- Humayun, A. I., Balestriero, R., & Baraniuk, R. (2024). Deep Networks Always Grok and Here is Why. ICML 2024, arXiv:2402.15555. — 그로킹이 더 일반적일 수 있다는 관점.
- 어원: Robert A. Heinlein, Stranger in a Strange Land (1961)의 화성어 'grok'. 본문의 '수백 배' 등 스텝 규모와 인터랙션의 곡선은 이해를 돕기 위한 모식·추정으로, 특정 실험의 확정 수치가 아님.