AI의 머릿속에선 정말 무슨 일이 벌어질까?

우리는 챗봇에게 질문을 던지고, 답이 그럴듯하면 고개를 끄덕입니다. 그런데 그 답이 모델 안에서 어떻게 만들어졌는지는—만든 사람조차—정확히 모릅니다. 이상한 말 같지요. 사람이 처음부터 끝까지 만든 프로그램인데, 왜 그 속을 모른다는 걸까요?

저는 수업에서 AI 이야기가 나오면 학생들에게 이렇게 되묻곤 합니다. "이 모델 안에 뭐가 들어 있을 것 같아?" 대부분 "코드요" 하고 답합니다. 절반만 맞습니다. 모델을 굴리는 코드는 몇백 줄이면 되지만, 정작 능력이 담긴 자리는 코드가 아니라 수천억 개의 숫자—가중치라고 부르는—더미입니다. 그리고 그 숫자들은 사람이 한 줄씩 적은 게 아니라, 엄청난 데이터로 스스로 조정되며 자라났습니다.

01'만든' 게 아니라 '기른' 것에 가깝다

여기서 흔한 오해 하나를 풀고 갑시다. 거대 언어 모델은 누군가 "고양이는 이렇게 답해라" 하고 규칙을 적어 넣은 게 아닙니다. 빈 신경망에 방대한 글을 들이부으며 "다음에 올 단어를 맞혀 봐"를 수십억 번 시키면, 그 과정에서 가중치들이 조금씩 틀어지며 언어를—그리고 그 너머의 무언가를—다루는 능력이 창발합니다. 짓는다기보다 기른다에 가깝습니다.

그래서 묘한 상황이 생깁니다. 모델은 시(詩)도 쓰고 코드 버그도 잡는데, 정작 그 능력이 그 수천억 개 숫자 중 어디에, 어떤 모양으로 들어 있는지는 아무도 펼쳐 본 적이 없습니다. 입력을 넣으면 출력이 나온다—그 사이는 캄캄합니다. 이걸 흔히 블랙박스라고 부르지요.

이 캄캄한 상자 안에 손전등을 비춰 보자는 분야가 기계론적 해석가능성(mechanistic interpretability)입니다. 모델이 무엇을 아는지를 묻는 게 아니라, 그 앎이 모델 안에서 어떤 부품으로 어떻게 계산되는지를 뜯어보려는 시도예요. 신경과학자가 뇌를 들여다보듯, 인공 신경망을 들여다봅니다.

02뉴런 하나가 수십 가지를 뜻할 때 — '중첩'

처음엔 단순한 기대가 있었습니다. 뇌 신경세포에서 이름을 빌려온 인공 '뉴런'이 있으니, 뉴런 하나하나가 깔끔한 개념 하나씩—이 뉴런은 '강아지', 저 뉴런은 '빨강'—을 맡고 있지 않을까 하는 기대요. 열어 보니 아니었습니다.

인공 뉴런 하나를 골라 언제 켜지는지 보면, 전혀 상관없어 보이는 것들에 동시에 반응합니다. 어떤 뉴런은 '고양이'에도, '자동차'에도, '특정 학술 용어'에도 켜집니다. 이렇게 한 뉴런이 여러 뜻을 겹쳐 가진 성질을 다의성(polysemanticity)이라고 부릅니다. 뉴런만 들여다봐서는 도무지 해석이 안 되는 거죠.

왜 이럴까요? 2022년 앤트로픽 연구진이 내놓은 설명이 중첩(superposition)입니다. 모델이 표현하고 싶은 개념은 수십만 가지인데, 그걸 담을 뉴런은 그보다 훨씬 적습니다. 그래서 모델은 자리가 부족할 때 영리한—그리고 사람에겐 골치 아픈—선택을 합니다. 여러 개념을 하나의 방향에 겹쳐 우겨넣는 겁니다. 개념들이 자주 동시에 나타나지 않는다면, 겹쳐 둬도 평소엔 서로 안 부딪치거든요.

뉴런은 개념을 담는 '서랍'이 아니었습니다. 여러 개념이 겹쳐 흐르는 '신호의 다발'에 가까웠죠.

그런데 이 '중첩'이라는 말, 어디서 들어 본 것 같지 않나요? 맞습니다—원래 파동에서 온 말입니다. 두 파동이 한 자리에서 만나면 사라지지 않고 겹쳐서 하나의 출렁임이 됩니다. 그러다 다시 갈라져 제 갈 길을 가죠. AI 속 개념들도 이와 닮았습니다. 한 다발에 겹쳐 흐르다가, 알맞은 방법으로 풀면 각자의 모습으로 다시 갈라집니다. 겹침과 풀림—이 직관을 손으로 한번 흔들어 보면 다음 이야기가 훨씬 쉬워집니다.

SIM 파동의 중첩과 소음 제어
두 파동이 한 자리에서 겹쳐 하나의 신호가 되는 '중첩' — AI 속 개념이 겹치는 방식과 닮은 직관을 직접 조작 → SIM 이중 슬릿 간섭
겹친 파동이 보강·상쇄로 무늬를 만드는 모습 — 겹침이 곧 정보가 되는 또 하나의 사례 →

03엉킨 신호를 푸는 도구 — 희소 오토인코더

개념들이 겹쳐 있다면, 다시 갈라낼 도구가 필요합니다. 그 도구가 희소 오토인코더(sparse autoencoder)입니다. 이름은 거창하지만 핵심 아이디어는 단순합니다. 모델 속 한 다발의 신호를 받아, "이 순간 켜진 깨끗한 개념은 아주 적은 수일 것이다"라는 가정을 걸고, 그 겹친 신호를 몇 개의 또렷한 조각으로 다시 펼쳐 내는 거죠. 이 또렷한 조각 하나하나를 특징(feature)이라고 부릅니다.

2023년 앤트로픽은 아주 작은 장난감 모델에서 이 방법으로 깨끗한 특징을 끄집어내는 데 성공했습니다. 문제는 "진짜 큰 모델에서도 될까?"였죠. 작은 데서 되는 게 실제 서비스급 모델에서 무너지는 일은 흔하니까요.

2024년 5월, 그 답이 나왔습니다. 연구진은 실제 제품인 클로드 3 소네트의 중간층에 희소 오토인코더를 걸어, 특징을 수백만 개—가장 큰 실험에선 약 3,400만 개—끄집어냈습니다. 그리고 그 특징들은 놀랍도록 사람이 읽을 만했습니다. '에펠탑' 특징, '유전자 안의 DNA' 특징, '코드 속 버그' 특징처럼요.

그중 하나가 유명해집니다. 금문교(Golden Gate Bridge) 특징입니다. 이 특징은 영어로 다리를 설명할 때도, 한국어·일본어·러시아어로 말할 때도, 심지어 다리 사진을 보여줄 때도 똑같이 켜졌습니다. 글자나 언어가 아니라 '금문교라는 개념' 자체에 반응한 거죠. 모델 안에 정말로 개념 단위의 부품이 있다는 강한 신호였습니다.

04특징은 '이름표'가 아니라 '손잡이'다

여기서 한 걸음 더 나갑니다. 어떤 특징에 '금문교'라는 이름을 붙이는 건 좋습니다. 그런데 그게 정말 모델의 생각을 움직이는 부품인지, 아니면 그냥 우연히 같이 켜지는 표시등인지 어떻게 알까요?

방법은 의외로 직접적입니다. 그 특징을 인위적으로 키워 보는 겁니다. 금문교 특징의 활성도를 손으로 쭉 끌어올린 채 모델과 대화하면 어떻게 될까요. 2024년 5월, 앤트로픽은 그렇게 조작한 '골든게이트 클로드'를 잠깐 공개했습니다. 결과는—날씨를 물어도, 위로를 부탁해도, 모델이 자꾸 금문교 이야기로 끌려갔습니다. 끝내는 자기 자신을 금문교라고 말하기까지 했죠.

이게 결정적입니다. 특징을 당기면 모델의 출력이 따라 끌려왔으니까요. 특징은 그저 붙여 둔 이름표가 아니라, 잡아당기면 생각이 끌려오는 손잡이였던 겁니다. 아래에서 그 '손잡이'를 직접 당겨 보세요.

05단어 하나가 아니라 '계획'을 본다

특징이 부품이라면, 그 부품들이 엮여 만드는 회로(circuit)도 따라가 볼 수 있습니다. 2025년 3월, 앤트로픽은 모델 내부에서 어떤 부품이 어떤 부품을 깨우는지를 그래프로 추적하는 방법을 공개했습니다. 이른바 AI 현미경이죠. 여기서 통념을 깨는 장면이 여럿 나옵니다.

가장 인상적인 건 시 짓기였습니다. 흔히 언어 모델은 '한 단어씩 앞만 보고 찍는다'고 알려져 있습니다. 그런데 추적해 보니, 모델은 시의 한 행을 쓰기 전에 끝에 올 운율(라임) 단어를 미리 정해 두고, 그 목표에 맞춰 앞 단어들을 거꾸로 깔고 있었습니다. 즉흥처럼 보였지만 사실은 미리 계획한 거죠.

또 하나. 모델에게 36 더하기 59를 시키면 정답(95)을 잘 냅니다. 그런데 속을 들여다보면 학교에서 배운 받아올림 방식이 아니라, 여러 어림셈을 동시에 굴려 답에 접근하는 독특한 길을 씁니다. 재미있는 건, "어떻게 풀었냐"고 물으면 모델은 교과서식 받아올림으로 풀었다고 설명한다는 점입니다. 실제로 한 계산과 본인이 말하는 풀이가 다른 거죠. 모델의 '설명'이 늘 모델의 '속'과 같지는 않다는—꽤 묵직한—발견입니다.

06그래서 — 우리는 아직 아주 조금 봤다

여기서 솔직해야 할 부분이 있습니다. 이 분야는 빠르게 흥미롭지만, 아직 시작 단계입니다.

희소 오토인코더가 뽑아낸 특징이 전부 깨끗한 것도 아니고, 같은 모델을 다른 방식으로 풀면 다른 특징 목록이 나오기도 합니다. "특징이 진짜 모델의 '자연스러운 부품'이냐, 아니면 우리가 보기 좋게 잘라낸 조각이냐"를 두고도 논쟁이 있습니다. 무엇보다, 지금 우리가 지도를 그린 영역은 거대한 모델 안의 아주 작은 일부일 뿐입니다. 도구가 '대화의 시작'을 열었을 뿐, 끝낸 게 아니에요.

한 가지 더 분명히 해 둡시다. 모델 안에 '계획'이나 '개념'이 있다고 해서, 그게 사람이 무언가를 이해하고 의도하는 것과 같다는 뜻은 아닙니다. 여기서 쓰는 '계획'은 어디까지나 내부 계산의 구조를 가리키는 말입니다. 이 둘을 섞으면 과장이 됩니다.

그럼에도 이 작업이 중요한 이유는 단순합니다. 우리가 점점 더 많은 결정을 AI에 맡기는데, 그 속을 못 보면 왜 그렇게 답했는지도, 언제 위험하게 빗나갈지도 알 수 없으니까요. 속을 읽을 수 있어야 거짓말하는 회로, 편향된 특징, 숨은 목표를 잡아낼 길도 열립니다. 안전의 문제예요.

그리고 교실의 문제이기도 합니다. 학생들은 이미 매일 이 블랙박스에 대고 질문을 던집니다. 그 답을 곧이곧대로 믿는 것과, "이 안엔 겹쳐 흐르는 신호와, 본인 설명과 다를 수 있는 계산이 들어 있다"고 아는 것은—같은 도구를 쥐어도—전혀 다른 사용자를 만듭니다. 저는 그 차이가 다음 세대의 진짜 'AI 리터러시'라고 봅니다.

다시 처음 질문으로 돌아갑니다. AI의 머릿속에선 무슨 일이 벌어질까요? 솔직한 답은 "이제 막 손전등을 켜 봤다"입니다. 그런데 그 희미한 불빛 아래에서도, 겹쳐 흐르던 신호가 또렷한 개념으로 갈라지고, 그 개념을 당기면 생각이 끌려오는 장면이 보이기 시작했습니다. 상자는 여전히 어둡습니다. 다만 이제, 그 안을 들여다보려는 사람들이 생겼다는 것—거기서부터 꽤 중요한 이야기가 시작됩니다.

이 글의 근거 — 1차 자료

1. Elhage, N., et al. (2022). Toy Models of Superposition. Transformer Circuits. — 다의성과 '중첩'에 대한 이론.
2. Bricken, T., et al. (2023). Towards Monosemanticity: Decomposing Language Models With Dictionary Learning. Transformer Circuits. — 희소 오토인코더로 깨끗한 특징을 추출한 첫 시도.
3. Templeton, A., et al. (2024). Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet. Transformer Circuits. — 실제 서비스급 모델에서 수백만~3,400만 특징 추출, 금문교 특징, 특징 조향.
4. Anthropic (2024). Golden Gate Claude. — 금문교 특징을 키워 공개한 한시적 데모.
5. Lindsey, J., et al. (2025). On the Biology of a Large Language Model; Tracing the Thoughts of a Large Language Model. — 회로 추적, 시의 라임 계획, 계산과 설명의 불일치.
6. Lieberum, T., et al. (2024). Gemma Scope. Google DeepMind. — 공개 모델 Gemma 2에 대한 희소 오토인코더 모음(해석가능성 연구의 저변 확대).