AI의 설명 가능성: 역사·방법론·그리고 건축 도면 심사로의 구현

서론 ── AI는 정말 "이해"하고 있을까

현대 AI의 발전에서 심층학습의 폭발적 진보는 단 하나의 요인만으로 일어나지 않았습니다. 모델, 데이터, 컴퓨팅 파워라는 여러 요소가 동시에 성숙함으로써 큰 전환점이 탄생했습니다.

1990년대에는 Yann LeCun 등이 제안한 합성곱 신경망, 즉 LeNet이 필기 숫자 인식과 문서 인식 분야에서 높은 성능을 보였습니다. 그 후 Geoffrey Hinton 등의 연구자에 의해 심층학습 연구가 더욱 발전했습니다. 더불어 GPU를 통한 병렬 연산의 발전으로 대규모 행렬 연산을 현실적으로 실행할 수 있게 되었습니다. 또한 Fei-Fei Li 팀이 주도한 ImageNet이라는 대규모 이미지 데이터셋으로 AI는 대량의 실제 이미지를 사용해 학습하고 성능을 비교·경쟁할 수 있게 되었습니다. 그리고 2012년, Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton에 의한 AlexNet이 ImageNet의 이미지 인식 작업에서 큰 성과를 거두며 현대 심층학습이 본격적으로 주목받기 시작했습니다.

하지만 여기서 하나의 중요한 질문이 생깁니다. 모델에 이미지를 입력하면 높은 정확도로 인식 결과가 출력됩니다. 겉보기에는 AI가 실제로 "정답을 맞추고" 있는 것처럼 보입니다. 그러나 우리는 정말로 AI가 왜 그 답을 도출했는지를 이해할 수 있을까요?

AI가 고양이를 인식했을 때, 그것이 정말로 고양이의 눈, 귀, 윤곽, 신체 구조를 이해하고 있는 걸까요? 아니면 학습 데이터 속에 있는 통계적 패턴을 단지 기억하고 있는 걸까요? 의료 이미지에서 위험을 판정할 때, AI가 정말로 병변을 보고 있는 걸까요? 아니면 이미지 속의 워터마크, 촬영 장비의 특성, 병원별 표기 등 본래 봐야 할 정보가 아닌 것에 반응하고 있는 건 아닐까요? 이는 어떤 사람이 사과가 나무에서 떨어지는 장면을 만 번 목격한 후 "사과는 아래로 떨어진다"고 올바르게 예측할 수 있게 되었다고 해서, 그 사람이 중력을 정말로 이해하고 있다고 할 수 없다는 상황과 유사합니다.

자율주행, 의료 진단, 건축 도면 심사, 금융 위험 관리 같은 고위험 영역에서 이 문제는 특히 중요합니다. 이들 분야에서 AI의 오류는 단순히 연습 문제를 하나 틀리는 것이 아니라 안전성, 책임성, 비용, 신뢰에 직접적으로 영향을 미치기 때문입니다. 따라서 설명가능성은 단순한 "있으면 좋은 기술"이 아닙니다. AI가 "결과를 낼 수 있는 존재"에서 "인간이 이해하고, 검증하고, 신뢰하고, 관리할 수 있는 존재"로 진화하기 위해 필요한 중요한 요소입니다.

요약

AI의 설명가능성이란 간단히 말해 AI에게 "더 잘 말하게 하는 것"이 아닙니다. 인간이 AI가 왜 그런 판단을 내렸는지, 무엇을 보았고, 무엇을 놓쳤으며, 어디에 불확실성이 있고, 문제가 발생했을 때 어떻게 추적할 수 있는지를 이해할 수 있도록 하는 것입니다.

최근 이 주제가 중요해지고 있는 이유는 단순히 "블랙박스가 싫어져서"가 아닙니다. 법규제, 고객의 신뢰, 품질 감사, 안전 책임, 부서 간 협업 등이 AI에 대해 "결과만 내놓는" 단계에서 "결과와 근거를 함께 내놓는" 단계로의 전환을 강력하게 요구하고 있기 때문입니다. EU의 AI Act는 고위험 AI 시스템에 대해 기술 문서, 자동 로그, 투명성, 인간에 의한 감시를 요구하고 있습니다. 중국의 알고리즘 추천 서비스 관리 규정 및 생성 AI 서비스 관리 임시 규정도 알고리즘의 기본 원리, 목적, 주요 운영 메커니즘의 공개 및 설명을 요구하고 있습니다. NIST도 AI 위험의 주요 원인 중 하나로 "불가시성·포착 곤란성"을 지적하고 있습니다.

연구 역사를 보면, 초기 AI는 규칙, 결정나무, 전문가 시스템이 중심이었고, 모델 자체가 비교적 이해하기 쉬운 것이었습니다. 하지만 심층학습의 등장으로 정확도는 급속도로 향상된 반면, 모델의 가독성은 크게 저하되었습니다. 결과적으로 2010년대 후반에는 히트맵, LIME, SHAP, Grad-CAM, 반사실적 설명 등 "블랙박스에 설명서를 붙이는" 방법이 등장했습니다. 그리고 대규모 언어 모델의 시대가 오면서 연구는 외부에서 설명하는 방향(근거 제시, 검색 증거, 구조화된 출력)과 내부에서 설명하는 방향(뉴런 해석, 희소 특징, 회로 추적, 기계적 해석)의 두 가지로 나뉘었습니다.

건축 도면 심사 AI 에이전트에게 설명가능성은 단순한 학술적 부가가치가 아니라 매우 실용적인 생산성 향상 도구입니다. 건축 심사는 규칙이 많고, 책임 범위가 명확하며, 오탐과 미탐 모두에 민감한 영역입니다. AI의 출력을 단순한 위험 점수가 아니라 결론 + 도면상의 위치 + 조문 근거 + 감사 로그 + 인간에 의한 확인 입구라는 다층적 증거 패키지로 만드는 것이 실제 운영에 더 적합합니다.

회사 전체에서 AI 설명가능성을 이해해야 하는 이유

먼저 가장 현실적인 점부터 말하자면, 설명은 장식이 아니라 위험 관리입니다. DARPA의 XAI 프로젝트는 "인간이 AI를 이해하고, 적절히 신뢰하며, 효과적으로 관리할 수 있도록 하는 것"을 주요 목표로 삼았습니다. 미국 국립표준기술연구소(NIST)도 AI의 "포착 곤란성"이 위험 측정과 위험 관리를 어렵게 만든다고 지적하고 있습니다. 즉, 설명은 "보기 좋으려고" 하는 것이 아니라 조직이 AI를 정말로 관리 가능하고 책임 있게 운영할 수 있는 프로세스에 포함되기 위해 필요한 것입니다.

신뢰라는 관점에서는 정말 중요한 것이 "AI를 더 믿게 하는 것"이 아니라 "AI를 적절히 믿을 수 있도록 하는 것"입니다. 설명이 없으면 사람은 두 가지 극단으로 흐르기 쉬워집니다. 하나는 AI가 똑똑해 보여서 과도하게 의존하는 것이고, 다른 하나는 AI의 작동 방식을 모르기 때문에 전혀 사용하지 않는 것입니다. XAI 연구나 인간과 AI의 협업에 관한 문헌에서는 종종 "적절한 의존(appropriate reliance)", 즉 믿어야 할 상황에서는 믿고 의심해야 할 상황에서는 의심할 수 있는 상태를 중시합니다. 다만 설명을 추가한다고 해서 반드시 의사결정이 나아지는 것은 아닙니다. 따라서 기업은 설명을 "AI를 믿게 하기 위한 화술"이 아니라 신뢰를 조절하기 위한 메커니즘으로 설계해야 합니다.

안전성 관점에서 설명은 모델이 무엇을 "이상한 지름길"로 학습했는지 찾는 데 도움이 됩니다. 많은 모델은 훈련 중에 워터마크, 제목 란, 스캔 노이즈, 페이지 테두리 등 원래의 작업과는 무관하지만 우연히 상관관계가 있는 신호를 학습하게 됩니다. 건축 도면에서는 레이아웃 차이, 스캔 품질, 인장, 수정 표시, 축척 주석, 여러 페이지의 결합 등 모델에게 혼란을 주는 요소가 많이 존재하므로 이 문제가 특히 중요합니다.

생산성 관점에서도 설명가능성은 과소평가되는 경향이 있습니다. AI 도면 심사 결과가 히트맵, 조문, 치수 근거, "왜 이 규칙에 해당한다고 판단했는가"를 동시에 보여줄 수 있다면, 그것은 단순한 판정기가 아니라 신입 직원을 위한 OJT 교재가 됩니다. 감사나 부서 간 협업 관점에서 하나의 결론이 "해당 위치, 추출 치수, 대응 조문, 유사 과거 사례, 모델 버전, 인간에 의한 확인 제안"까지 전개될 수 있다면 논의는 추상적인 불안에서 구체적인 증거로 옮겨집니다.

역사와 발전의 흐름

AI 설명가능성의 역사는 모델이 강력해질수록 설명 수단이 나중에 보강되어온 역사로 보면 이해하기 쉽습니다.

시기	무엇이 일어났는가	설명가능성에 대한 의미
초기의 규칙·나무 모델 시대	전문가 시스템, 규칙 기반, 결정나무 등이 중심이었고, if-then 구조를 가지고 있어 모델 자체를 읽을 수 있었습니다.	설명이란 주로 "모델 자체를 읽는" 것이었습니다.
심층학습에 의한 블랙박스화	깊은 신경망이 시각 작업에서 크게 발전했고, 그래디언트 기반 시각화, 특징 가시화 등으로 CNN을 이해하려는 연구가 진행되었습니다.	설명은 "규칙을 읽는 것"에서 "블랙박스에 대한 가시화 건강진단을 수행하는" 방향으로 변했습니다.
XAI의 체계화	DARPA XAI가 높은 성능을 유지하면서 설명가능한 모델을 만드는 것을 목표로 하였고, LIME, SHAP, Integrated Gradients, Grad-CAM 등이 주류화되었습니다.	설명가능성은 독립적인 연구 분야가 되었습니다.
충실성과 평가의 시대	"설명처럼 보이는 것"과 "정말로 설명하는 것"은 다르다는 점이 인식되었고, sanity check, infidelity, sensitivity 등의 평가가 제안되었습니다.	설명 자체도 검사되어야 할 대상이 되었습니다.
LLM과 기계적 해석의 시대	Transformer와 LLM의 발전으로 주의, 뉴런, 희소 특징, 내부 회로를 추적하는 연구가 진행되었습니다(Anthropic, OpenAI).	설명은 "모델 내부에서 무엇이 일어나고 있는가"로 확장되었습니다.

한 마디로 말하면, 초기의 AI는 투명한 기계이고, 심층학습은 고성능 블랙박스이며, 그 후는 블랙박스에 계기판과 주행 기록 장치를 붙이는 단계이고, 오늘날의 최전선은 엔진의 내부까지 열어보려는 단계입니다. 이 흐름을 이해하면 기업 구현에서 가장 현실적인 방침도 보입니다. 급히 대규모 모델을 완전히 투시하려고 하기보다는, 먼저 계기판, 증거 체인, 인간에 의한 확인 인터페이스를 정리하는 것이 비즈니스 가치에 더 직결되기 쉽습니다.

방법의 전체상

엄밀히 말하면, interpretability(해석가능성)는 "모델 자체가 이해하기 쉬운 것"에 가깝고, explainability(설명가능성)는 "모델 자체가 복잡해도 추가 수단으로 인간에게 설명할 수 있는 것"에 가까운 개념입니다. 실무에서는 용어에 너무 집착하기보다 모델 본체를 투명하게 하고 싶은 것인지, 아니면 결과를 확인 가능하게 하고 싶은 것인지를 명확히 하는 것이 중요합니다.

사전적 해석가능성

사전적 해석가능성은 "내재적 해석가능성" 또는 "화이트박스 방법"이라고도 불리며, 모델을 설계하는 단계부터 인간이 이해하기 쉬운 구조를 선택하는 사고방식입니다. 결정나무, 규칙 리스트, 선형 모델은 대표적인 예입니다. 그 후 성능을 높이면서도 가독성을 유지하는 방법으로 일반화 가법 모델, GA2M, 설명 가능한 부스팅 머신(EBM) 등도 제안되었습니다. 결정나무는 특히 설명하기 쉬우며, "계단의 유효 폭이 일정 값 미만이고 동시에 그 구역이 피난 경로인 경우 위험을 검출한다"는 식의 규칙은 건축 실무자가 직관적으로 이해할 수 있습니다.

또 다른 중요한 방향은 제약이 있는 학습입니다. 훈련 시 희소성, 단조성, 안정성 등의 제약을 넣거나, 자기 설명형 신경망처럼 "개념·기여·결론"의 관계를 모델 구조 내에 명시적으로 가지는 방법이 있습니다. 이 경우 설명은 사후에 덧붙여지는 것이 아니라 학습 자체의 일부가 됩니다.

사후적 설명가능성

사후적 설명가능성은 이미 훈련된 모델을 그대로 사용하고, 출력 주변에 설명의 발판을 만드는 방법입니다. 국소 설명은 "이 도면이 왜 이 결과가 되었는가"에 답하고, 전체 설명은 "이 모델은 일반적으로 무엇을 단서로 판단하는가"에 답합니다.

방법	예시	장점	한계	건축 도면 심사에서의 직접적 가치
결정나무/규칙 리스트	투명한 플로우차트	감사하기 쉽고, 교육 및 합규 논의에 적합	복잡한 패턴 표현에는 약함	명시적 규칙 심사, 높은 빈도의 단순 조문 체크
EBM/GA2M	읽을 수 있는 부분 항목 스코어링	일부 작업에서 성능과 이해 용이성을 동시에 달성	모든 복잡한 작업에는 적합하지 않음	표 형식·구조화된 심사 특징
LIME	근처의 작은 선생님	모델 독립적, 단일 결과 설명에 편리	샘플링으로 인해 불안정할 수 있음	특정 도면의 오탐 설명
SHAP	공정한 기여도 배분	국소·전체를 모두 볼 수 있음	계산 및 해석에 경험이 필요	특징량 기여도 분석, 버전 비교
반사실적	수정 제안서	행동으로 연결되기 쉬움	실제로 변경 가능한지 고려 필요	"어떻게 고쳐야 통과하는가"의 제안
Deep Unrolling	장인의 반복 절차를 고정 공정으로 분해	강력하고 빠르며, 순수 블랙박스보다 설명하기 쉬움	모든 작업에 적합한 것은 아님	이미지 복원, 도면의 벡터화, 측정계 서브모듈

LIME는 특정 샘플 근처에서 많은 유사 샘플을 생성하고, 그 근처 영역만 설명할 수 있는 작은 대리 모델을 훈련하는, "그 샘플의 이웃 영역만 가르쳐주는 작은 선생님" 같은 존재입니다. SHAP는 각 특성이 결과에 얼마나 기여했는지를 게임 이론의 Shapley value 개념으로 배분합니다. 다만 기여값은 인과관계 자체가 아니므로 해석할 때 주의가 필요합니다. 반사실적 설명은 "만약 조금 달랐다면 어떻게 되었을까"를 보여주는 것으로, 도면 검토에서는 "이 문 너비가 850mm가 아니라 900mm이고, 피난 방향 화살표가 보완되어 있다면 이 항목이 통과할 가능성이 높다"는 식으로 개선 제안에 가까운 형태로 설명할 수 있습니다.

이미지 모델에서의 설명가능성

히트맵은 가장 설명하기 쉬운 개념입니다. 본질적으로는 "영향도 지도"이며, 원본 이미지 위에 반투명한 온도 필름을 겹쳐서 모델이 어디에 주목했는지를 보여주는 이미지입니다. 주목도, Grad-CAM, Integrated Gradients, LRP 등은 계산 방법은 다르지만 종종 이러한 형식으로 시각화됩니다.

다만 히트맵은 매우 설명하기 쉬운 반면, 매우 오해하기도 쉬운 것입니다. 히트맵은 법적 근거도, 인과 증명도, 모델의 사고 과정을 그대로 녹화한 것도 아닙니다. 어디까지나 이번 판단에서 어느 영역이 큰 단서가 되었을 가능성이 있는지를 보여주는 흔적입니다. 만약 모델이 "여기에 피난 관련 문제가 있다"고 말한다면, 히트맵은 계단실, 문, 치수 주기, 축선 관계 등에 집중하고 있어야 합니다. 반대로 제목 칸, 도면 틀, 워터마크 등이 강하게 빛나고 있다면 모델이 원래 배워야 하지 않는 지름길을 배우고 있을 가능성이 있습니다.

이미지 설명에서 매우 중요한 관점이 적대적 샘플입니다. 인간의 눈에는 거의 보이지 않는 정도의 작은 변동을 입력에 더하는 것만으로도 모델이 높은 확신을 가지고 오분류할 수 있습니다. 이는 모델이 인간에게는 자연스럽지 않지만 예측에는 도움이 되는 "비강건 특성"을 배우고 있을 가능성을 나타냅니다. 도면의 스캔, 축소 확대, 압축, 부분적 가림, 인장, 수정 기호 등이 모델에게 작지만 치명적인 입력 변화가 될 수 있으므로, 도면 AI에서는 설명가능성과 강건성을 함께 고려하는 것이 중요합니다.

대규모 언어 모델(LLM)에서의 설명가능성

Transformer의 중심에 있는 어텐션 메커니즘은 LLM의 설명가능성을 생각할 때 가장 자연스러운 진입점 중 하나입니다. BertViz 같은 도구는 서로 다른 층, 서로 다른 헤드, 서로 다른 토큰 간의 어텐션 관계를 시각화합니다. 다만, 어텐션은 설명 자체가 아닙니다. 어텐션 분포는 모델이 실제로 의존하는 근거를 항상 충실하게 보여주지는 못합니다.

대규모 언어 모델 시대에 가장 친숙한 "설명" 중 하나가 Chain-of-Thought, 즉 모델에 절차를 적게 하는 것입니다. 그러나 모델이 작성한 절차가 반드시 모델 내부에서 실제로 작용한 추론의 연쇄와 일치한다는 보장은 없습니다. 따라서 기업 구현에서는 LLM의 설명가능성을 "더 자세한 이유를 적게 하는 것"만에 의존해서는 안 됩니다. 더 견실한 방법은 설명가능성을 외부 증거와 연결하는 것입니다. RAG, 구조화된 출력, 도구 호출, 출처 인용, 페이지 번호, 조항 번호 등입니다. 도면 검토에서 대규모 언어 모델의 최선의 설명은 "왜 그렇게 생각했는가"라는 독백이 아니라, "어느 규범을 인용했고, 도면의 어디를 보고, 어느 수치를 추출했으며, 어떻게 확인해야 하는가"를 보여주는 것입니다.

최근 LLM의 설명가능성 최전선은 기계적 해석(mechanistic interpretability)으로 나아가고 있습니다. Anthropic은 Claude 3 Sonnet의 활성화에서 희소 자동 부호화기를 사용하여 더 명확한 특성을 추출하는 연구를 발표했습니다. OpenAI도 GPT-4를 사용하여 GPT-2의 뉴런에 자동으로 설명을 붙이는 연구를 수행했습니다. LLM 설명가능성은 "결과를 읽을 수 있게 하는" 단계에서 "메커니즘을 조사하고, 행동을 제어하며, 문제를 파악하는" 단계로 진행 중입니다.

평가, 트레이드오프, 한계

설명가능성에서 정말 어려운 점은 무엇을 좋은 설명이라고 부를 것인지입니다. 실무적으로는 설명의 평가를 다음과 같은 관점으로 나누면 이해하기 쉬워집니다.

평가 축	자주 묻는 질문	대표적인 방법
충실성	설명이 모델이 실제로 의존한 근거를 반영하는가	Infidelity、Sensitivity、Deletion/Insertion、Sanity Checks
유용성	사람이 봤을 때 이해·확인·수정이 빠르고 정확해지는가	사용자 실험, 의사결정 정확도, 확인 시간
강건성	입력이 조금 바뀔 때 설명이 흔들리지 않는가	변동 테스트, 무작위화 테스트, 버전 비교
행동 가능성	설명을 구체적인 수정 제안으로 변환할 수 있는가	반사실적 설명, 규칙 정합, 증거 카드
규정 준수성	설명을 기록, 재검토, 설명 책임에 사용할 수 있는가	로그 완전성, 출처 추적, 인간의 확인 흐름

"정확도와 설명가능성은 반드시 트레이드오프가 된다"고 자주 말하지만, 엄밀히 말하면 항상 그런 것은 아닙니다. EBM과 GA2M 연구는 일부 과제에서 설명 가능한 모델이 매우 높은 성능을 낼 수 있음을 보여주었습니다. 현실적으로 중요한 것은 어느 설명이, 어느 사용자에게, 어느 과제에서 도움이 되는가입니다. 성숙한 업무용 설명가능성 시스템은 최소한 "충실할 것(오해를 일으키지 않을 것)" "유용할 것(판단·확인·개선에 도움이 될 것)" "추적 가능할 것(책임과 근거를 따라갈 수 있을 것)"이라는 세 가지 원칙을 지켜야 합니다.

건축 도면 검토 AI에 대한 구현 제안과 향후 전망

가장 권장하고 싶은 것은 처음부터 "화려한 설명"을 만드는 것이 아니라 도면 검토의 증거 체인을 만드는 것입니다. 즉, 매번의 AI 출력이 최소한 다음 다섯 층을 가지도록 하는 것입니다.

1. 결론

2. 도면 위의 위치

3. 규범·조항 근거

4. 불확실성

5. 로그와 인간의 확인 경로

예를 들어 AI가 평면도에서 "피난 문의 유효 너비가 부족할 가능성이 있습니다"라고 제시했다고 합시다. 유용한 설명은 단순히 한 문장만 표시하는 것으로는 부족합니다. 문의 위치, 모델이 주목한 치수 주기, OCR 또는 도형 분석으로 추출한 유효 너비, 해당 규범 조항, 조항의 버전과 페이지, 더 나아가 "이 너비를 일정 값 이상으로 조정하면 통과할 가능성이 있습니다"는 반사실적 수정 제안을 동시에 보여줘야 합니다. 이러한 출력은 검토자에게는 확인 카드, 고객에게는 설명 카드, 제품 및 알고리즘 팀에게는 학습 데이터가 됩니다.

반대로 모델이 제목 칸의 과거 수정 설명을 현재 페이지의 규범적 기술과 오인하거나, 인장, 투명도, 수정 구름을 구조 부재로 오인하는 경우, 시스템은 조용히 결론을 내리지 말고 "설명 이상"을 감지해야 합니다. 히트맵이 설계 영역이 아니라 비설계 영역에 집중하고 있다, 시각적 증거와 조항 증거가 일치하지 않는다, 중요 치수가 빠져 있는데 신뢰도가 너무 높다는 식의 "설명과 결론의 불일치"를 감시하는 것은 단순한 정확도 감시보다 더 빨리 문제를 발견할 수 있습니다.

앞으로 몇 년, AI 설명가능성은 아마도 네 가지 방향으로 동시에 발전할 것입니다. 첫째는 검증 가능한 AI(중요한 성질에 대한 형식적 보장), 둘째는 설명가능성의 표준화(모델 카드, 설명 카드, 로그 사양), 셋째는 설명가능성의 자동화(조항 증거 카드 자동 생성, 부자연스러운 높은 신뢰도 자동 감지), 넷째는 설명가능성과 프라이버시·안전성의 상호작용(계층화된 설명)입니다.

가장 명확한 제언은 설명가능성을 알고리즘의 부속품이 아니라 제품 능력으로 정의하는 것입니다. 건축 도면 검토라는 상황에서 최종적으로 승리하는 것은 가장 점수를 잘 내는 모델이 아니라 결론, 증거, 규범, 인간의 확인을 가장 잘 정리할 수 있는 시스템입니다. 이 의미에서 설명가능성은 추가 비용이 아니라 제품의 진입 장벽이 됩니다.