Khả năng giải thích của AI: Lịch sử, Phương pháp và Ứng dụng trong xem xét các bản vẽ kiến trúc

Giới thiệu ── AI có thực sự "hiểu" được không?

Trong sự phát triển của AI hiện đại, sự bùng nổ của học sâu không phải do một yếu tố duy nhất. Nó được sinh ra từ một điểm chuyển tiếp lớn lao khi nhiều yếu tố - mô hình, dữ liệu và khả năng tính toán - trưởng thành đồng thời.

Vào những năm 1990, mạng nơ-ron tích chập được đề xuất bởi Yann LeCun và những người khác, hay LeNet, đã thể hiện hiệu suất cao trong lĩnh vực nhận dạng chữ số viết tay và nhận dạng tài liệu. Sau đó, các nhà nghiên cứu như Geoffrey Hinton tiếp tục phát triển nghiên cứu học sâu. Hơn nữa, với sự phát triển của tính toán song song trên GPU, các phép tính ma trận quy mô lớn đã trở thành khả thi. Ngoài ra, nhờ bộ dữ liệu hình ảnh quy mô lớn ImageNet do nhóm Fei-Fei Li thúc đẩy, AI đã có thể học từ một lượng lớn hình ảnh thực tế và so sánh cũng như cạnh tranh về hiệu suất. Sau đó, vào năm 2012, AlexNet của Alex Krizhevsky, Ilya Sutskever và Geoffrey Hinton đã đạt được thành tích lớn trong tác vụ nhận dạng hình ảnh ImageNet, và học sâu hiện đại bắt đầu được chú ý một cách chân thành.

Tuy nhiên, ở đây nảy sinh một câu hỏi quan trọng. Khi đưa hình ảnh vào mô hình, kết quả nhận dạng được xuất ra với độ chính xác cao.乍nhìn, AI dường như thực sự "đã trả lời đúng". Nhưng liệu chúng ta có thực sự hiểu tại sao AI đưa ra câu trả lời đó không?

Khi AI nhận dạng một con mèo, nó có thực sự hiểu mắt, tai, đường viền và cấu trúc cơ thể của mèo không? Hay nó chỉ đang ghi nhớ các mô hình thống kê trong dữ liệu huấn luyện? Khi đánh giá rủi ro trong hình ảnh y tế, AI có thực sự nhìn thấy tổn thương không? Hay nó có thể đang phản ứng với những thông tin không nên nhìn thấy, như hình mờ, thói quen của thiết bị quét, hoặc các dấu hiệu cụ thể của bệnh viện? Điều này tương tự như tình huống khi một người nhìn thấy cảnh một quả táo rơi từ cây mười nghìn lần và có thể dự đoán chính xác "táo sẽ rơi xuống", nhưng điều đó không có nghĩa là người đó thực sự hiểu lực hấp dẫn.

Trong các lĩnh vực rủi ro cao như lái xe tự động, chẩn đoán y tế, kiểm tra bản vẽ kiến trúc và quản lý rủi ro tài chính, vấn đề này đặc biệt quan trọng. Trong các lĩnh vực này, lỗi của AI không chỉ là trả lời sai một bài tập, mà còn ảnh hưởng trực tiếp đến an toàn, trách nhiệm, chi phí và niềm tin. Do đó, tính giải thích được không chỉ là "một công nghệ tiện lợi nếu có". Nó là một yếu tố quan trọng cần thiết để AI phát triển từ "một thứ có thể đưa ra kết quả" thành "một thứ mà con người có thể hiểu, xác minh, tin tưởng và quản lý".

Tóm tắt điều hành

Tính giải thích được của AI không đơn giản là "để AI nói tốt hơn". Đó là để con người có thể hiểu tại sao AI đưa ra quyết định đó, nó nhìn thấy cái gì, nó bỏ lỡ cái gì, không chắc chắn ở đâu, và làm thế nào để theo dõi khi có vấn đề xảy ra.

Lý do chủ đề này trở nên quan trọng gần đây không chỉ vì "các hộp đen không được yêu thích". Các quy định pháp lý, niềm tin của khách hàng, kiểm toán chất lượng, trách nhiệm an toàn và hợp tác đa bộ phận đều yêu cầu mạnh mẽ AI chuyển từ giai đoạn "chỉ đưa ra câu trả lời" sang giai đoạn "đưa ra câu trả lời cùng với lý do". AI Act của EU yêu cầu các hệ thống AI rủi ro cao phải cung cấp tài liệu kỹ thuật, nhật ký tự động, tính minh bạch và giám sát của con người. Quy định quản lý dịch vụ đề xuất thuật toán của Trung Quốc và phương pháp tạm thời về quản lý dịch vụ AI sinh mô đều yêu cầu công khai và giải thích các nguyên tắc cơ bản, mục đích và các cơ chế vận hành chính của thuật toán. NIST cũng xác định "tính bất khả kiến được" là một trong những nguyên nhân rủi ro quan trọng của AI.

Nhìn vào lịch sử nghiên cứu, AI ban đầu tập trung vào quy tắc, cây quyết định và hệ thống chuyên gia, các mô hình tương đối dễ hiểu. Tuy nhiên, với sự trỗi dậy của học sâu, độ chính xác tăng nhanh chóng nhưng tính dễ đọc của mô hình giảm đáng kể. Kết quả là vào cuối những năm 2010, các phương pháp như bản đồ nhiệt, LIME, SHAP, Grad-CAM và giải thích phản thực tế đã xuất hiện. Và vào thời đại của các mô hình ngôn ngữ lớn, nghiên cứu đã phát triển theo hai hướng: giải thích từ bên ngoài (trình bày bằng chứng, chứng cứ tìm kiếm, đầu ra có cấu trúc) và giải thích từ bên trong (diễn giải nơ-ron, tính năng thưa thớt, truy vết mạch, diễn giải cơ học).

Đối với tác nhân kiểm tra bản vẽ kiến trúc AI, tính giải thích được không chỉ là một giá trị bổ sung học thuật mà còn là một công cụ nâng cao năng suất cực kỳ thực tế. Kiểm toán kiến trúc là một lĩnh vực với nhiều quy tắc, phạm vi trách nhiệm rõ ràng và nhạy cảm với cả sai phát hiện và sai sót. Thay vì đặt đầu ra AI chỉ là điểm rủi ro, việc đặt nó thành một gói bằng chứng đa lớp gồm kết luận + vị trí trên bản vẽ + cơ sở điều khoản + nhật ký kiểm toán + điểm vào xác nhận của con người sẽ phù hợp hơn với vận hành thực tế.

Tại sao toàn công ty cần hiểu tính giải thích được của AI

Trước tiên, từ góc độ thực tế nhất, giải thích không phải là trang trí mà là quản lý rủi ro. Dự án XAI của DARPA đặt mục tiêu chính là "cho phép con người hiểu AI, tin tưởng một cách thích hợp và quản lý nó một cách hiệu quả". Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST) cũng chỉ ra rằng tính "bất khả kiến được" của AI làm cho đo lường rủi ro và quản lý rủi ro trở nên khó khăn. Nói cách khác, giải thích không phải "để trông đẹp" mà cần thiết để tích hợp vào quy trình mà tổ chức có thể thực sự quản lý AI và chịu trách nhiệm.

Từ góc độ tin tưởng, điều thực sự quan trọng không phải "làm cho con người tin AI hơn" mà là "cho phép con người tin vào AI một cách thích hợp". Nếu không có giải thích, mọi người dễ rơi vào hai cực đoan. Một cực là phụ thuộc quá mức vì AI trông thông minh. Cực kia là không sử dụng AI chút nào vì không hiểu nó hoạt động như thế nào. Trong tài liệu về nghiên cứu XAI và hợp tác giữa con người và AI, "appropriate reliance" - tức là tin tưởng khi nên tin tưởng và nghi ngờ khi nên nghi ngờ - thường được nhấn mạnh. Tuy nhiên, thêm giải thích không chắc chắn sẽ làm tốt hơn việc ra quyết định. Chính vì vậy, doanh nghiệp cần thiết kế giải thích không phải như "kỹ năng nói chuyện để tin vào AI" mà như một cơ chế để điều chỉnh niềm tin.

Từ góc độ an toàn, giải thích giúp tìm ra những "đường tắt lạ" mà mô hình đã học. Nhiều mô hình trong quá trình huấn luyện học các tín hiệu không liên quan đến tác vụ thực tế nhưng tình cờ có tương quan, như hình mờ, cột tiêu đề, tiếng ồn quét, khung trang, v.v. Trong bản vẽ kiến trúc, có nhiều yếu tố gây nhầm lẫn như sự khác biệt bố cục, chất lượng quét, dấu hiệu, đám mây sửa chữa, ghi chú tỷ lệ, kết hợp nhiều trang, nên vấn đề này đặc biệt quan trọng.

Thậm chí từ góc độ năng suất, tính giải thích được thường bị đánh giá thấp. Nếu kết quả kiểm tra bản vẽ AI có thể hiển thị đồng thời bản đồ nhiệt, điều khoản, cơ sở kích thước và "tại sao nó được xác định là áp dụng quy tắc này", nó không chỉ là một bộ phận phán xử mà còn là vật liệu đào tạo OJT cho tân binh. Từ góc độ kiểm toán và hợp tác đa bộ phận, nếu một kết luận có thể được mở rộng thành "vị trí áp dụng, kích thước trích xuất, điều khoản tương ứng, trường hợp tương tự trong quá khứ, phiên bản mô hình, đề xuất xác nhận của con người", cuộc thảo luận sẽ chuyển từ lo lắng trừu tượng sang bằng chứng cụ thể.

Lịch sử và quá trình phát triển

Có thể dễ dàng hiểu lịch sử tính giải thích được của AI là lịch sử phương tiện giải thích được tăng cường sau này khi mô hình trở nên mạnh mẽ hơn.

Thời kỳ	Điều gì đã xảy ra	Ý nghĩa đối với tính giải thích được
Thời kỳ sơ kỳ của các mô hình quy tắc và cây	Hệ thống chuyên gia, dựa trên quy tắc, cây quyết định, v.v. là trọng tâm. Chúng có cấu trúc if-then và bản thân mô hình là có thể đọc được	Giải thích chủ yếu là "đọc bản thân mô hình"
Hộp đen hóa bằng học sâu	Mạng thần kinh sâu phát triển lớn trong các tác vụ thị giác, và các nghiên cứu cố gắng hiểu CNN thông qua biểu đồ gradient nổi bật, trực quan hóa tính năng, v.v.	Giải thích chuyển từ "đọc quy tắc" sang "thực hiện kiểm tra sức khỏe bằng trực quan hóa cho hộp đen"
Hệ thống hóa của XAI	DARPA XAI đặt mục tiêu tạo ra các mô hình có tính giải thích được cao trong khi duy trì hiệu suất, và LIME, SHAP, Integrated Gradients, Grad-CAM, v.v. trở nên chủ đạo	Tính giải thích được trở thành một lĩnh vực nghiên cứu độc lập
Thời kỳ độ tin cậy và đánh giá	Việc "trông giống như giải thích" và "thực sự giải thích" là khác nhau được ý thức, và các đánh giá như kiểm tra tính hợp lý, infidelity, nhạy cảm được đề xuất	Bản thân giải thích cũng trở thành một đối tượng cần được kiểm tra
Thời kỳ của LLM và diễn giải cơ học	Với sự phát triển của Transformer và LLM, nghiên cứu theo dõi chú ý, nơ-ron, tính năng thưa thớt, mạch nội bộ tiến hành (Anthropic, OpenAI)	Giải thích mở rộng sang "điều gì đang xảy ra bên trong mô hình"

Nói tóm lại, AI ban đầu là máy móc trong suốt, học sâu là hộp đen hiệu suất cao, sau đó là giai đoạn gắn bảng điều khiển và máy ghi hình lái xe vào hộp đen, và hiện nay những người tiên phong nhất đang cố gắng mở phía trong động cơ. Hiểu được luồng này, hướng đi thực tế nhất trong triển khai doanh nghiệp cũng trở nên rõ ràng. Thay vì cố gắng nhìn thấu hoàn toàn các mô hình quy mô lớn ngay lập tức, trước tiên hãy thiết lập bảng điều khiển, chuỗi bằng chứng và giao diện xác nhận của con người, nó có khả năng liên kết trực tiếp hơn với giá trị kinh doanh.

Toàn cảnh phương pháp

Nói một cách chính xác, interpretability (tính có thể diễn giải) gần hơn với "bản thân mô hình dễ hiểu", trong khi explainability (tính giải thích được) gần hơn với "ngay cả khi mô hình phức tạp, nó vẫn có thể được giải thích cho con người thông qua các phương tiện bổ sung". Trong thực hành, thay vì bám víu vào thuật ngữ, điều quan trọng là làm rõ liệu bạn muốn làm cho bản thân mô hình trong suốt hay bạn muốn xác minh kết quả.

Tính có thể diễn giải trước

Tính có thể diễn giải trước, còn được gọi là "tính có thể diễn giải nội tại" hoặc "phương pháp hộp trắng", là ý tưởng chọn một cấu trúc dễ hiểu bởi con người ngay từ giai đoạn thiết kế mô hình. Cây quyết định, danh sách quy tắc và mô hình tuyến tính là những ví dụ tiêu biểu. Sau đó, các phương pháp khác như mô hình tương phương tổng quát, GA2M, Explainable Boosting Machine (EBM) được đề xuất để tăng hiệu suất trong khi vẫn giữ tính dễ đọc. Cây quyết định đặc biệt dễ giải thích, ví dụ như "nếu chiều rộng hiệu lực của cầu thang nhỏ hơn một giá trị nhất định và khu vực đó là tuyến đường thoát hiểm, hãy phát hiện rủi ro" - một quy tắc như vậy có thể được những người làm việc trong ngành kiến trúc hiểu một cách trực quan.

Một hướng quan trọng khác là học có ràng buộc. Có thể thêm các ràng buộc như tính thưa thớt, tính đơn điệu, tính ổn định trong quá trình huấn luyện, hoặc như mạng nơ-ron tự giải thích, các phương pháp có liên hệ "khái niệm, đóng góp, kết luận" được thể hiện rõ ràng trong cấu trúc mô hình. Trong trường hợp này, giải thích không phải là cái gì được bổ sung sau này mà trở thành một phần của bản thân quá trình học.

Tính giải thích được sau

Tính giải thích được sau là phương pháp sử dụng mô hình đã được huấn luyện như cũ và xây dựng các giáo dục giải thích xung quanh đầu ra. Giải thích cục bộ trả lời "tại sao bản vẽ này lại có kết quả này", trong khi giải thích toàn cục trả lời "mô hình này thường dựa trên cái gì để đưa ra phán xét nói chung".

Phương pháp	Ví dụ	Ưu điểm	Hạn chế	Giá trị trực tiếp trong kiểm tra bản vẽ kiến trúc
Cây quyết định/Danh sách quy tắc	Lưu đồ trong suốt	Dễ kiểm toán, phù hợp với giáo dục và thảo luận tuân thủ	Yếu trong biểu diễn các mô hình phức tạp	Kiểm tra quy tắc rõ ràng, kiểm tra điều khoản đơn giản thường xuyên
EBM/GA2M	Điểm chấm điểm từng phần có thể đọc được	Kết hợp hiệu suất và dễ hiểu trong một số tác vụ	Không phù hợp với tất cả các tác vụ phức tạp	Tính năng kiểm tra được cấu trúc và dạng bảng
LIME	Giáo viên nhỏ trong khu phố	Không phụ thuộc mô hình, thuận tiện cho giải thích kết quả đơn lẻ	Có thể trở nên không ổn định do lấy mẫu	Giải thích lỗi dương tính giả trong bản vẽ cụ thể
SHAP	Phân bổ đóng góp công bằng	Có thể xem cả cụm bộ và toàn bộ	Cần kinh nghiệm trong tính toán và diễn giải	Phân tích đóng góp tính năng, so sánh phiên bản
Giải thích phản thực tế	Đề xuất sửa chữa	Dễ liên kết đến hành động	Cần xem xét liệu có thực sự có thể thay đổi	Đề xuất "cách sửa để vượt qua"
Deep Unrolling	Phân hủy quy trình lặp lại của thợ thủ công thành quy trình cố định	Mạnh mẽ và nhanh chóng, dễ giải thích hơn hộp đen thuần túy	Không phù hợp với tất cả các tác vụ	Phục hồi hình ảnh, vector hóa bản vẽ, mô-đun con hệ thống đo lường

LIME giống như một "giáo viên nhỏ chỉ dạy cho vùng lân cận của bạn" – nó tạo ra nhiều mẫu tương tự gần một mẫu nhất định và huấn luyện một mô hình thay thế nhỏ có thể giải thích chỉ trong vùng lân cận đó. SHAP phân phối mức độ mà mỗi đặc trưng góp phần vào kết quả bằng cách sử dụng khái niệm giá trị Shapley từ lý thuyết trò chơi. Tuy nhiên, các giá trị đóng góp không phải là mối quan hệ nhân quả thực tế, vì vậy cần cẩn thận khi giải thích. Giải thích phản thực tế thể hiện "điều gì sẽ xảy ra nếu mọi thứ hơi khác", và trong kiểm tra bản vẽ, nó có thể giải thích dưới dạng gợi ý cải thiện, chẳng hạn như "nếu chiều rộng cửa này là 900mm thay vì 850mm, và mũi tên hướng sơ tán được bổ sung, thì mục này có khả năng cao sẽ vượt qua".

Khả năng giải thích trong các mô hình hình ảnh

Bản đồ nhiệt là khái niệm dễ giải thích nhất. Về bản chất, nó là "bản đồ mức độ ảnh hưởng", được hình dung như là đặt một màng nhiệt độ bán trong suốt lên hình ảnh gốc để cho thấy mô hình đang tập trung vào đâu. Saliency maps, Grad-CAM, Integrated Gradients, LRP và các phương pháp khác, mặc dù có phương pháp tính toán khác nhau, thường được trực quan hóa dưới dạng này.

Tuy nhiên, bản đồ nhiệt rất dễ giải thích nhưng cũng rất dễ bị hiểu sai. Bản đồ nhiệt không phải là cơ sở pháp luật, không phải là chứng minh nhân quả, và cũng không phải là bản ghi lại quá trình tư duy của mô hình. Nó chỉ là một dấu hiệu cho thấy khu vực nào có thể đã trở thành tín hiệu quan trọng trong quyết định lần này. Nếu mô hình nói "có sự cố liên quan đến sơ tán ở đây", bản đồ nhiệt nên tập trung vào phòng cầu thang, cửa, chú thích kích thước, mối quan hệ trục, v.v. Ngược lại, nếu ô tiêu đề, khung hình, hình mờ sáng rực rỡ, có khả năng mô hình đã học được một phím tắt mà nó không nên học.

Một góc nhìn cực kỳ quan trọng trong giải thích hình ảnh là các mẫu đối kháng. Chỉ cần thêm những nhiễu loạn nhỏ mà con người hầu như không thể nhìn thấy vào đầu vào, mô hình có thể sẽ phân loại sai với độ tin cậy cao. Điều này cho thấy mô hình có thể đang học "các đặc trưng không mạnh mẽ" – những đặc trưng không tự nhiên đối với con người nhưng hữu ích cho dự đoán. Vì quét bản vẽ, thu nhỏ, mở rộng, nén, che phủ cục bộ, dấu hiệu xuất bản và ký hiệu sửa đổi có thể trở thành những thay đổi đầu vào nhỏ nhưng gây tử vong đối với mô hình, điều quan trọng đối với AI bản vẽ là cân nhắc khả năng giải thích và tính mạnh mẽ cùng nhau.

Khả năng giải thích trong các mô hình ngôn ngữ lớn (LLM)

Cơ chế chú ý ở trung tâm của Transformer là một trong những cách tiếp cận tự nhiên nhất để suy nghĩ về khả năng giải thích của LLM. Các công cụ như BertViz trực quan hóa mối quan hệ chú ý giữa các lớp khác nhau, các đầu khác nhau, và các token khác nhau. Tuy nhiên, chú ý không phải là giải thích thực tế. Phân phối chú ý không phải lúc nào cũng trung thực phản ánh cơ sở mà mô hình thực sự phụ thuộc.

Một trong những "giải thích" gần gũi nhất trong thời đại mô hình ngôn ngữ lớn là Chain-of-Thought, tức là yêu cầu mô hình viết ra các bước. Tuy nhiên, các bước mà mô hình viết không nhất thiết là chuỗi lý do thực sự tác động bên trong mô hình. Do đó, trong triển khai doanh nghiệp, không nên dựa vào khả năng giải thích của LLM chỉ bằng "viết chi tiết hơn lý do". Một cách tiếp cận vững chắc hơn là kết nối khả năng giải thích với bằng chứng bên ngoài. RAG, đầu ra có cấu trúc, gọi công cụ, trích dẫn nguồn, số trang, số điều khoản, v.v. Giải thích tốt nhất của mô hình ngôn ngữ lớn trong kiểm tra bản vẽ kiến trúc không phải là độc thoại "tại sao tôi nghĩ như vậy" mà là chỉ "tiêu chuẩn nào được trích dẫn, tôi xem xét ở đâu trên bản vẽ, trích xuất giá trị nào, và nên xác nhận như thế nào".

Gần đây, biên giới của khả năng giải thích LLM đang tiến tới cơ học giải thích (mechanistic interpretability). Anthropic đã công bố nghiên cứu trích xuất các tính năng đơn nghĩa hơn từ hoạt động của Claude 3 Sonnet bằng cách sử dụng bộ mã hóa tự động thưa thớt. OpenAI cũng thực hiện nghiên cứu để tự động ghi nhãn các neuron trong GPT-2 bằng cách sử dụng GPT-4. Khả năng giải thích LLM đang chuyển từ giai đoạn "làm cho kết quả dễ đọc" sang giai đoạn "kiểm tra cơ chế, kiểm soát hành vi và định vị vấn đề".

Đánh giá, đánh đổi và giới hạn

Điều thực sự khó khăn với khả năng giải thích là định nghĩa giải thích tốt. Trong thực tế, việc chia đánh giá giải thích thành các khía cạnh sau được dễ hiểu hơn.

Trục đánh giá	Các câu hỏi thường gặp	Các phương pháp tiêu biểu
Sự trung thực	Liệu giải thích có phản ánh cơ sở mà mô hình thực sự phụ thuộc không	Infidelity、Sensitivity、Deletion/Insertion、Sanity Checks
Tính hữu ích	Khi con người xem, họ có thể hiểu, xác nhận và chỉnh sửa nhanh và chính xác không	Thí nghiệm người dùng, độ chính xác quyết định, thời gian xác nhận
Tính mạnh mẽ	Liệu giải thích có bị xáo trộn khi đầu vào thay đổi một chút không	Kiểm tra nhiễu, kiểm tra ngẫu nhiên, so sánh phiên bản
Tính hành động	Liệu có thể chuyển đổi giải thích thành đề xuất sửa đổi cụ thể không	Giải thích phản thực tế, sắp hàng quy tắc, thẻ bằng chứng
Sự tuân thủ	Liệu giải thích có thể được sử dụng để ghi nhật ký, xem lại và chịu trách nhiệm không	Tính toàn vẹn của nhật ký, theo dõi nguồn, quy trình xác nhận của con người

Người ta thường nói "độ chính xác và khả năng giải thích luôn phải đánh đổi", nhưng nói một cách chính xác, điều đó không phải lúc nào cũng đúng. Nghiên cứu về EBM và GA2M cho thấy rằng các mô hình có thể giải thích được có thể đạt hiệu suất rất cao trong một số tác vụ. Điều thực sự quan trọng là giải thích nào, cho người dùng nào, cho tác vụ nào sẽ hữu ích. Một hệ thống khả năng giải thích cho doanh nghiệp trưởng thành phải tuân thủ ít nhất ba nguyên tắc: "được trung thực (không gây hiểu lầm)", "hữu ích (hỗ trợ ra quyết định, xác nhận và cải thiện)" và "có thể truy cập được (có thể truy cập trách nhiệm và cơ sở)".

Đề xuất triển khai AI kiểm tra bản vẽ kiến trúc và viễn cảnh tương lai

Điều tôi muốn khuyến cáo nhất là không tạo ra "giải thích lóe sáng" ngay từ đầu, mà tạo ra chuỗi bằng chứng cho kiểm tra bản vẽ. Nói cách khác, đảm bảo mỗi đầu ra AI có ít nhất năm lớp sau đây.

1. Kết luận

2. Vị trí trên bản vẽ

3. Cơ sở tiêu chuẩn / điều khoản

4. Độ không chắc chắn

5. Nhật ký và đường dẫn xác nhận của con người

Ví dụ, AI trình bày trên sơ đồ mặt bằng "chiều rộng hữu hiệu của cửa sơ tán có thể không đủ". Giải thích hữu ích không chỉ là hiển thị một dòng. Nó phải đồng thời hiển thị vị trí cửa, chú thích kích thước mà mô hình chú ý, chiều rộng hữu hiệu được trích xuất thông qua OCR hoặc phân tích hình dạng, các điều khoản tiêu chuẩn liên quan, phiên bản điều khoản và trang, cũng như đề xuất sửa đổi phản thực tế rằng "nếu bạn điều chỉnh chiều rộng này lên trên một giá trị nhất định, có thể sẽ vượt qua". Một đầu ra như vậy là thẻ xác nhận cho những người kiểm tra, thẻ giải thích cho khách hàng, và dữ liệu huấn luyện cho đội ngũ sản phẩm và thuật toán.

Ngược lại, nếu mô hình nhầm lẫn giữa giải thích sửa đổi trong quá khứ của ô tiêu đề và mô tả quy chuẩn của trang hiện tại, hoặc nhầm lẫn dấu hiệu xuất bản, hình mờ, đám mây sửa đổi với các phần tử cấu trúc, hệ thống không nên im lặng và đưa ra kết luận mà nên phát hiện "bất thường trong giải thích". Giám sát "sự không phù hợp giữa giải thích và kết luận" – chẳng hạn như bản đồ nhiệt tập trung vào khu vực không thiết kế thay vì khu vực thiết kế, bằng chứng trực quan và bằng chứng điều khoản không phù hợp, hoặc độ tin cậy quá cao mặc dù thiếu kích thước quan trọng – có thể phát hiện các vấn đề sớm hơn so với giám sát độ chính xác đơn giản.

Trong vài năm tới, khả năng giải thích AI có thể sẽ phát triển theo bốn hướng cùng một lúc. Thứ nhất là AI có thể xác minh (bảo đảm chính thức cho các thuộc tính quan trọng), thứ hai là tiêu chuẩn hóa khả năng giải thích (thẻ mô hình, thẻ giải thích, thông số kỹ thuật nhật ký), thứ ba là tự động hóa khả năng giải thích (tự động tạo thẻ bằng chứng điều khoản, phát hiện tự động độ tin cậy cao không tự nhiên), và thứ tư là tương tác giữa khả năng giải thích và quyền riêng tư / an toàn (giải thích phân tầng).

Khuyến nghị rõ ràng nhất là định nghĩa khả năng giải thích không phải là phụ tùng của thuật toán mà là khả năng sản phẩm. Trong bối cảnh kiểm tra bản vẽ kiến trúc, những gì sẽ chiến thắng cuối cùng không phải là mô hình giỏi nhất trong việc xuất điểm, mà là hệ thống tốt nhất trong việc tổ chức kết luận, bằng chứng, tiêu chuẩn và xác nhận của con người. Theo nghĩa này, khả năng giải thích không phải là chi phí bổ sung mà là rào cản gia nhập sản phẩm.