AI 데모가 프로덕션에서 계속 실패하는 이유

[01]데모는 제품이 아니다

데모는 한 가지 질문에 답합니다. 이게 되긴 되나? 제품은 다른 질문에 답해야 합니다. 매일, 모든 사용자에게, 모든 입력에 대해, 공급사 사람이 옆에 없어도 되나? 우리가 구조 요청을 받는 AI 프로젝트 대부분은 첫 번째 질문에 맞춰 최적화됐고, 두 번째 질문을 위해 다시 계획된 적이 없습니다.

가장 분명한 징후는 지루한 결과가 아니라 인상적인 결과로 성공을 재는 팀입니다. 멋진 문단을 쓰는 고객 서비스 에이전트는 데모입니다. 같은 환불 요청을 천 번 정확하게 처리하는 에이전트가 제품입니다.

[02]실제 데이터는 지저분하다

데모에서 문서는 깨끗한 PDF였습니다. 프로덕션에서는 스캔본, 화면을 찍은 사진, 세 가지 언어, 그리고 2019년에 누군가 내보낸 스프레드시트입니다. 모델은 바뀌지 않았고, 입력의 분포가 바뀌었습니다. 프로덕션급 시스템은 검증, 대체 경로, 사람에게 넘기는 경로로 그 간극을 둘러싸고 만들어집니다.

[03]사용자는 프롬프트를 읽지 않는다

시스템을 쓸 사람은 처리할 업무가 쌓인 운영 담당자입니다. 엉뚱한 것을 붙여 넣고, 안내를 건너뛰고, 첫 10분 안에 도구를 판단합니다. 프롬프트를 쓴 엔지니어가 아니라 그 사람을 위해 설계하세요.

• 첫날부터 모든 입력과 출력을 기록하고, 매주 읽으세요.
• 모든 자동 결정에 눈에 보이는 확신도와 되돌리기를 두세요.
• 시스템이 확신하지 못하는 것은 공용 메일함이 아니라 담당자 한 명에게 보내세요.
• 생성이 아니라 해결을 측정하세요.

[04]프로덕션급이란 실제로 무엇인가

보안, 안정성, 유지보수성, 문서화, 모니터링, 배포는 데모가 된 뒤에 덧붙이는 옵션이 아닙니다. 그것이 제품입니다. 우리가 떠난 뒤 귀사 팀이 운영할 수 없는 시스템이라면, 아직 끝난 것이 아닙니다.