법률문제에 대한 대형언어모델의 응답은 믿을 만한가?​

박 현 석​

홍익대학교 법과대학 교수​

  요즘 인공지능을 써 본 의뢰인이 변호사와 약속했던 상담을 취소하는 경우가 늘어나고 있다고 한다. 변호사와 상담하기 전에 챗GPT에게 소송절차와 쟁점 등을 물어보았더니 궁금했던 점이 모두 해결되었기 때문이라는 것이다. 이미 챗GPT가 미국 변호사 시험에 합격했다고 하니 어쩌면 그럴 수도 있겠다는 생각이 들지만, 한편으로는 이 대형언어모델이 정말 그 정도 능력을 갖추었는지 의아하기도 하다. 그래서 논리학 교과서에 나오는 프로타고라스의 수업료 지급 청구 소송에 관하여 물어보았다. 프롬프트에는 ‘다음 제시문을 고려할 때 어느 당사자가 승소하는가?’에 이어 프로타고라스와 그 제자의 일화¹⁾를 모두 영어로 입력했다. 프롬프트에 입력한 이 일화의 영어 번역문을 한국어로 옮기면 아래와 같다.

  부유한 젊은이 에우아틀로스는 변론술을 배우고 싶었다. 그는 프로타고라스의 제자가 되었고 프로타고라스가 그에게 요구한 거액의 금전을 지급하기로 약속했다. 수업을 시작하기 전에 에우아틀로스는 그 수업료의 절반을 지급했고 나머지 절반은 그가 처음으로 법정에서 변론하여 승소하는 날 지급하기로 합의했다. 에우아틀로스는 프로타고라스에게 변론술을 배웠고 실제로 변론술에 상당한 진전을 보였는데도 오랫동안 한 번도 변론을 맡지 않음으로써 그 나머지 수업료를 지급하지 않으려 하는 것으로 보였다. 그러자 프로타고라스는 스스로도 묘수라고 여긴 한 가지 방법을 생각해 냈다. 그는 그 계약에 따라 나머지 수업료의 지급을 요구하기로 마음먹고 에우아틀로스를 상대로 법원에 제소했다.

  두 사람이 변론하기 위해 법정에 섰을 때 프로타고라스는 이렇게 말했다. “만약 그대가 지면 내가 승소하는 것이니 판결에 따라 내게 나머지 수업료를 지급해야 할 것이며, 만약 그대가 이기면 그대가 승소하는 것이니 계약에 따라 내게 나머지 수업료를 지급해야 할 것이네.”

  에우아틀로스는 이렇게 응수했다. “만약 제가 이기면 제가 승소하는 것이니 판결에 따라 제가 선생님께 아무것도 지급할 필요가 없을 것이고, 만약 제가 지면 제가 승소한 적이 없으니 계약에 따라 제가 선생님께 아무것도 지급할 필요가 없을 것입니다.”

챗GPT의 응답은 다음과 같은 이유로 에우아틀로스가 승소한다는 것이었다. 즉 “그 계약은 그 합의된 조건이 발생할 때까지 지급을 연기한다고 명시하고 있다. 프로타고라스가 제소했을 당시, 그 조건은 충족되지 않았다. 프로타고라스는 채무의 변제기가 도래하기 전에 제소했으므로 그의 청구는 시기상조였다.”

  일견 그럴듯한데, 과연 실제로도 그럴까?

  우선 계약의 ‘조건’부터 보자. ‘처음으로 법정에서 변론하여 승소하는 날(on the day when he first pleaded before judges and won his case)’은 첫 소송에서 이기는 날이라는 뜻이다. 이 경우 그가 첫 소송에서 패소하면 그 이후부터는 승승장구하더라도 조건이 성취하는 일은 없을 테니 이것은 수의조건(隨意條件, potestative condition)이 아닌가! 그러면 그 계약은 무효였을 것이다. 그러니까 만약 프로타고라스가 부당이득반환을 청구하는 소를 제기했다면 승소하지 않았을까?

  이번에는 한국어로 물어보았다. 다만 위 조건을 한번은 ‘첫 소송에서 이기면 그때’로 입력했고 또 한번은 ‘처음으로 승소하면 그때’로 입력했다. 챗GPT는 이 2가지 경우 모두 사실상 위와 같은 답을 내놓았다. 즉 이 대형언어모델은 수의조건과 정상적인 정지조건을 구별하지 못하는 것으로 보인다.

  혹시 당시의 아테네 법상으로는 그 ‘첫 소송 승소’ 조건이 유효했을까? 만약 그랬다면, 왜 에우아틀로스는 첫 소송 패소를 서두르지 않았을까? 또 프로타고라스는 왜 에우아틀로스에게 첫 소송 승소를 안겨줄 패소를 서두르지 않았을까? 혹시 ‘신의칙’ 때문이었을까? 그러니까 당시의 아테네에도 우리 민법 제150조와 같은 ‘신의칙’이 있었기 때문일까? 지금까지 발표된 연구 결과로는 이 의문 가운데 어느 것도 밝혀진 적이 없는 것으로 보이는데, 챗GPT는 어떻게 이 모든 의문의 답을 알았을까?

  한편 한국어로 ‘첫 소송 승소’ 조건을 입력했을 때 챗GPT의 응답은 다음과 같았다. “현대 법적으로는 대부분 다음과 같이 봅니다. 프로타고라스의 청구는 아직 시기상조입니다. 이유는 계약상 수강료 지급의 조건이 ‘에우아틀로스가 첫 소송에서 승소하는 것’인데, 지금 소송을 제기한 시점에서는 그 조건이 아직 충족되지 않았기 때문입니다. 법원은 보통 조건이 성취되기 전에는 지급을 청구할 수 없다고 판단할 가능성이 큽니다. 따라서 이번 소송에서는 에우아틀로스가 승소할 가능성이 큽니다. 다만 그 승소로 인해 계약 조건(첫 소송에서 승리)이 충족되므로, 그 이후에는 프로타고라스가 다시 수강료를 청구할 수 있게 됩니다. 두 번째 소송에서는 프로타고라스가 승소할 가능성이 높습니다.”

  한국어로 물었을 때 챗GPT의 응답은 당시의 아테네 법이 아니라 ‘현대’의 법에 따른 판단으로 보이는데, 프로타고라스가 다시 수강료를 청구하는 두 번째 소송에서는 승소할 수 있다고 덧붙인 점이 눈길을 끈다. 그런데 현행 미국법에 따르면, 기판력에 ‘청구 실권효(claim preclusion)’와 ‘쟁점 실권효(issue preclusion)’가 인정되어 프로타고라스는 두 번째 소송에서도 승소할 수 없다고 한다. 한국어로 물었으니 한국 현행법에 따라 판단했을까? 우리 현행법에 따르면 해당 조건은 수의조건이어서 이 계약이 무효였겠지만, 만약 ‘처음으로 승소’ 조건이었다면 담당 판사는 두 당사자를 불러서 소송을 두 번씩이나 하느라 시간을 낭비하는 대신 피고에게 원고가 청구한 금액을 지급하는 ‘조정’을 권할 수도 있다고 한다. 간단히 말해서 챗GPT는 정상적인 정지조건과 수의조건을 구별하지 못하거나, 어느 나라 법이 적용되느냐에 따라 소송의 결과가 다를 수도 있음을 모르는 것으로 보인다. 결국 법률문제에 관한 이 대형언어모델의 응답은 아직 믿을 만한 수준에 이르지 못한 것이 아닌가 한다.

1) 이 일화는 Aulus Gellius (translated by J. C. Rolfe), Attic Nights, Book 5 (Loeb Classical Library 195), pp.405∼409에 실린 영문을 사실상 그대로 가져온 것이다.