AI의 행동과 학습
AI가 계획을 실행하고, 경험에서 배우며, 어디까지 맡겨질 수 있는지 묻습니다.
AI가 계획을 세우고 행동할 때 무엇을 확인할까요?
행동하는 AI는 환경의 상태를 바꿉니다. 어떤 도구를 부를 수 있는지와 어떤 상황에서 그 도구를 불러야 하는지는 다른 질문이고, 도구가 응답했다는 이유만으로 검토를 완료 처리하면 이후 판단이 확인되지 않은 상태를 사실로 받아들일 수 있습니다. 평가도 계획의 문장과 실제 행동을 나누어 보아야 하며, 올바른 계획을 내놓았는지, 필요한 행동을 실행했는지, 그 행동이 기대한 결과를 만들었는지 각각 확인합니다.
현재 상태
목표 · 근거 · 미확인
행동 선택
권한 · 시작 조건
도구 실행
조회 · 계산 · 기록
결과 확인
완료 · 오류 · 영향
확인됨
경험과 조건 기록
어떤 상황에서 유효했는가
결과 확인에서 행동 선택으로 — 미완료 · 충돌 · 오류가 남으면 다시 선택
경험과 조건 기록에서 현재 상태로 — 새 과제에서 조건을 확인해 재사용
실행 요청과 실제 완료를 구분한다. 미완료나 오류가 확인되면 행동을 다시 선택하고, 확인된 경험은 적용 조건을 남겨 다른 과제에서 재검증한다.
자세히 읽기 — 계획에서 실행까지
연구회는 행동의 기술적 가능성과 판단의 적절성을 함께 살핀다. 행동하는 AI는 환경의 상태를 바꾼다. 문서를 읽거나 계산을 수행하는 작업부터 업무 시스템에 기록을 생성하는 작업까지 행동의 종류는 다양하다. 어떤 도구를 호출할 수 있는지와 어떤 상황에서 그 도구를 호출해야 하는지는 다른 질문이다. 구매 요청 검토의 계획은 자료 수집, 규격 대조, 예외 확인, 검토 결과 작성으로 구성할 수 있다. 각 단계에는 시작하기 위한 조건과 완료를 확인할 기준이 필요하다. 단순히 도구가 응답했다는 이유로 검토를 완료 처리하면 이후 판단이 미확인 상태를 사실로 받아들일 수 있다.
평가 역시 계획의 문장과 실제 행동을 나누어 보아야 한다. 올바른 계획을 제시했는지, 필요한 행동을 실행했는지, 그 행동이 기대한 결과를 만들었는지 각각 확인한다.
AI가 경험에서 배운다는 것은 무엇일까요?
같은 오류를 되풀이하지 않는 AI를 만들려면 지난 경험이 다음 수행에 영향을 주어야 하고, 그 영향은 여러 방식으로 생길 수 있습니다. 기억에는 일어난 상황, 쓴 해결책, 확인된 결과와 다시 쓸 조건을 함께 남기는 편이 유용하며, 기억을 쓸 범위가 분명해야 오래된 경험을 지금의 사실처럼 다루는 문제를 줄일 수 있습니다. 학습의 성과는 새로운 과제에서 확인해야 하고, 예전에 틀린 사례를 다시 맞혔다고 해서 일반적인 능력이 나아졌다고 볼 수는 없습니다.
한 번 통한 방법을 다른 상황에 쓰려면 그 성공을 만든 조건을 확인해야 합니다. 구매 검토 AI가 어떤 문서 양식에서 규격 정보를 놓쳤다면 다음에는 같은 양식의 그 자리를 확인하도록 기억해 둘 수는 있지만, 모든 문서에 같은 자리가 있다고 일반화하면 새로운 오류가 생깁니다. 그래서 기억에는 일어난 상황, 쓴 방법, 확인된 결과와 다시 쓸 수 있는 조건을 함께 남기는 편이 쓸모 있습니다.
일어난 상황
쓴 방법
확인된 결과
다시 쓸 조건
자세히 읽기 — 경험에서 배우는 AI
같은 오류를 반복하지 않는 AI를 만들려면 과거의 경험이 다음 수행에 영향을 미쳐야 한다. 그 영향은 여러 방식으로 생길 수 있다. 이전 기록을 다음 입력에서 다시 읽을 수도 있고, 업무 규칙을 갱신할 수도 있으며, 별도의 학습 과정을 통해 모델의 가중치를 바꿀 수도 있다. 기억에는 발생한 상황, 사용한 해결책, 확인된 결과와 재사용 조건을 함께 남기는 편이 유용하다. 기억의 사용 범위가 명확해야 오래된 경험을 현재의 사실처럼 취급하는 문제를 줄일 수 있다. 학습의 성과는 새로운 과제에서 확인해야 한다. 이전에 실패한 사례를 다시 맞혔다고 해서 일반적인 능력이 향상되었다고 볼 수는 없다.
무엇을 저장했는가와 어떤 상황에서 유용하게 활용했는가를 함께 보는 것이 지속적인 학습의 과제다.
AI에게 어디까지 맡기고, 언제 개입할까요?
자율성은 하나의 정도로만 나타내기 어렵습니다. AI가 스스로 자료를 찾는 범위, 최종 결정을 내리는 범위, 외부 시스템을 바꾸는 범위가 서로 다를 수 있고, 구매 검토라면 추가 문서를 찾는 권한은 넓게 주면서 검토 결과를 확정하는 권한은 사람에게 둘 수 있습니다. 개입의 효과를 확인하려면 개입하지 않은 경우와 비교해야 합니다.
자료를 찾는 범위
최종 결정을 내리는 범위
외부 시스템을 바꾸는 범위
윤석화 교수가 공동저자로 참여한 2016년 연구는 임파워링 리더십과 구성원의 업무 수행 간 관계에서, 자기효능감을 통한 긍정적 경로와 업무로 인한 긴장을 통한 부담 경로를 함께 검토했습니다.
자세히 읽기 — 어디까지 맡기고 언제 개입할까
자율성은 하나의 정도로만 표현하기 어렵다. AI가 스스로 자료를 찾는 범위와 최종 결정을 내리는 범위, 외부 시스템을 변경하는 범위가 서로 다를 수 있다. 구매 검토에서는 추가 문서를 탐색할 권한을 넓게 주면서, 검토 결과를 확정하는 권한은 사람에게 둘 수 있다. 개입은 자율적인 수행을 지원하거나 수정하는 행동이다. 누락된 자료를 요청하고, 근거의 충돌을 알리며, 대안을 다시 검토하도록 할 수 있다. 개입이 유용하려면 현재 상태에 필요한 변화를 만들어야 한다.
윤석화 교수가 공동저자로 참여한 2016년 연구는 임파워링 리더십과 구성원의 업무 수행 간 관계에서, 자기효능감을 통한 긍정적 경로와 업무로 인한 긴장을 통한 부담 경로를 함께 검토했습니다. 이를 AI에 연결할 때 인간의 긴장이나 심리적 부담을 그대로 부여해서는 안 된다. 연구회가 세울 수 있는 별도의 가설은 선택 가능한 행동의 확대가 특정 조건에서 탐색 비용이나 오류 기회를 늘리는지에 관한 것이다. 원 연구와 새 가설의 대상은 구분된다.
개입의 효과를 확인하려면 개입하지 않은 경우와 비교해야 한다. 같은 상태에서 추가 정보를 요청한 경우, 검토를 반복한 경우, 그대로 진행한 경우를 나누어 살필 수 있다. 결과의 개선뿐 아니라 지연과 비용을 기록한다. 개입이 불필요했던 상황을 포함해야 효과가 좋은 사례만 선택하는 문제를 피할 수 있다.
통제의 목적은 무엇을 누가 결정할지 분명하게 만드는 데 있다. 시스템이 확인할 수 없는 조건에서는 사람에게 판단을 요청하고, 잘못된 변경은 추적하거나 되돌릴 수 있게 한다.
연구회는 과제의 특성에 따라 어떤 자율성과 개입 구조가 적절한지 설명할 근거를 축적할 수 있다.