RESEARCH PRINCIPLES
무엇을 믿을 수 있는지, 어떻게 확인하는지
AI 연구의 결과를 확인하고 평가하는 원칙과, 연구회 자신의 운영이 따라야 할 원칙입니다.
운영 원칙
연구회 자신은 어떤 원칙을 따라야 하나요?
연구회 자신의 운영도 같은 원칙을 따라야 합니다.
- 연구의 의뢰자와 수행자, 학술적 검토자의 역할을 밝히고 결과에 영향을 줄 수 있는 이해관계를 기록할 필요가 있으며, 연구 결과가 기대와 다르더라도 그 내용을 검토할 수 있어야 합니다. 학술적 독립성은 이러한 절차와 기록을 통해 구체화됩니다.
- 연구회의 공익적 목적은 과제 선정과 결과 검토에도 반영합니다. 연구비를 제공하는 조직의 요청과 실제 영향을 받는 사람의 요구가 다르면 그 차이를 기록하고 검토합니다.
자세히 읽기 — 연구회가 지키려는 운영 원칙
학술지능연구회 자체의 운영도 같은 원칙을 따라야 한다. 연구의 의뢰자와 수행자, 학술적 검토자의 역할을 밝히고 결과에 영향을 줄 수 있는 이해관계를 기록할 필요가 있다. 연구 결과가 기대와 다르더라도 그 내용을 검토할 수 있어야 한다. 학술적 독립성은 이러한 절차와 기록을 통해 구체화된다. 연구회의 공익적 목적은 과제 선정과 결과 검토에도 반영한다. 연구비를 제공하는 조직의 요청과 실제 영향을 받는 사람의 요구가 다르면 그 차이를 기록하고 검토한다. 현장 참여자는 사용의 어려움과 예상하지 못한 결과를 설명할 기회를 가져야 한다. 교수진의 학술적 판단과 현장의 경험을 함께 검토하되, 최종 운영 결정을 누가 내리고 후속 조치를 누가 맡는지 명확히 한다.
신뢰와 근거
결과를 무엇까지 믿을 수 있나요?
문서에서 사실을 정확히 뽑아내는 능력, 서로 부딪히는 규정을 찾아내는 능력, 정해진 권한 안에서 행동하는 능력은 서로 다른 평가 대상입니다. 하나의 종합 점수만 내놓으면 어떤 상황에서 시스템을 쓸 수 있는지 알기 어렵습니다. 과제의 입력과 모델 버전, 도구와 자료의 상태, 설정과 평가 기준을 보존해야 다른 연구자가 결과를 검토할 수 있습니다.
자세히 읽기 — 결과를 믿을 수 있는지 확인하기
AI의 신뢰성을 논하려면 무엇을 믿을 수 있다고 말하는지 구체화해야 한다. 문서에서 사실을 정확히 추출하는 능력, 서로 충돌하는 규정을 발견하는 능력, 정해진 권한 안에서 행동하는 능력은 서로 다른 평가 대상이다. 하나의 종합 점수만 제시하면 어떤 상황에서 시스템을 사용할 수 있는지 이해하기 어렵다. 측정 타당성은 지표가 의도한 개념을 적절하게 반영하는지에 관한 문제다. AI 팀의 협력을 평가하면서 메시지 수만 센다면 대화가 활발한 팀과 불필요한 반복이 많은 팀을 구분하지 못할 수 있다. 평가자가 모델이라는 사실도 검토 대상이다. 생성한 AI와 평가한 AI가 비슷한 방식으로 오류를 낼 수 있고, 설명이 유창한 결과를 과대평가할 수도 있다. 연구회는 재현과 검토에 필요한 정보를 개별 연구의 기록으로 관리한다. 과제의 입력과 모델 버전, 도구와 자료의 상태, 설정과 평가 기준을 보존해야 다른 연구자가 결과를 검토할 수 있다. 재현은 같은 숫자를 다시 얻는 것뿐 아니라 결과가 변한 이유를 추적하는 데도 의미가 있다. 반복 실행의 변동, 과제 구성의 차이와 평가자의 판단을 함께 기록하면 효과의 범위를 설명할 수 있다. 우수한 결과를 보인 사례와 실패한 사례를 함께 공개하는 방식은 후속 연구가 같은 한계를 되풀이하지 않도록 돕는다.
판단의 책임
AI가 관여한 판단의 책임은 어떻게 살피나요?
- 기술적으로 가능한 행동의 목록만으로 알맞은 사용 범위를 정하기는 어렵습니다. 누가 목표와 제약을 정했고, 어떤 자료를 주었으며, 어떤 사람이 결과를 확정했는지 확인할 수 있어야 합니다.
- 연구회는 이 관계를 분석하되, 개별 사건의 법적 책임을 학술 검토만으로 확정하지 않습니다.
- 사용자가 결과에 이의를 제기할 때 근거를 다시 검토할 수 있는지, 운영자가 규칙을 바꿨을 때 영향을 받은 판단을 찾을 수 있는지 실험할 수 있습니다. 규범을 선언하는 것과 실제 절차에서 작동시키는 것 사이의 관계를 확인하는 방식입니다.
규범이 서로 부딪히는 경우도 연구할 수 있습니다. 일의 효율과 사용자의 설명 요구, 정보의 공유와 접근 제한을 함께 따져야 할 때가 있습니다. 서로 다른 목표가 부딪히면 무엇을 고른 까닭과 다른 대안을 밝혀야 합니다.
자세히 읽기 — 책임 있게 운영하기
책임 있는 운영을 위해서는 판단 과정에 참여한 역할을 구체적으로 기록할 필요가 있다. AI의 행동에는 여러 사람의 이해관계가 연결될 수 있다. 기술적으로 가능한 행동의 목록만으로 적절한 사용 범위를 정하기는 어렵다. 누가 목표와 제약을 정했고, 어떤 자료를 제공했으며, 어떤 사람이 결과를 확정했는지 확인할 수 있어야 한다. 연구회는 이 관계를 분석하되 개별 사건의 법적 책임을 학술 검토만으로 확정하지 않는다. 사용자가 결과에 이의를 제기할 때 근거를 다시 검토할 수 있는지, 운영자가 규칙을 바꿨을 때 영향을 받은 판단을 찾을 수 있는지 실험할 수 있다. 규범을 선언하는 것과 실제 절차에서 작동시키는 것 사이의 관계를 확인하는 방식이다.
성과와 영향
성과만 보면 충분한가요?
구매 검토 시스템이라면 완료율만 보면 근거가 부족한 요청까지 빨리 처리하는 방식이, 오류율만 보면 많은 요청을 보류하는 방식이 유리해 보일 수 있습니다. 그래서 완료된 과제가 알맞았는지, 보류의 이유와 필요성, 추가 확인에 든 시간을 함께 검토해야 합니다. 평가 비용에는 모델 사용료뿐 아니라 자료 준비, 사람의 검토, 실패 뒤 복구와 운영 중단도 넣습니다.
기술적 성과 곁에 함께 볼 변화
| 구분 | 기술적 성과의 예 | 사람에게 남는 변화의 예 |
|---|---|---|
| 정확성 | 오류율 감소 | 잘못된 판단으로 인한 피해 감소 |
| 속도 | 처리 시간 단축 | 사람의 검토 시간과 부담의 변화 |
| 설명 | 근거 제시 비율 | 사용자가 이해하고 이의를 제기하며 바로잡을 수 있는지 |
| 학습 | 보조 수행 성과 | AI 없이 독립적으로 수행하는 능력의 변화 |
| 접근 | 이용자 수 증가 | 지원이 필요한 집단의 실제 활용과 격차 |
기술적 성과가 어떤 사회적 변화로 이어졌는지 확인되지 않았다면 둘을 나누어 보고한다.
자세히 읽기 — 성과와 실패를 함께 평가하기
무엇을 개선하려는지에 따라 주된 평가 기준을 정하고, 그 기준의 개선이 다른 결과를 악화시키는지 살펴야 한다. 실제 환경에서의 성과는 여러 기준으로 나타난다. 과제의 정확도와 완료율, 처리 시간과 비용, 재작업의 양과 사용자의 검토 부담이 함께 중요할 수 있다. 평가 계획은 실험 전에 정리하는 편이 결과 해석에 도움이 된다. 구매 검토 시스템의 경우 완료율만 보면 근거가 부족한 요청까지 빠르게 처리하는 방식이 유리해 보일 수 있다. 오류율만 보면 많은 요청을 보류하는 방식이 유리해 보일 수 있다. 따라서 완료된 과제의 적절성, 보류의 이유와 필요성, 추가 확인에 든 시간을 함께 검토해야 한다. 평가 비용에는 모델 사용료뿐 아니라 자료 준비, 사람의 검토, 실패 후 복구와 운영 중단을 포함한다. 실패는 원인과 영향의 크기에 따라 기록한다. 입력 자료의 오류, 해석의 오류, 권한의 불일치, 실행의 실패와 결과 검증의 누락은 다른 대응을 요구한다. 평균적인 성과와 함께 반복되는 실패 유형을 공개하면 사용 가능한 범위가 더 명확해진다.
평가 보고서는 연구회의 네 가지 사회적 목표와 연결되어야 한다. 피해 감소는 오류의 종류와 영향으로, 판단권과 책임은 실제 재검토와 수정의 수행으로, 인간 역량은 학습과 독립 수행의 변화로, 접근과 활용 격차는 집단별 성과와 부담으로 살핀다. 과제에 직접 적용하기 어려운 목표는 그 이유를 밝힌다. 모델의 정확도나 비용 절감이 어떤 사회적 변화로 이어졌는지 확인되지 않았다면 기술적 성과와 사회적 성과를 나누어 보고한다.
학술의 적용
학문의 개념을 어떻게 AI 연구로 옮기나요?
학술을 AI에 잇는 일은 원 연구의 질문을 정확히 읽는 데서 시작합니다. 추상적인 개념을 어떤 기록과 지표로 관찰할지 정하는 일을 조작화라고 부르는데, 이 과정에는 여러 선택지가 있으며 선택의 이유를 설명해야 합니다. 자료를 찾지 못했거나 특정 결과를 재현하지 못했을 때도 그 상태를 밝히고, 미확인을 긍정적인 근거로 바꾸지 않는 것이 중요합니다.
기존 학술의 근거
대상 · 방법 · 결과
성립 조건과 한계
원 연구에서 확인된 범위
AI 적용 가설
관찰할 상태와 행동
무엇이 달라질 것인가
새롭게 검증할 주장
비교 실험
기존 방식·무개입과 비교
효과 · 비용 · 실패
해당 실험의 경험적 근거
현장과 다른 조건에서 확인
사용자 · 자료 · 환경의 차이
적용 범위와 한계
결과와 반례
새로운 질문과 후속 연구
반례와 조건 차이를 설명
다음 실험과 이론으로 연결
AI 적용 가설로
인간과 조직에 관한 기존 연구, AI에 적용하기 위한 새 가설, 실제 AI 실험에서 얻은 근거를 구분한다. 결과가 맞지 않으면 개념의 대응·구현·적용 조건을 다시 검토한다.
자세히 읽기 — 학술 개념을 실제 기준으로 옮기기
학술을 AI에 연결하는 작업은 원 연구의 질문을 정확히 읽는 데서 시작한다. 연구가 설명하려는 현상은 무엇인지, 어떤 대상을 어떤 방법으로 관찰했는지, 결과는 어느 범위까지 뒷받침되는지 정리해야 한다. 추상적인 개념을 어떤 기록과 지표로 관찰할지 정하는 작업을 조작화라고 부른다. 이 과정에는 여러 선택지가 있으며, 선택의 이유를 설명해야 한다. 관찰 기준이 정해지면 판단과 행동을 연결할 수 있다. 필수 근거가 없다는 상태를 확인했을 때 추가 자료를 요청할 것인지, 다른 출처를 찾을 것인지, 결정을 보류할 것인지 정한다. 각 행동에는 예상되는 효과와 비용이 있다. 원 연구의 설명이 이 행동을 직접 뒷받침하는지, 아니면 새로운 가설을 세우는 데 참고된 것인지 표시해야 한다.
개념의 해석과 실제 작동을 왕복하는 과정이 학술 적용의 핵심 방법이다. 학술 적용 기록에는 연구 질문, 원문 근거, 원래 적용 조건, AI에서의 대응 대상, 새 가설, 비교 조건과 결과를 함께 남긴다. 특히 원 연구의 결과와 연구자가 새로 해석한 부분을 나누어 기록한다. 자료를 찾지 못했거나 특정 결과를 재현하지 못했을 때도 그 상태를 명시한다. 미확인을 긍정적인 근거로 바꾸지 않는 것이 중요하다. 공학적 구현은 이 기록을 바탕으로 이루어진다. 학술적 설명이 데이터의 분류 기준이나 평가 항목, 개입의 선택 조건에 반영될 수 있다. 구현한 이후에는 그 기준이 의도한 의미를 유지하는지 교수진이 검토하고 연구원 조직이 시험한다.
조건과 한계
사람에 관한 연구를 AI에 그대로 적용해도 되나요?
한계
겉으로 비슷한 현상이 나타나더라도 같은 원인으로 설명할 수 있는지는 별개의 문제입니다. 적용 관계는 강도를 나누어 적을 수 있습니다. 관찰할 현상을 찾는 데 영감을 주는 연구, 변수 사이의 관계를 새 가설로 내놓는 데 기여하는 연구가 있고, 실제 AI 환경에서 비교 실험으로 효과를 확인하면 그 조건에 대한 경험적 근거가 생깁니다. 여러 환경에서 재현되면 적용 범위를 더 넓게 논의할 수 있지만, 이 단계들은 저절로 이어지지 않습니다.
자세히 읽기 — 사람 연구를 AI에 적용할 때의 조건
관찰된 유사성과 원인에 관한 가설을 구분해야 한다. 인간을 대상으로 한 연구를 AI에 적용할 때에는 대상의 차이를 명확히 해야 한다. 인간의 행동에는 감정과 경험, 사회적 관계와 제도가 관여한다. AI의 출력과 행동에는 학습 자료와 모델 구조, 지시와 도구, 운영 환경이 관여한다. 겉으로 비슷한 현상이 나타나더라도 같은 원인으로 설명할 수 있는지는 별도의 문제다. 적용 관계는 강도의 차이를 두어 기술할 수 있다. 어떤 연구는 관찰할 현상을 찾는 데 영감을 준다. 어떤 연구는 변수 사이의 관계를 새로운 가설로 제시하는 데 기여한다. 실제 AI 환경에서 비교 실험을 수행해 효과를 확인하면 그 조건에 대한 경험적 근거가 생긴다. 여러 환경에서 재현되면 적용 범위를 더 넓게 논의할 수 있다. 이 단계들은 자동으로 이어지지 않는다. 학자가 직접 참여하면 이러한 차이를 검토하는 데 도움이 된다. 다만 참여 학자의 해석 역시 다른 근거와 비교할 수 있어야 한다. 연구회는 특정 이론을 항상 옳게 만드는 역할보다 적용 가능한 범위와 설명하기 어려운 현상을 드러내는 역할을 맡는다. 그 과정에서 AI 연구는 새로운 가설을 얻고 기존 학술은 새로운 질문을 만날 수 있다.