이 장에서는 AI 시스템의 개발 및 사용에 관여하는 기업을 대상으로 하는 기업책임경영 실사 프레임워크와 실무 이행 예시를 제시한다. 이 지침에서 제시된 실사 프레임워크는 또한 각 단계의 도입 부분에 기존 프레임워크에 포함된 관련 규정의 로드맵을 제시하며, 이를 통해 실사 프레임워크의 각 단계가 관련 AI 위험관리 프레임워크의 해당 규정에 의해 어떻게 보완되고 연계되는지 보여준다.
OECD 책임 있는 인공지능(AI) 실사 지침
개요
이번 장에서는 AI 시스템 개발 및 사용에 관여하는 기업 대상OECD의 기업책임경영 실사 프레임워크를 제시하고, 실무 이행 예시를 제공한다. 또한 이 지침에서 제시된 실사 프레임워크는 각 단계의 도입 부분에 기존 프레임워크의 관련 조항 로드맵을 수록하고 있어, OECD 실사 프레임워크의 각 단계가 관련 AI 위험관리 프레임워크 해당 조항에 의해 어떻게 보완되고 연계되는지를 보여준다.
각 단계에는 필요에 따라 지원 조치 및 실사 절차를 이행하고 조정하는 방식을 더욱 구체적으로 설명하기 위해 “이행을 위한 실무 예시”가 포함되어 있다. 이러한 실무 예시는 이 지침의 맥락에 부합하도록 선정되었으며, 주요 AI 위험관리 프레임워크뿐 아니라 문헌 조사 및 전문가 자문을 바탕으로 도출되었다. 실무 예시는 포괄적인 점검 목록을 제시하기 위한 것은 아니다. 모든 실무 예시가 모든 상황에 적절한 것은 아니다(예: 히로시마 프로세스 국제 행동강령(Hiroshima Process International Code of Conduct)은 고도화된 AI 시스템을 대상으로 한다). 또한 기업은 일부 상황에서 추가적인 예시나 이행 조치가 유용하다고 판단할 수도 있다.
실사의 각 단계마다 수록된 표는 AI 위험 관리와 관련된 유사한 요구사항 또는 기대사항이 다른 국가 및 국제 프레임워크 내 어디에 규정되어 있는지 보여준다. 이러한 표와 관련 실무 예시는 여러 관할권에 걸쳐 관련 요구사항을 이행하는 과정에서 기업을 지원하기 위한 것이다. 비록 이 조항들은 기업책임경영 실무 프레임워크의 이행과 관련되지만, 다른 프레임워크에서의 기대사항은 그 범위와 성격이 달라질 수 있기 때문에, 이 표는 동등 여부를 판단하는 프레임워크는 아니다.
1.1단계 – 기업책임경영 관련 정책
기업은 OECD AI 원칙과 다국적기업 가이드라인에 포함된 원칙과 기준에 대한 자사의 약속을 명확히 설명하는 기업책임경영과 관련된 여러 정책을 수립, 채택 및 전파해야 한다. 이러한 정책에는 AI 개발 및 사용에 있어서 기업의 자체 운영 및 사업 관계에 있는 자와 관련되는 실사를 이행하기 위한 계획이 포함되어야 한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1-3 그룹)
1. 관련 기업책임경영 원칙 및 기준에 대한 약속 이외에도, 관련되는 범위에서 AI 시스템(즉, 인간 중심적이며, 공정하고 투명하며, 설명 가능하고, 견고하며, 안전하고, 보안이 확보되며, 책임 있는 시스템)의 설계, 개발, 배포, 운영 및 사용을 통한 OECD AI 원칙을 이행할 것을 약속한다.
2. 근로자, 근로자 대표 및 노동조합을 포함한 이해관계자가 적극적으로 참여하는 가운데, 위험관리 정책을 포함한 기업책임경영 관련 정책을 관련 국제, 지역, 국가 프레임워크의 원칙에 부합하도록 개발 또는 검토 및 업데이트한다.
3. 위험 평가(2단계 참조)의 결과를 토대로 식별된 가장 중대한 위험을 해결하기 위한 기업의 접근 방식을 업데이트하거나 더욱 명확하게 규정한다(3단계 참조).
4. 위험의 심각성과 발생 가능성을 낮음, 중간, 높음으로 판단하는 데 도움이 될 수 있도록, 그리고 그에 따라 적절한 위험 대응을 안내하거나 더 심층적인 실사를 개시하도록 위험 수용 임계값을 설정한다.
5. 적절한 경우, 위험관리 정책을 공개한다(예: 기업의 웹사이트에 게시하고, 해당되는 경우, 기업이 사업을 운영하거나 사업 관계를 유지하는 지역의 현지 언어로 제공). 경우에 따라, 기업은 특정 이해관계자 및 사업 관계에 있는 자에게 더욱 상세한 정책과 위험관리 정보를 제공하는 것이 필요하다고 판단할 수 있으며(5단계 참조), 또는 특정 위험 및 쟁점에 대해 구체적인 약속을 할 수 있다.
6. 운영팀에 지침을 제공할 수 있을 만큼 충분히 정확하면서도, 미래의 발전을 위한 여지를 허용할 수 있을 만큼 충분히 유연하고 기술적으로 중립적인 정책을 고려한다.
7. 기업책임경영에 대한 약속과 현지국의 우선순위 간 일관성을 보장하기 위해, 관련 국가 전략과 정책이 당사의 위험관리 정책을 포함한 기업책임경영 관련 정책과 일치될 수 있도록 고려한다.
1.2단계 - 내부 관리 시스템
기업책임경영 관련 사안과 신뢰할 수 있는 AI를 기업의 정책, 감독기구, 조직 구조, 시스템, 프로세스 및 팀에 내재화하여, 정규 업무 프로세스의 일부로서 이행되도록 노력한다. 이때 국내 법률과 규정에서 상정되어 있을 수 있는 일부 기구의 잠재적 독립성, 자율성 및 법적 구조를 고려한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1~3 그룹)
1. AI 실사에 대한 감독 및 책임을 관련 고위 경영진에 부여하고, AI 분야의 기업책임경영 전반에 관한 책임은 이사회에 부여한다.
2. 관련 부서 전반에 걸쳐 정책의 각 요소를 이행할 책임을 배분하고, 특히 부정적 영향의 위험을 증가시키거나 감소시킬 가능성이 가장 큰 행동 및 의사결정을 하는 직원들(예: 개발팀, 데이터 수집, 데이터 주석 및 콘텐츠 모더레이션, 시스템 설계 및/또는 서비스나 제품 조달에 관여하는 직원, 그리고 중대한 결정을 내리도록 설계된 시스템)에 각별히 유의한다. 또한 위험관리와 관련된 역할과 책임, 그리고 의사소통 라인은 문서화하여 기업 전반의 개인 및 팀에게 전달하고 공유하는 것이 중요하다.
3. 부정적 영향에 관한 AI 위험관리 절차 정보를 수집하기 위해 기존의 정보 및 기록관리 시스템을 개발하거나 조정한다(예: 관련 팀이 AI 시스템을 목록화하고, 그들이 설계, 개발, 배포, 평가 및 사용하는 AI 시스템의 위험을 문서화하여 이를 전달하도록 하는 프로세스). 예를 들면 다음과 같다.
가) 잠재적 위험에 관하여, AI 시스템을 개발하거나 배포한 팀 외부, 즉 해당 팀에 속하지 않는 기업 내 다른 부서로부터 피드백을 수집, 검토, 우선순위 설정 및 통합하기 위한 정책과 관행을 수립한다 (예: 조달, 영업, 준수, 수출통제, 마케팅 및 인사).
나) AI 시스템을 개발하거나 배포한 팀이 위험에 관한 외부 및 내부의 피드백을 시스템의 설계 및 이행에 정기적으로 반영할 수 있도록 하는 메커니즘을 개발한다.
다) 모든 사업관계 전반에 걸쳐 AI 시스템이 야기하는 위험을 명확하게 파악하고, 이를 내부 및 외부에 분명히 전달하기 위한 투명성 정책과 절차를 수립한다.
4. 위험 및 위험관리 의사결정을 공유하고 문서화하기 위해, 관련 고위 경영진과 이행 부서 간의 의사소통 채널을 구축하거나 기존 채널을 활용한다.
5. 해당 정책을 조직의 관련 직원에게 전달한다(예: 직원 오리엔테이션 또는 교육 시, 설계 검토 과정 중, 고객 관계 관리 담당 직원 대상 문건, 이사회 회의 상시 안건 등).
6. 직원들이 위험관리와 관련된 자신의 책무 및 조직의 위험관리 관행을 숙지할 수 있도록, 정책, 절차 및 교육을 개발한다.
7. 기업의 AI관련 기업책임경영 관련 정책과 관련된 사항에 대하여 팀 및 사업부 전반에서 일관성이 확보되도록 장려한다. 예를 들어, 위험에 관한 정보 및 위험 관련 의사 결정을 공유하기 위한 다양한 기능을 갖춘 그룹 또는 위원회를 구성하고, AI에 관한 기업책임경영 관련 정책의 도입에 영향을 미칠 수 있는 사업부를 의사결정에 포함하는 방법이 있다.
가) AI 실사의 이행과 관련하여 명확한 역할과 책임을 갖춘 전담 위원회 또는 실무 작업반의 설치를 고려한다. 더 폭넓은 이해관계자 참여 노력의 일환으로, 위원회에 독립적인 외부 전문가를 위촉하는 방안도 고려한다.
나) 기업의 AI 관련 기업책임경영 관련 정책과 양립 가능한 직원 및 사업부를 위한 인센티브를 마련한다(예: 직원 평가에 에너지 소비, 이해관계자 참여 활동 수행 및 기업책임경영 관련 정책 도입 등 기업책임경영 관련 정책 이행과 연계된 목표 또는 지표 포함, 기업책임경영 관련 과제에 대한 해결책 개발과 연계한 보상 기반 챌린지 또는 헤커톤(hackathon)).
8. IT, 보완, 조달 및 소프트웨어 개발 생애주기(SDLC) 등 전반의 기존 프로세스를 검토하여, 이러한 프로세스가 AI 실사와 관련하여 마련된 정책 및 프로세스와 어떻게 상호 운용될 것인지를 식별한다.
9. AI 위험관리와 관련된 폭넓은 의사결정을 촉진한다(예: 관련 직원 또는 이해관계자가 다양한 학문 분야, 경험, 전문성 및 배경으로 구성되도록 함).
10. 인시던트(incident) 모니터링 및 대응 시스템을 구축한다.
11. 기업은 국내 규정을 준수하여, 직원이 기업책임경영 관련 쟁점과 관련된 문제 또는 이의를 제기할 수 있도록 이의신청 또는 내부고발 절차를 마련하거나, 기존 이의신청 또는 내부고발 절차를 토대로 하거나, 또는 이를 조정한다.
12. AI 시스템의 설계, 개발, 배포 및 사용에서 비판적 사고의 마음가짐(mindset)을 함양하기 위한 정책 및 관행을 마련한다.
13. AI 시스템을 안전하게 업그레이드하고, 사용 종료하며, 단계적으로 종료하기 위한 프로세스를 개발하며, 이는 위험을 증가시키거나, 새로운 위험을 야기하거나, 기업의 신뢰성을 저하시키지 않는 방식으로 한다.
14. AI 시스템과 연계된 장애, 인시던트, 또는 부정적 영향에 대처하기 위한 비상 계획을 수립한다.
15. 기업 전반에서 이해관계자가 관련 기업책임경영 프로세스의 이행을 평가 및 모니터링할 수 있도록 하는 이해관계자 참여 계획을 수립하고, 근로자, 근로자 대표 및 노동조합을 포함한 이해관계자가 기업책임경영 프로세스에 정기적으로 참여하도록 보장한다.
16. 고도화된 AI 시스템의 안전, 보안 및 신뢰성을 보장하기 위한 공동의 표준, 도구, 메커니즘 및 모범 관행을 개발, 고도화, 그리고 적절한 경우 이를 채택하기 위해 협력 이니셔티브를 수립하거나 이에 참여한다. 그 예로OECD 신뢰할 수 있는 AI를 위한 도구 카탈로그(OECD Catalogue of Tools for Trustworthy AI)를 들 수 있다.
1.3 단계 – 사업 관계에 있는 자에 대한 기대사항
사업 관계에 있는 자의 참여 과정에 기업책임경영 관련 기대사항과 정책을 반영한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1~3 그룹)
1. AI를 위한 기업책임경영 관련 정책의 핵심 사항을 투입요소 공급자, 판매 파트너 및 시스템 사용자를 포함한 관련 사업 관계에 있는 자에게 전달한다.
2. 기업이 판매 파트너, 즉, 최종 고객을 대상으로 제품 및 서비스를 구매, 유통, 통합 및 재판매하는 사업 관계에 의존하는 경우, 지속적인 실사를 보장하기 위해 판매 채널 전반에 걸쳐, 그리고 관련 외부 이해관계자와 소통할 수 있는 채널을 구축한다.
3. 관련 기업책임경영 관련 사안에 대한 실사를 반영하여 공급업체 또는 고객에 대한 사전 적격 심사 절차를 마련하고 시행하며, 가능한 경우 이러한 절차를 특정 위험과 맥락에 따라 조정하여, 사업 관계에 있는 자 및 그들의 활동 또는 운영 분야와 관련이 있는 것으로 식별된 기업책임경영 관련 사안에 초점을 맞추도록 한다.
4. 관련되는 경우, 특히 중소기업과의 사업 관계와 관련하여, 공급업체, 고객, 최종 사용자 및 기타 사업 관계에 있는 자와 관련하여 기업책임경영 관련 정책을 이해하고 적용하며 실사를 이행할 수 있도록 이들에게 적절한 자원을 제공하는 것을 고려한다(예: 관련 사업 관계에 있는 자 및 근로자와 함께 대상별 인식 제고 활동, 교육 또는 역량 강화에 참여). 바람직하게는 그리고 적절한 경우에는 고객 및 최종 사용자에게 제공되는 자원과 추가 지침은 가능한 한 구체적이고 대상에 맞게 제공되어야 한다.
5. 기업의 사업 운영 방식상 공급업체, 사용자 및 기타 사업 관계에 있는 자의 기업책임경영 관련 정책 이행 능력을 저해할 수 있는요인을 파악하고 이를 해결하고자 노력한다. 예컨대, 알고리즘, 데이터셋, 소프트웨어 또는 하드웨어를 조달할 때의 기업의 구매 관행과 같은 사례를 포함한다.
2.1 단계 –위험의 초기 범위 설정(scoping)
위험이 존재할 수 있는 지점과 위험이 가장 중대할 수 있는 지점을 식별하기 위해 범위 설정 작업을 수행한다.
AI 시스템의 개발 및 사용과 관련된 위험을 설명하고 기업이 그러한 위험을 해결하기 위해 취해야 할 조치를 권고하는 프레임워크가 국제, 지역, 국가적 차원에서 다수 존재한다. 이 지침의 목적 중 하나는 기업이 다른 위험관리 프레임워크를 이행하는 것을 지원하는 데 있다. 이러한 프레임워크 목록은 기업의 실사 노력과 관련될 수 있는 잠재적인 위험을 파악하는 데 참고가 될 수 있으나, 이는 포괄적인 목록은 아니며, 다수의 위험은 서로 중첩되고 상호 연계되어 있을 수 있다. 또한, 모든 프레임워크가 모든 기업에 관련되는 것은 아니다. 각 기업은 자사의 개별적 여건에 비추어 우선순위 위험 영역을 식별할 것으로 기대된다.
위험 해결 순서를 우선순위로 정할 때(2.4 단계 참고), 기업은 특정 위험이 다른 위험과 밀접하게 연계되어 있거나 다른 위험을 가능하게 할 수 있다는 점을 고려해야 한다.
많은 신기술이 그러하듯, 공공 및 민간의 악의적 행위자가 AI 시스템을 악용하는 방법을 찾아낼 수 있다. AI 시스템은 이중용도 가능성이 크고 다른 목적으로 용도 전환될 수 있기 때문에, 그 설계 의도가 무해한 것이었더라도 유해한 사용으로 이어질 수 있다.
이행을 위한 실무 예시 (AI 투입요소 공급자, 1 그룹)
1. AI 시스템 개발에 적극적으로 관여하는 사업 관계를 식별한다(즉, 2 그룹에 해당하는 사업 관계에 있는 자).
2. 2.1단계에 제시된 AI 시스템 관련 위험 정보를 포함하여, 사업 관계에 있는 자가 개발 중인 AI 시스템의 유형을 초기에 파악한다.
이행을 위한 실무 예시 (AI 시스템 생애주기 내 기업, 2그룹)
1. AI 시스템 생애주기에서 기업의 역할을 이해하고, 기업과 연계된 AI 시스템에 대한 최신 등록부(registry)를 유지한다.
2. AI 시스템의 개발 및/또는 사용과 관련된 잠재적인 부정적 영향의 위험을 파악한다. 이는 해당 AI 시스템과 연관될 수 있는 위험이 무엇인지에 관한 자료 조사 및 협의, 그리고 해당 AI 시스템 또는 그 시스템을 개발하거나 수정한 기업에 대한 위험 관련 보고자료를 수집 및 검토하는 방법 등을 통해 수행될 수 있다. 위험 정보의 내부 출처에는 1.2단계에서 설명된 인시던트 모니터링 메커니즘, 감독기구 및 의사소통 채널이 포함된다. 위험 정보의 외부 출처에는 국가인권기구, 국가 AI 관측기구, 규제기관, 부문별 주무부처, 국제 및 지역 인권 책임성 메커니즘, 시민사회단체 및 근로자, 근로자 대표, 노동조합, 공개 인시던트 데이터베이스,1 법원 사건, 고충처리 메커니즘, 그리고 영향을 받고 위험에 처한 지역사회의 참여(engagement)가 포함된다. 또한 「OECD AI 시스템 분류 프레임워크」(The OECD Framework for the Classification of AI Systems)는 AI 시스템 관련 위험을 이해하기 위해 기반으로 삼아 발전시킬 수 있는 토대를 제공한다(OECD AI 시스템 분류 프레임워크 참조 (OECD, 2022[13])).
3. 위험 정보는 다음과 관련될 수 있다.
가) AI 시스템 간 상호작용. 두 AI 시스템이 개별적으로는 무해할 수 있으나, 적절한 안전장치(guardrail) 없이 상호작용하도록 배포될 경우 피해를 야기할 수 있는 역량이 커질 수 있다.
나) AI 시스템의 특성, 그 사용 사례의 특성, 또는 AI 시스템이 적용되는 제품의 특성(예: 얼굴 및 감정 인식 기술, 예측 치안, 감시 기술 및 마케팅 기술)
다) AI 시스템의 사용자 유형 및 사용 방식, 그리고 사용자의 업무 목적(예: 미디어 기업, 보건의료 제공자, 사법기관, 법 집행기관, 정보기관 및 개인)
라) 시스템의 입력데이터 출처, 소프트웨어, 물리적 확장요소, 인간개입(human-in-the-loop) 요소(예: 데이터 주석화 및 콘텐츠 모더레이션 과정에서의 노동 위험, 비공개 데이터 또는 지식재산(IP)의 입수)
마) AI 시스템이 배포되는 지리적/사회경제적/정치적 맥락(예: 부패 수준이 높은 지역, 인권 및 노동권 침해가 심각한 지역 및 분쟁 지역)
바) AI 시스템의 역량 및 과학적 타당성(예: 중요한 업무를 부적절하거나 불충분하게 수행하여 발생하는 위험)
사) AI 시스템을 의도된 목적에 부합하게 사용하는 경우와 관련하여, 혹은 합리적으로 예견 가능한 부적절한 사용이나 오남용 조건 하에서 사용하는 경우와 관련하여, 이미 알려져 있거나 합리적으로 예견 가능한 상황으로서 부정적 영향을 야기할 수 있는 것(부정적 영향 위험이 잠재적으로 더 높을 수 있는 AI 시스템 사용의 지표는 박스 2.1 참조)
4. 모든 AI 시스템에 대한 심층 평가를 수행하는 것이 실행 불가능하거나 실무상 어려운 경우, 상향 보고(escalation) 체계를 고려한다(예: 모든 신규 AI 시스템에 대해 설문지를 적용하여 기준선 위험 수준을 평가하고, 고위험 지표가 있는 경우 추가 심층 실사를 위해 해당 사안을 상위 단계로 상향 보고한다).
5. 범위 설정(scoping) 작업의 결과는 정기적으로 그리고 중대한 변화가 발생하는 경우에 검토한다(예: 신규 국가에서의 사업 수행, 신규 AI 시스템 또는 제품의 개발, 조직 개편, 신규 사업 관계 형성 및 관련 법령의 중대한 변경이 있는 경우).
6. 기업이 위험을 이해하고 AI 시스템의 고위험 사용을 정의하는 데 도움이 되도록, 소비자 보호 또는 부문별 법령, 규정 및 표준(예: 보건의료, 제조 및 항공 등)과 같은 영역의 관련 법령, 규정 및 표준을 고려한다.
AI 시스템의 고위험 사용은 맥락에 따라 달라질 것이며, 이를 식별하기 위한 기준은 관할권별로 상이하다. 아래의 AI 적용 사례는 일부 주요 AI 위험관리 프레임워크에서 잠재적으로 고위험일 수 있는 것으로 식별된 것이다.
화학, 생물, 방사능 및 핵 위험을 야기할 수 있는 사용. 예컨대 무기 개발, 설계 및 획득을 포함하여, 관련 분야에 대한 진입장벽을 낮출 수 있는 방식이 이에 해당한다. 이와 관련해서는 이중용도 측면 또한 함께 고려하는 것이 중요하다.
보건 및 안전에 위험을 야기할 수 있는 핵심 기반 시설에서의 사용(예: 운송)
개인의 삶에서 교육 및 직업에 대한 접근성을 결정하거나 이에 강한 영향을 미칠 수 있는 교육 또는 직업 훈련 분야에서의 사용(예: 시험 채점, 과제 도우미 서비스)
정신건강 조언 제공 및 정서적 동반 제공과 관련된 사용, 특히 미성년자 또는 그 밖의 취약한 개인이 관련되는 경우
고용, 근로자 관리 및 고용 기회와 관련된 사용(예: 채용 절차에서의 이력서 분류 소프트웨어)
필수적인 민간 및 공공 서비스에 대한 접근을 허용하거나 박탈하는 데 사용(예: 의료서비스에 대한 접근 또는 시민의 대출 가능 여부에 영향을 미치는 신용 평가)
법 집행 및 사법행정과 관련된 사용(예: 형량 결정, 가석방 및 보호관찰, 재판 전 석방 및 구금, 감시, 범죄 예측 및 예측 치안, 포렌식 분석)
이주, 망명 및 국경 통제 관리와 관련된 사용(예: 여행 문서 진위 확인 또는 망명 신청과 관련된 의사결정)
출처: 인공지능법(AIA) 제6조 및 부속서 I 및 II; 유럽연합, (2024[14]) 인공지능에 관한 조화된 규칙을 마련하고, 규정 (EC) No 300/2008, (EU) No 167/2013, (EU) No 168/2013, (EU) 2018/858, (EU) 2018/1139 및 (EU) 2019/2144를 개정하는 2024년 6월 13일자 유럽의회 및 이사회 규정 (EU) 2024/1689, https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ:L_202401689; G7 (2023[15]) 고도화된 AI 시스템에 관한 히로시마 프로세스 국제행동강령(Hiroshima Process International Code of Conduct for Advanced AI Systems), https://www.mofa.go.jp/ecm/ec/page5e_000076.html.
이행을 위한 실무 예시 (AI 시스템 사용자, 3그룹)
1. 2.1단계 54(나)항에 기술된 AI 시스템 관련 위험 정보를 포함하여, 기업 내 AI 시스템의 모든 사용 현황(예: 인사, 마케팅, 영업, 고객서비스, 조달 및 실사 등)을 우선 파악하고, 그 중 심층 실사가 필요한 사용을 검토한다. 저위험의 경우에는 추가적인 심층 실사 활동이 필요하지 않을 수 있다.
2. 운영, 제품 및 서비스에 사용되는 AI 시스템을 개발 및 배포하는 사업 관계를 식별한다.
2.2 단계 – 가장 중대한 위험에 대한 심층 평가
식별된 위험 영역 중 가장 중대한 영역부터 시작하여, (1) 기업 자체 활동과 (2) 기업의 사업 관계(예: 공급업체, 고객 및 사용자)와 관련된 우선순위 위험에 대해 반복적이며 점차 심화되는 평가를 수행한다.
다국적기업 가이드라인은 기업이 부정적 영향에 대해 위험 기반 접근방식을 취할 것을 권고하면서도, 모든 부정적 영향에 즉시 대응하는 것이 언제나 가능하지 않을 수 있다는 점을 인정한다. 이러한 개념은 AI, 특히 범용 AI시스템에 실사를 적용하는 데 필수적이며, 이는 일부 기업이 해당 AI 시스템을 사용하는 수백 또는 수천 개의 사업 관계를 통해 발생한 영향과 관련될 수 있기 때문이다.
이와 관련하여, 다국적기업 가이드라인은 기업이 다수의 사업적 관계를 보유한 경우, 부정적 영향의 위험이 가장 중대한 일반적 영역을 식별하고, 이러한 위험 평가에 기초하여 그에 따라 실사의 우선 순위를 설정하도록 권장된다는 점을 명시하고 있다. 또한 위험 기반 접근 방식은, AI 시스템이 의도된 목적에 따라 사용되는 것과 관련하여 이미 알려져 있거나 합리적으로 예견 가능한 상황, 또는 합리적으로 예견 가능한 부적절한 사용이나 오남용 조건에서의 사용과 관련된 상황도 고려해야 한다.
부정적 영향의 중대성 (때로 ‘현저성’(saliency)이라고도 함)은 그 발생 가능성과 심각성의 함수로 이해된다 (OECD, 2018[3]). 영향의 심각성은 그 규모, 범위 및 회복 불가능성에 따라 판단된다(표 2.3 참조). 규모는 부정적 영향의 심각성을 의미한다. 범위는 영향의 도달 범위를 의미하는데, 예를 들어 영향을 받았거나 받게 될 개인의 수 등을 포함한다. 회복 불가능성은 부정적 영향 발생 이전과 동등한 상태로 상황을 복구시키는 능력에 대한 제한성을 의미한다. 심각성은 절대적인 개념이 아니며 상황에 따라 달라진다. 일부 프레임워크에서 ‘확률’(probability)로 설명하는 발생 가능성의 개념은 심각성 요인과 상호 연계되어 있으며, 심각성과 함께 고려되어야 한다.
예를 들어, 어떤 AI 시스템이 발생 가능성은 낮지만 매우 심각한 위험과 발생 가능성은 높지만 상대적으로 덜 심각한 위험을 동시에 내포하는 경우, 해당 AI 시스템의 개발에 관여한 기업은 두 위험 모두를 고려하고 모니터링하며, 기업이 그 시점에서 가장 중대하다고 보는 위험에 대응하기 위한 절차가 마련되어 있음을 입증해야 한다.
기업은 신뢰할 수 있는 우선순위 설정 절차와 성과 지향적이며 기한이 명확한 목표에 대한 이행 진척을 제시할 것으로 기대된다. 위험 우선순위 설정과 관련하여 이해관계자를 참여시키고, 우선순위 기준 및 그 근거를 투명하게 공개하는 것은 실사 절차의 신뢰성을 강화하는 데 도움이 된다 (박스 2.6도 참고).
이행을 위한 실무 예시 (AI 시스템 생애주기 내 기업, 2그룹) – 자사 운영에서의 위험 식별
1. 평가 대상인 AI 시스템 또는 AI 행위자에 적용되는 구체적인 법적 요구사항과 국가/국제/산업 표준을 목록화하며, 여기에는 관련 국내 및 국제 기업책임경영과 노동 기준을 포함한다.
2. TEVV 정보(시험 및 평가, 검증 및 유효성 확인)를 검토하며, 여기에는 실험 설계, 데이터 수집 및 선정(예: 가용성, 정확성, 대표성 및 적합성), 시스템 신뢰성, 구성 타당도(construct validation) 관련 사항이 포함된다. AI 시스템 위험을 측정, 시험, 또는 완화하는 데 사용되는 도구 또는 지표 자체가 검증되어 있고, 입증된 정량적 유용성을 지니며, 모든 측정 항목 전반에 걸쳐 품질 보증 시험이 수행되도록 노력한다.
3. 위험과 관련이 있는 경우, 인간 대상자가 참여하는 AI 시스템 평과 결과를 검토한다.
4. 시스템 출력이 인간에 의해 어떤 방식으로 활용되고 감독될 것으로 예상되는지 검토한다.
5. 해당 AI 시스템을 개발 또는 배포한 팀 외부의 도메인 전문가, 사용자 및 기업과 협의한다.
6. 근로자, 근로자 대표 및 노동조합, 영향을 받았거나 잠재적으로 영향을 받을 지역사회, 독립적인 전문가 및 시민사회 단체를 포함하는 이해관계자와 협의하고 참여를 유도하여, 중대한 위험에 관한 정보를 수집하되, 효과적인 이해관계자 참여를 저해할 수 있는 잠재적 장벽을 고려한다. 이해관계자와의 직접 협의가 불가능한 경우, 인권 옹호자, 노동조합 및 시민사회 단체를 포함하는 독립적인 전문가의 의견을 수렴하는 등 합리적인 대안을 고려한다.
가) 영향을 받을 가능성이 있는 이해관계자와는 그들에게 영향을 미칠 수 있는 프로젝트 또는 활동의 착수 전 및 진행 중에 협의한다.
나) 영업 비밀 및 지적재산권 보호를 적절히 고려하는 범위에서, 일부 이해관계자가 AI 시스템 테스트(예: A/B 테스트)에 참여하거나 이를 검토할 수 있도록 허용하는 방안을 고려한다.
7. 배포 전 단계 및 개발 단계에서의 부정적 영향 위험(예: 모델 탈취, 내부 사용에서 비롯되는 오남용)을 고려한다.
8. AI 시스템의 견고성 및 보안에 대한 위험을 예컨데 수학적 보장 또는 적대적 견고성 시험(adversarial robustness testing)을 통해 식별한다.
9. 데이터 및 모델 수준에서의 프라이버시 및 데이터 거버넌스 위험을 식별한다(박스 2.3 참조).
10. 인권에 대한 부정적 영향과 사회 및 공공의 이익에 대한 피해를 야기하는 결과를 촉진하거나 조장하는 AI 시스템의 위험을 식별한다.
AI 맥락에서의 데이터 수집 및 처리는 여러 위험을 수반하며, 이를 적절히 해결하지 못할 경우 AI 시스템의 신뢰성과 그 출력 및 결과의 정확도를 훼손하여 부정적 영향을 야기할 수 있다. 이러한 영향은 불법적 또는 부적절하게 취득한 데이터, 조작된 데이터, 그리고 데이터에 대한 비대칭적 접근에서 비롯될 수 있다. 이러한 영향은 데이터 수준과 모델 수준에서, 그 교차 지점에서, 그리고 인간과 AI 시스템 간 상호작용에서 발생할 수 있다.
데이터 수준: 데이터 보호 영향 평가는 위험을 평가하는 표준 절차이다. 이러한 절차는 일부 관할권에서 법적으로 제도화되어 있다. 데이터 보호 영향 평가는 학습 데이터가 악의적으로 조작되어 모델의 작동에 영향을 미치는 데이터 포이즈닝(data poisoning) 위험도 고려한다.
모델 수준: AI 모델의 보안은 다음을 기준으로 평가할 수 있다.
1. 악의적 행위자가 가질 수 있는 접근 수준, 즉 “블랙 박스”(예: 모델에 대한 지식이 없는 상태)에서부터 “완전한 투명성”(예: 모델과 그 학습 데이터에 관한 완전한 정보)까지
2. 공격이 발생할 수 있는 단계(예: 학습 단계 또는 추론 단계)
3. 위협 프로파일을 고려할 때, 수동적 공격(예: “정직하지만 호기심이 많은”) 또는 능동적 공격 (예: 완전히 악의적인)이 발생할 가능성
4. 모델이 데이터의 국경 간 이전에 의존하는지 여부(예: 개발자가 다국적기업이고 데이터가 여러 관할권에서 수집되는 경우, 또는 모델 개발의 일부가 다른 주체에게 외주화되는 경우)
데이터와 모델 수준의 교차 지점: 위험에는 모델과의 상호학습을 통해 학습 데이터셋의 특정 구성원에 대한 추론이 가능해지는 문제가 포함된다. 취약성 수준을 평가하는 기법으로는 통계적 공개, 모델 역추론, 집단(class) 대표자 추론, 구성원 추론 및 속성 추론 등이 포함된다.
인간 – AI 상호작용: 교육, 체크리스트 및 검증 절차는 인간과 시스템 간의 상호작용에서 비롯되는 위험을 식별하는 데 도움이 될 수 있다(예: AI 시스템의 프라이버시 또는 데이터 거버넌스를 훼손하는 개발자 또는 사용자의 의도치 않은 행위 또는 미이행)
1980년에 채택되고 2013년에 개정된 「OECD 프라이버시 가이드라인」(OECD Privacy Guidelines) (OECD, 2015[16])은 프라이버시에 관한 OECD 작업의 초석이며, 프라이버시 및 데이터 보호에 관한 글로벌 최소 기준으로 인정된다. 아울러, 「OECD 프라이버시 가이드라인 이행 지침」(Implementation Guidance for the OECD Privacy Guidelines)의 ‘책임성에 관한 장’(Chapter on Accountability)은 프라이버시 관리 프로그램을 통해, 프라이버시 가이드라인에 규정된 책임성 원칙을 이해관계자가 더욱 잘 이해하고 이행하는 데 도움을 줄 수 있다. 이러한 프로그램은 위험 기반 접근방식을 바탕으로, 신흥 기술이 제기하는 도전과제를 포함한 새로운 위험과 도전과제를 조직이 해결하는 데 유용한 수단이 된다.
출처: OECD (2023[17]), 「OECD AI 분야에서의 책임성 강화: 신뢰할 수 있는 AI를 위한 생애주기 전반의 위험 통제와 관리」(OECD Advancing accountability in AI): Governing and managing risks throughout the lifecycle for trustworthy AI, https://doi.org/10.1787/2448f04b-en; OECD (2013[18]), 「프라이버시 보호 및 개인 정보의 국경 간 이전에 관한 가이드라인」(Guidelines governing the protection of privacy and transborder flows of personal data), https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0188.
이행을 위한 실무 예시 (AI 시스템 생애주기 내 기업 - 2그룹) – AI 시스템을 사용하는 사업 관계와 관련된 위험 식별
1. 우선순위로 선정된 위험과 관련하여, 조직의 관련 운영 또는 사업 관계를 파악한다.
2. 관련 고위험 사업 관계에 있는 자가 (1단계에 따라) 실사 정책과 내부 관리 체계를 갖추고 있는지 검토한다.
3. 사업 관계에 있는 자에 대한 평가, 특히 데이터 보강 서비스의 경우에 있어서는, 가능한 경우, 조직 자체 또는 제3자가 수행한 영향 평가, 법률 검토, 준법(compliance) 관리 시스템, 재무 감사, 산업안전보건 점검 결과, 근로자 조직, 노동조합 및/또는 시민사회 보고, 그리고 조직이 수행하였거나 산업 이니셔티브, 다중 이해관계자 이니셔티브 및 “고객 파악”(KYC) 절차를 통해 수행된 기타 관련 평가에서 얻은 정보를 활용한다.
4. 저위험 판매에 불필요한 부담을 주지 않으면서 잠재적 고위험 판매를 표시할 수 있도록 상향 보고 체계 도입을 고려한다. 일부의 경우, 이 절차는 수출 통제 및 제재 관련 기존 준법 절차와 관련되거나 통합될 수 있다. 이는 다음을 포함한다.
가) 부정적 영향의 위험이 높은 판매 건을 표시하기 위한 기준을 설정하고, 그러한 판매 건으로 표시된 경우, 판매를 승인하기 전에 추가 실사를 수행한다.
나) 최종 사용자 위험 및 고객 실사에 관해 관련 직원을 교육한다.
다) 영업팀 및 영업 파트너에 대한 성과 인센티브에 기업책임경영 관련 정책을 반영한다.
라) 영업 파트너 계약에 기업책임경영 관련 요구사항을 반영한다.
마) 영업 파트너에게 기업책임경영 실사에 관한 교육 및 지침을 제공한다.
바) 영업 파트너를 위한 위험 정보 보고 메커니즘을 구축한다.
이행을 위한 실무 예시 (투입요소 공급업체 및 AI 시스템 이용자, 1, 3그룹)
1. 실사 절차에서 고위험으로 표시된 2그룹 활동에 관여하는 기업과 거래할 때, 기업은 해당 사업 관계에 있는 자와 직접 소통하여 그들의 실사 노력에 대해 더욱 이해할 수 있도록 해야 하며, 적절한 경우 이들 사업 관계에 있는 자가 실제 및 잠재적인 부정적 영향을 해결하기 위한 추가 조치를 취하도록 권고해야 한다. 사업 관계에 있는 자로부터 수집해야 할 구체적인 실사 정보는 다음이 포함된다.
가) 해당 AI 행위자가 책임 있는 AI에 관한 국내 또는 국제 표준을 준수하겠다고 한 약속(예: 히로시마 프로세스 행동강령, 유럽연합 인공지능협약, 유럽연합 인공지능법 및 또는 디지털서비스법(DSA)에서 파생되는 관련 행동 강령)
나) AI 시스템과 관련하여 식별되고, 우선순위가 정해지고, 평가된 중대한 부정적 영향 또는 위험
다) 어떤 위험을 먼저 다룰지 우선순위를 정하는 기준(2.4 단계 참조).
라) 위험을 예방하거나 완화하기 위해 이미 취했거나 계획된 조치, 여기에는 가능한 경우 개선을 위한 예산 일정, 개선 벤치마크 및 그 성과를 포함(3단계 참조).
마) 이행 상황과 결과를 추적하기 위한 조치(4단계 참조)
바) 모든 구제 제공 또는 그에 대한 협력(6단계 참조)
2. 이용 가능한 실사 정보가 없거나, 사업 관계에 있는 자가 위험 평가에 필요한 수준의 충분한 세부 정보를 제공하지 않은 경우, 기업은 해당 사업 관계에 있는 자가 공개를 가능하게 하도록 소통을 계속하는 한편, 기존 평가 자료, 예를 들어 협업적인 산업 주도 또는 다중 이해관계자 이니셔티브를 통해 공유되는 평가, 학술 연구, AI 안전 등급 평가 서비스 제공자의 평가, NGO 보고서 또는 기타 시장조사 서비스를 참고할 수 있다.
2.3 단계 –실제 또는 잠재적 영향에 대한 관여 유형 평가 (야기, 기여, 직접적인 연결)
식별된 실제 또는 잠재적인 부정적 영향에 대해 기업이 어느 정도 관여하고 있는지 평가한다. 구체적으로, 해당 조직 또는 관련 사업 관계가 그 부정적 영향을 야기하였는지(또는 야기하게 될 것인지), 그 부정적 영향에 기여하였는지(또는 기여하게 될 것인지), 또는 그 부정적 영향이 사업 관계를 통해 기업의 운영, 제품 또는 서비스와 직접적으로 연결되어 있는지(또는 연결될 것인지)를 평가한다. 기업과 부정적 영향 간의 관계는 고정되어 있지 않다. 예를 들어, 상황이 변화함에 따라, 그리고 식별된 위험 및 부정적 영향을 해결하기 위해 수행된 실사와 취해진 조치가 영향 발생 위험을 낮추는 정도에 따라, 그 관계는 달라질 수 있다.
모든 기업은 실사를 수행할 것으로 기대되지만, 실사의 수준은 식별된 실제 또는 잠재적인 부정적 영향에 대한 관여 정도에 따라 달라진다. 부정적 영향을 야기하는 기업은 잠재적 영향이 발생하지 않도록 관련 활동을 중단하거나 이를 예방할 것으로, 실제로 발생한 부정적 영향으로 인해 야기된 피해는 구제할 것으로 기대된다.
부정적 영향에 기여한 기업은 잠재적 영향에 대한 자사의 기여를 중단하거나 예방하고, 실제로 발생한 피해 및 그 피해를 야기한 영향의 사용과 관련하여 자사의 기여 부분을 구제할 것으로 기대된다. 또한 필요한 경우, 추가적인 위험을 예방하거나 완화하기 위해 사업 관계에 있는 자에 대해 영향력을 강화할 것으로 기대된다. 기업은 자사의 활동이 다른 주체들의 활동과 결합되어 그 부정적 영향을 야기하는 경우, 또는 자사의 활동이 다른 주체가 부정적 영향을 야기하도록 원인을 제공하거나 이를 용이하게 하거나, 또는 유인하는 경우, 그 영향에 기여한 것으로 간주된다. 기여는 실질적이어야 하며, 따라서 경미하거나 사소한 기여는 포함되지 않는다.
부정적 영향에 직접 연결된 기업은 사업 관계에 있는 자가 부정적 영향 또는 위험을 예방하거나 완화하도록 촉구하기 위해 영향력을 행사하고, 필요한 경우 이를 강화할 것으로 기대된다. “연결”은 다른 주체 (즉, 사업 관계)를 통해 부정적 영향과 기업의 제품, 서비스 또는 운영 사이에 형성되는 관계로 정의된다. AI 시스템이 배포되거나 판매 또는 재판매된 이후의 부정적 영향에 대한 기여 또는 직접적인 연결은, 제품 설계에서 완화되지 않은 위험이나 고위험 최종 사용자와 관련되는 경우가 종종 있다.
부정적 영향에 대한 관여 유형을 보여주는 상황 예시는 박스 2.5를 참조하며, 이러한 개념에 대한 상세한 설명은 OECD기업책임경영 지침에서 찾을 수 있다.
출처: OECD (2018[3]), 「기업책임경영을 위한 OECD 기업실사 지침」, http://mneguidelines.oecd.org/OECD-Due-Diligence-Guidance-for-Responsible-Business-Conduct.pdf.
부정적 영향을 야기하는 경우
V 회사는 사용자가 입력하는 프롬프트를 바탕으로 텍스트, 오디오 및 비디오 형태의 결과물을 생성할 수 있는 생성형 AI 모델을 개발하여 배포한다. 이 모델은 공개적으로 이용 가능한 출처에서 수집한 데이터를 사용해 학습되었다. 또한 V 회사는 이용자가 모델을 사용하기 위해 구독할 때, 그리고 이용자가 프롬프트에 개인정보를 입력할 때 수집된 개별 이용자의 비공개 데이터로도 이 모델을 학습시킨다. 그러나 V 회사는 이용자 데이터가 어떤 방식으로 모델 학습에 사용되는지 이용자에게 알려주기 위한 효과적인 안전장치를 마련하지 않았다. 또한 모델이 생성하는 출력물을 통해 비공개 데이터가 유출되는 것을 방지하지 못했다.
V 회사는 개인정보 보호권에 대한 부정적 영향을 야기하고 있다.
부정적 영향에 기여하는 경우
X회사는 카메라, 이메일 및 회사 노트북에서 사용되는 프로그램, 사내 근로자 의사소통 도구 등으로부터 데이터를 수집 및 분석하여, 근로자의 생산성을 모니터링하고 분석하도록 설계된 AI 기반 감시 시스템을 개발하고 운영하고 있다. 해당 AI 감시 시스템은 근로자가 회사에 대해 부정적인 발언을 자주 하거나, 피로함을 보이거나, 동료에 대한 공격적인 행동, 회사 데이터를 오남용하는 등 특정 유형의 행동을 보일 경우 이를 표시할 수 있는 기능을 갖추고 있다. X 회사는 해당 AI 감시 시스템을 다른 회사에 판매하고 있다. A 회사는 X 회사로부터 해당 AI 시스템을 구매하여 자사 물류 창고 근로자를 모니터링하는 데 사용한다. A 회사는 불법적인 노조 탄압 활동과 근로자의 충분한 사전 동의 없이 근로자를 모니터링한 행위로 벌금을 부과 받은 것으로 보도되었다. 이후 해당 AI 시스템이 수집한 정보와 직원 정서에 관한 분석 결과는 노조를 조직하고 있는 것으로 여겨지는 근로자들의 계약을 해지하는 결정을 내리는 데 활용되었다.
이 시나리오에서 X 회사는 의도된 용도가 부정적 영향을 야기할 가능성이 큰 AI 시스템을 설계하고, 제품 설계에 충분한 안전장치를 포함하지 않음으로써 A 회사가 그 영향을 야기하도록 실질적으로 촉진했다는 점에서 부정적 영향에 기여하고 있다. 또한 X 회사는 과거 전력으로 볼 때 부정적 영향의 발생 가능성이 높은 고객에게 해당 시스템을 제공했다.
한편 동일한 AI 시스템이 관련된 다른 상황 예시를 보자면, 한 학술기관이 근로자 생산성에 관한 연구에 해당 AI 시스템을 사용할 수 있도록 접근 권한을 부여 받았다. 그러나 이 학술기관은 해당 AI 시스템을 자기 기관의 직원들에 대해서도 충분한 사전 동의 없이 그들의 행동을 모니터링하는 데 사용하였다. 이 상황 예시에서는 학술기관이 보고한 해당 AI 시스템의 사용 목적이 부정적 영향을 야기할 가능성이 크지 않았고, X회사의 고객인 해당 학술기관 또한 예견 가능한 고위험 고객이 아니었으므로, X 회사는 부정적 영향을 실질적으로 기여했다고 보기는 어렵다.
부정적 영향과 직접적으로 연결된 경우
Y회사는 피부암의 한 유형을 탐지하는 데 사용되는 AI 시스템을 개발 중이다. 이 AI 시스템은 해당 피부암 병변이 있는 개인들의 이미지를 포함하는 데이터셋을 이용해 학습되었다. 해당 데이터셋은 서비스 제공업체인 B회사로부터 구매한 것이다. B회사는 충격적인 이미지를 포함한 수천 장의 이미지를 자사 근로자들에게 검토하고 라벨링하도록 함으로써 데이터셋을 구축하였다. 이러한 근로자들 중 다수는 이 업무로 인해 정신건강에 부정적 영향을 겪었다고 보고했다. B회사는 근로자 보호가 미흡한 관할 지역에 소재해 있다. B회사는 근로자와의 소통 체계를 갖추고 있지 않으며, 근로자에게 어떠한 형태의 정신적 지원 서비스도 제공하지 않았다.
이 경우, Y 회사는 B회사의 근로자에게 발생한 영향을 야기하거나 그 영향에 기여한 것은 아니다. 그러나 Y 회사는 B회사와의 사업 관계를 맺고 있으므로, B회사가 야기한 부정적 영향과 직접적으로 연결되어 있다.
위에서 언급한 바와 같이, 위험에 대한 기업의 관계는 고정되어 있지 않다. 만약 Y회사가 B회사로부터 계속해서 서비스를 구매하면서도 그 위험을 완화하기 위한 어떠한 조치도 취하지 않는다면, 시간이 지나면서 그 위험과의 직접적인 연결은 영향에 대한 기여로 발전할 수 있다.
2.4 단계 –가장 중대한 (즉, 가장 현저한) 위험의 우선순위 설정
실제 및 잠재적인 부정적 영향에 대해 확보한 정보를 바탕으로, 심각성과 발생 가능성에 근거하여 조치를 취할 대상으로서 가장 중대한(즉, 가장 현저한) 위험과 부정적 영향을 우선순위로 설정한다. 우선순위 설정은 모든 실제 및 잠재적인 영향을 즉시 모두 해결하는 것이 불가능한 경우에 관련된다. 기업은 가장 중대한 부정적 영향을 식별하고 이를 처리한 후에, 그보다 덜 중대하지만 예견 가능한 영향들을 해결하는 단계로 나아가야 한다.
부정적 영향의 위험이 가장 중대한 지점은 기업별로 상이하다. 따라서 기업은 신뢰할 수 있는 우선순위 설정 절차를 갖추고 이를 입증하는 것이 중요하다.
근로자, 근로자 대표 및 노동조합을 포함한 관련 이해관계자들과 우선순위를 어떻게 설정할지에 대해 소통하고, 우선순위 결정이 이루어지는 근거를 공개적으로 설명하는 것은 기업의 실사 접근방식에 대한 신뢰를 형성하는 데 유용할 수 있다. 경우에 따라 우선순위 설정은 국내법적 의무를 반영하여 이루어질 수도 있다.
3.1단계 –기업이 야기하거나 기여하는 위험의 해결
기업은 해당 영향에 대한 자사의 관여 정도 평가에 근거하여, 부정적 영향을 야기하거나 이에 기여하고 있는 활동을 중단한다.
잠재적인 (미래의) 부정적 영향을 예방하고 완화하기 위한 계획을 수립하고 이행한다.
실사의 성격과 범위는 기업 운영 환경과 같은 요인의 영향을 받을 수 있으며, 기업의 자원, 부정적 영향에 대한 기업의 관여 정도, 그리고 부정적 영향의 심각성에 비례해야 한다. 광범위한 사업 운영을 수행하고 다수의 제품 또는 서비스를 보유한 대기업은, 제품 또는 서비스 범위가 제한된 소기업에 비해 위험을 효과적으로 식별하고 관리하기 위해 더욱 공식화되고 광범위한 시스템이 필요할 수 있다.
기업이 위험과 영향에 대응할 것으로 기대되는 방식에는 현실적인 한계가 있다. 위험 완화 노력은 다음 사항을 고려하여 비례적으로 이루어져야 한다.
기업 운영의 맥락(예: 가치사슬에서의 기업의 역할, 영향력, 기업의 기술적 역량)
기업의 규모
부정적 영향에 대한 관여(즉, 야기, 기여 또는 직접적으로 연결됨 – 박스 2.5 참조)
부정적 영향의 심각성
각 기업은 자사 몫의 역할을 수행해야 하며, 한 기업의 책임이 다른 기업에 전가되어서는 안 된다. 또한, 기업책임경영 실사는 완벽의 기준이 아니라 개선의 기준이다. 기업은 자사가 관여하고 있는 모든 위험과 영향을 즉시 해결할 것으로 기대되지 않는다. 그보다는, 기업은 부정적 영향을 피하고 이를 해결하기 위해, 자사의 시스템과 프로세스를 점진적으로 개선해 나가는 것을 목표로 해야 한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1~3 그룹)
1. 부정적 영향을 야기하거나 이에 기여하는 활동이 중단되도록 보장하고, 향후 부정적 영향을 야기하거나 이에 기여할 수 있는 활동을 예방하기 위한 책임을 관련 고위 임직원에게 부여한다. 위험의 맥락에 따라, 위험을 해결하기 위해 필요한 조치를 취할 수 있는 수단을 보유한 서로 다른 사업부의 인력이 포함될 수 있다(예: 연구 및 제품 개발, 조달, 고객관계관리, 영업 또는 법무).
2. 운영상, 계약상 또는 법률상의 문제로 인해 중단이 어려울 수 있는 복잡한 활동의 경우(예: 정부 서비스 제공, 장기 계약 및 사업 관계 의존성), 부정적 영향을 야기하거나 이에 기여하는 활동을 어떠한 경로로 중단할 것인지에 대한 로드맵을 수립한다. 기업은 상황의 복잡성, 그리고 시간이 경과함에 따라 활동을 점진적으로 중단하기 위해 수행한 노력을 대외적으로 설명하는 것이 도움이 될 수 있다.
3. 적절한 조치를 마련하고 계획을 이행하기 위해, 영향을 받는, 그리고 잠재적으로 영향을 받을 수 있는 이해관계자 및 그들의 대표자와 협의하고 참여시킨다(제1장 ‘유의미한 이해관계자 참여’ 참조).
4. 위험 평가 결과를 토대로, 부정적 영향이 발생하기 전에 정보를 더욱 효과적으로 추적하고 위험을 조기에 표시할 수 있도록 관리 시스템을 업데이트하고 강화한다.
5. 향후 부정적 영향을 피하고 이를 해결하는 방법에 대한 지침을 제공하고 그 이행을 보장하기 위해, 이해관계자의 적극적 참여를 바탕으로 기업 정책을 업데이트한다.
6. 어떤 완화 조치를 취할지 결정할 때에는, 해당되는 경우, 그 조치를 취함으로써 발생할 수 있는 다른 위험과 AI 시스템을 배포하거나 사용함으로써 얻는 편익을 함께 고려하여 비교하는 것을 검토한다.
AI 가치사슬을 넘어, AI는 기업책임경영 실사의 이행을 지원하는 데에도 잠재적으로 활용될 수 있다. 예를 들면 다음과 같다.
수작업으로 모니터링하기 어렵거나 비용 부담이 큰 복잡한 글로벌 가치사슬 전반에서 잠재적인 부정적 영향을 식별할 수 있도록, 방대한 공급업체 데이터를 분석하는 데 도움을 준다.
뉴스, 보고서 및 소셜미디어를 탐색하여 기업의 운영 또는 사업 관계와 관련된 신규 쟁점에 대한 조기 경보를 제공하고, 아울러 여러 관할권에 걸친 준수 관련 맞춤형 정보를 제공함으로써, 다국적기업이 각기 다른 시장에서 변화하는 프레임워크를 파악할 수 있도록 지원한다.
제품의 원산지 및 생산 조건을 검증하는 데 도움을 주고, 투명성을 제고하며, 식별된 문제에 대해서는 보다 효과적인 구제가 가능하게 한다.
이행을 위한 실무 예시 (AI 시스템 생애주기 내 기업, 2그룹)
AI 시스템이 야기하거나 기여하는 위험을 피하고 완화하기 위한 조치는 대체로 아래의 네 범주로 구분할 수 있다. 다만, 적정 조치는 해당 AI 시스템의 특성과 사용 사례에 따라 달라지며, 이 외에도 다양한 추가 조치를 고려할 수 있다.
AI 모델 학습을 위한 데이터의 책임 있는 조달 및 사용, AI 시스템 생애주기 중 데이터 수집 및 처리 단계 포함(예: 데이터 품질 및 AI 시스템 성능을 평가하고 개선하기 위한 조치, 또는 부정적 영향을 야기하는 방식으로 수집되거나 주석 처리된 데이터를 조달함으로써 발생할 수 있는 위험을 예방 또는 완화하기 위한 조치)
투명성, 설명가능성 및 추적가능성, 특히 배포 이후(예: AI 시스템의 기능, 역량 및 위험에 관해 이해관계자에게 정보를 지속적으로 제공하기 위한 조치)
물리적 보안 및 사이버보안을 포함한 보안 및 견고성, 이는 AI 시스템 생애주기 전반에 걸쳐 적용(예: AI 시스템이 공격에 대한 복원력을 갖추고, 신뢰성, 반복가능성, 재현가능성 및 예측가능성을 입증하도록 보장하기 위한 조치)
책임 있는 배포, 이는 책임 있는 운영과 모니터링을 포함하며, 필요한 경우 운영 종료 또한 포함(예: 해당 모델이 배포에 안전한지 여부를 평가하고 적절한 안전장치를 이행하기 위한 조치)
책임 있는 데이터 조달 및 학습
1. 데이터 품질 검토를 실시하여 부정확한 라벨 및 대표성 관련 문제를 식별하고 해결한다.
2. 데이터 정제, 온-디바이스(on-device) 처리, 연합 학습 등의 방식으로, 데이터 수집 및 AI 시스템 학습에서 프라이버시 보호 및 책임 있는 데이터 거버넌스 접근방식을 이행한다. 데이터 품질 검토 등을 포함한 정기적 AI 시스템 모니터링 및 유지관리의 일환으로, 개발에 사용되는 사전학습 모델을 점검한다.
3. 기업이 당초 계획한 규모에서 안전한 모델을 학습할 수 있다는 확신이 없는 경우, 점진적 스케일링 (즉, 더 작은 모델 또는 다른 방식으로 성능을 낮춘 모델부터 학습) 방안을 고려할 수 있다.
4. 역강화학습 등 최신 정렬(alignment) 및 안전 기법을 적용한다(Centre for the Governance of AI, 2023[19]).
5. 수집 및 처리와 연계된 위험을 예방하거나 완화하기 위한 조치를 취한다.
6. 데이터 품질 및 조달과 관련된 위험은 데이터 강화 서비스와도 연계될 수 있다.
투명성, 설명 가능성 및 추적가능성
7. 중요한 의사결정에 대한 인간 검토 및 이의제기 절차 관련 결정을 포함하여, 하도급업체로부터 데이터 조달, 데이터셋, 처리 절차, 그리고 시스템 개발 과정에서 이루어진 관련 의사결정과 관련하여, 투명성, 설명가능성 및 추적가능성을 확보할 수 있도록 노력한다(박스 2.8 참조).
이 맥락에서 투명성이란, 사람들이 예측, 추천, 의사결정 또는 상호작용(예: 챗봇)에 AI가 사용되고 있음을 인지할 수 있도록 공개하는 것을 의미한다. 또한 투명성은 해당 적용 분야에서 AI 시스템이 어떻게 개발, 학습, 운영 및 배포되는지를 사람들이 이해할 수 있도록 함으로써, 가령 이용자와 소비자가 더욱 충분한 정보를 바탕으로 선택을 내릴 수 있게 하는 것을 의미한다. 맥락에 따라, 그리고 법령상 요구되지 않는 한, 투명성은 소스 코드나 그 밖의 독점 코드 또는 데이터셋까지 공개할 필요는 없으며, 이는 이러한 정보가 결과를 이해하는 데 실질적으로 유용하지 않을 정도로 기술적으로 지나치게 복잡할 수 있기 때문이다.
설명가능성은 이해관계자들이 AI 시스템의 결과가 어떠한 방식으로 결정되는지 이해할 수 있도록 하는 것을 의미한다. 이는 부정적 영향을 받은 사람들이 해당 결과에 대해 이의를 제기할 수 있도록, 특히 실행가능한 범위에서 결과에 이르게 된 요인과 논리에 관한 정보를 쉽게 이해할 수 있는 형태로 제공하는 것을 포함한다.
설명가능성은 맥락(예: 결과의 중대성)에 따라 서로 다른 방식으로 달성될 수 있다. 예를 들어, 일부 유형의 AI 시스템에서는 설명가능성을 요구하는 것이 시스템의 정확도 및 성능에 부정적인 영향을 미칠 수 있거나 (인간이 이해할 수 있을 만큼 충분히 적은 수의 변수로 솔루션을 축소해야 할 수도 있는데, 이는 복잡한 고차원 문제에서는 최적의 성능을 내지 못하는 결과로 이어질 수 있음), 또는 프라이버시와 보안에 부정적인 영향을 미칠 수 있다. 아울러, 설명가능성 확보를 위한 요구사항은 복잡성과 비용을 증가시켜, 중소기업인 AI 행위자에게 불균형적으로 불리하게 작용할 가능성도 있다.
따라서 AI 행위자가 결과에 대한 설명을 제공할 때는, 맥락에 비추어 적합한 범위에서 명확하고 간명한 표현으로, 의사결정의 주요 요인, 결정적 요인, 해당 결과에 구체적으로 적용된 데이터, 논리, 또는 알고리즘, 또는 유사해보이는 상황에서 서로 다른 결과가 도출된 이유 등을 제시하는 방안을 고려할 수 있다. 이는 해당되는 경우, 개인정보 보호 의무를 준수하면서도, 개인이 해당 결과를 이해하고 이의를 제기할 수 있도록 하는 방식으로 이루어져야 한다.
개발 관점에서, 설명가능성은 시스템 실패로부터 학습하기 위한 핵심적인 요소로도 간주된다. 설명가능성이 확보되지 않으면, 오류로부터 배울 수 있는 중요한 통찰력을 확보할 수 없다. 실패로 이어진 의사결정 과정을 이해할 수 있는 능력은 AI 시스템을 개선하고 신뢰를 구축하는 데 필수적인 것으로 여겨진다.
AI에서 추적가능성은 AI 시스템 개발에 포함되는 데이터, 절차, 코드 및 다른 요소의 출처를 기록으로 유지하려는 노력을 의미한다. 추적가능성은 입력 데이터나 모델 등과 같은 AI 시스템의 특정 요소 또는 구성요소에 관한 세부적인 정보를 포착하는 경우가 많다. 이는 시스템에 대한 감사를 가능하게 하는 데 필수적이다. 투명성과 추적가능성을 확보하기 위해, 기업은 AI 시스템의 생애주기 전반에 걸쳐 자사의 구체적 활동과 관련되고 실행 가능한 범위에서 다음 정보를 문서화할 수 있다.
2.1단계에서 식별된 사용 정보 및 위험 정보
데이터 출처, 데이터 수집 절차 및 데이터 처리 정보
필요한 라이브러리를 포함한 전체 코드
매개변수의 세부 문서화와 컴퓨팅 요구사항을 포함하여, 산출물의 재현성을 보장하기 위한 코드 실행 방법에 관한 정보
모델 산출물이 어떻게 사용되는지에 대한 정보, 그리고 산출물 또는 의사결정이 AI 시스템에 의해 생성되는지 여부(예: AI 생성 이미지, 오디오, 텍스트임을 공개)
성능 지표, 임계값, 모델의 예상 작동 양상 및 완화 조치를 포함하는 모니터링 전략에 관한 정보, 모델의 결함, 한계 및 편향에 관한 정보, 그리고 이를 관련 이해관계자에게 전달하는지 여부와 그 방식에 관한 정보
공개는 공개 대상에 맞추어 조정되어야 하며, 이를 위해 세부 수준이 서로 다른 다수의 공개 수단을 마련해야 할 수도 있다(예: AI 영양분석표, 데이트시트, 모델 카드, 시스템 카드, 기술 보고서 등).
출처: OECD (2024[20]), 「AI, 데이터 거버넌스 및 프라이버시: 국제협력의 시너지와 협력 분야」(AI, data governance and privacy: Synergies and areas of international co-operation), https://doi.org/10.1787/2476b1a4-en; 미국 상무부 산하 국가전기통신정보청(NTIA) (2024[21]), 「인공지능 책임성 정책 보고서」(AI Accountability Policy Report), https://www.ntia.gov/sites/default/files/publications/ntia-ai-report-final.pdf; 유럽연합(EU) (2024[14]), 2024년 6월 13일자 유럽의회 및 이사회의 인공지능에 관한 조화된 규칙을 제정하는 규정 2024/1689 (Regulation (EU) 2024/1689), https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ:L_202401689.
8. 관련되는 경우, 다음 정보를 모델 설명에 포함함으로써, AI 시스템의 산출물에 대한 해석 및 설명을 생성하고 제공할 수 있는 방법을 마련하도록 노력한다.
가) 모델 입력 데이터의 유형 및 출처
나) 상위 수준의 데이터 변환 과정
다) 의사결정 기준 및 근거
라) AI 사용에 대한 공개
9. 기업은 자동화된 의사결정 과정에 대해 명확하고, 접근 가능하며, 의미 있는 설명을 제공할 수 있도록 하는 메커니즘을 구축해야 하며, 특히 그러한 결정이 개인에게 중대한 영향을 미칠 수 있는 경우에는 이러한 메커니즘을 구축하는 것이 더욱 중요하다. 이러한 설명에는 평균적인 사용자의 이해 수준에 맞추어, 알고리즘 과정의 논리, 주요 매개변수 및 잠재적 결과가 포함되어야 한다.
10. 기술적으로 실행 가능한 경우(박스 2.9 참조), 신뢰할 수 있는 콘텐츠 진위 확인 및 출처 확인 메커니즘을 개발하고 배포한다.
출처는 일반적으로 하나의 디지털 콘텐츠(이미지, 영상, 음성 녹음 및 문서)의 기원에 관한 기본적이고 신뢰할 수 있는 사실 정보를 의미한다. 여기에는 누가, 어떤 방식으로 해당 디지털 콘텐츠를 생성했는지, 그리고 언제, 어디에서 생성 또는 편집되었는지에 관한 정보가 포함될 수 있다. 디지털 콘텐츠의 출처를 인터넷 규모와 속도에 맞추어 탐지하는 것은 현재 극히 어려우며, 이는 조작 소프트웨어가 갈수록 점점 더 정교해지고, 메타데이터 역시 쉽게 조작될 수 있으며, 메타데이터만으로는 그 기원을 입증할 수 없기 때문이다. 기술적 해법과 모범 사례는 현재, 콘텐츠 출처 및 진위 확인을 위한 연합(C2PA)의 「이행자 지침」(Guidance for Implementers) 및 「AI와 기계학습 지침」(Guidance for AI and ML), 그리고 인공지능에 관한 파트너십(Partnership on AI, PAI)의「합성 미디어를 위한 책임 있는 관행」(Responsible Practices for Synthetic Media) 등과 같은 산업 협력 및 다수의 이해관계자 노력을 통해 개발 및 정립되고 있다.
일반적으로, 본 이슈와 관련된 기존 모범 사례는 다음의 세 가지 주요 요소로 구성된다.
합성 미디어를 생성하는 기술의 역량, 기능, 한계 및 잠재적 위험에 관한 투명성
직접 또는 간접 공개 방식(예: 콘텐츠 라벨 워터마크)
탐지 방법과 암호학적 공개의 내구성에 관한 연구개발 투자
출처: OECD (2022[13]), 「OECD AI 시스템 분류 프레임워크」(OECD Framework for the Classification of AI systems), https://doi.org/10.1787/cb6d9eca-en; 콘텐츠 출처 및 진위 확인을 위한 연합(C2PA) (n.d.[22]), 「C2PA 설계 및 규격을 위한 지침」(Guiding Principles for C2PA Designs and Specifications), https://c2pa.org/principles/; 인공지능에 관한 파트너십(Partnership on AI) (n.d.[23]), 「합성미디어에 관한 책임 있는 관행」, https://syntheticmedia.partnershiponai.org/#read_the_framework.
11. AI 시스템의 장기적 편익과 위험을 완전히 이해할 수 있도록, AI 측정과학의 발전 및 표준화에 기여하는 것을 고려한다.
12. 외부 이해관계자가 AI 시스템을 더욱 잘 이해할 수 있도록 외부 이해관계자용 가이드 개발을 고려한다. 이러한 가이드는 책임 있는 AI 문서화의 형태로 작성될 수 있으며, 의도된 사용 사례 및 한계, 책임 있는 AI 설계 선택, 그리고 배포 및 성능 최적화를 위한 모범 사례에 관한 정보를 이해관계자가 한 곳에서 확인할 수 있는 단일 저장소가 된다. 이러한 가이드는 OECD AI 원칙과 관련된 쟁점을 해결할 수 있다. 이 가이드는 AI 시스템 및 관련 위험에 대한 이해가 심화됨에 따라 지속적으로 보완되고 발전하는 문서가 될 것이다.
13. 공개 정보는, 적절하고 관련성 있는 범위에서, 배포자 및 사용자가 모델/시스템의 산출물을 해석할 수 있도록 하고 사용자가 이를 적정하게 사용할 수 있도록, 충분히 명확하고 이해 가능하게 제공되어야 한다. 또한 공개 정보는 견고한 문서화 절차에 의해 뒷받침되고, 해당 절차에 근거하여 작성되어야 한다.
보안, 안전 및 견고성
1. AI 시스템 생애주기 전반에 걸쳐 견고성, 보안 및 안전을 지원하기 위한 접근방식을 개발한다. 예를 들면 다음과 같다.
가) 위험에 비례하는 범위에서, AI 시스템 생애주기의 각 단계에 대해 레드팀(red teaming) 점검을 수행한다.
나) AI 시스템의 작동 양상을 모니터링한다. 여기에는 사용자 및 그 밖의 관련 AI 기관의 의견 수집 및 평가, 이의제기 및 인간 개입에 의한 결정 번복(override), 시스템 운영 종료, 인시던트에 대한 대응, 복구, 변경 관리 등이 포함된다.
다) AI 시스템 실패에 신속히 대응하기 위한 메커니즘을 구축한다. 예를 들어, 의도된 사용에 부합하지 않은 성능 또는 결과를 보이는 AI 시스템을 대체, 분리, 또는 비활성화 할 수 있는 메커니즘을 포함한다.
라) 견고한 내부자 위협 탐지 프로그램을 구축한다.
마) 모델 가중치를 보호한다.
바) AI 시스템 생애주기 동안, 합의된 지표에 비추어 성능 변화를 모니터링한다.
사) 사이버보안 보호조치를 구축한다.
아) 데이터 및 모델 드리프트(drift)를 확인하기 위해 AI 시스템의 결과를 모니터링한다.
책임 있는 배포
1. 배포 이전에, 시스템 요구사항 및 설계 결정(예: “시스템은 이용자의 프라이버시를 존중하여야 한다”)에 관한 의견을 수렴하기 위해 이해관계자와 협의한다(박스 2.10 참조).
명확하고 투명한 대응 계획은 AI 시스템 배포 시 위험을 예방하기 위한 필수 요소이다. 이 계획은 다음 사항을 명확히 규정할 수 있다.
위협 모델링 과정에서 도출된 바에 따라, 배포 수정이 필요하다고 판단되는 위험 시나리오 및 예상된 작동 양상에서의 일탈을 식별하기 위한 기준
IT, 사이버보안, AI 개발, 법무, 커뮤니케이션, 관련 사업 부서 및 외부 도메인 전문가 대표로 구성되는 대응팀의 구성. 잠재적인 위험 시나리오가 다양하기 때문에, 인시던트에 대한 대응에는 AI 개발자만으로는 처리하기 어려운 전문성을 요구할 수 있으며, 다수 당사자의 의견을 필요로 할 수 있다.
인시던트 대응 과정에 참여하는 다양한 팀과 개인의 역할과 책임. 신속하게 조치를 취하기 위해, 팀 내 모든 구성원은 자신의 책임과 자신이 결정해야 하는 사항을 숙지해야 한다.
의사 결정이 자동화되는 범위와 인간 운영자에게 맡겨지는 범위
권한이 공유되는 범위
배포 수정 프로토콜이 구속력을 갖는 범위
보다 자세한 사항은 인공지능 정책 및 전략 연구소(Institute for AI Policy and Strategy, (2023[24]), ISO (2023[25])에서 확인할 수 있다.
2. 위험에 대한 증거가 나타나면 AI 시스템을 단계적으로 배포하기 위한 방안을 고려한다. 연구에 따르면, 생성형 AI 모델을 배포할 때 적용되는 ‘접근 권한의 단계적 체계’가 확인되었는데, 이는 한쪽 끝에서는 완전 폐쇄형 운영 및 점진적/단계적 공개가 위치하고, 다른 한쪽 끝에서는 다운로드 가능하며 완전 공개된 형태가 위치하는 방식으로 구성된다 (Solaiman, 2023[26]). 각 접근 수준에서는 위험뿐 아니라 공개 확대와 위험 통제 간의 절충 문제도 존재하며, 이는 AI 시스템과 관련된 위험을 예방하고 완화하는 방안을 검토할 때 고려해야 한다(박스 2.11 참조).
연구에 따르면, 생성형 AI 시스템을 배포할 때의 위험을 다루기 위하여 기업이 투자할 수 있는 구체적인 기술적 도구와 기업이 취할 수 있는 비기술적 조치가 식별되었다. 이러한 도구와 조치의 적합성은 시스템 및 배포 시나리오에 따라 달라질 수 있으며, 따라서 이는 기업이 고려할 수 있는 잠재적 도구 및 조치의 예시로 제시된다.
기술적 도구는 다음을 포함한다.
출력 횟수 제한(Rate limiting) – 사용자가 생성할 수 있는 출력물의 수를 제한한다.
안전 및 콘텐츠 필터 – 잠재적으로 안전하지 않은 입력이 주어질 경우, 빈 응답이 반환되도록 설계된 필터
탐지 모델 – AI 생성 콘텐츠를 기술적 및 인적 수단으로 탐지
응답의 하드코딩(Hardcoding) – 특정 입력에 대하여 미리 정해진 안전한 출력이 나오도록 하고, 이를 모델 인터페이스에 하드코딩하는 방식
비기술적 조치는 다음을 포함한다.
내부 위험 정책 및 행동 강령(1단계 참조)
라이선스를 통해 법적 안전장치를 설정하며, 이용약관 위반에 대해서는 라이선스 소유자가 그 집행을 추진할 수 있도록 한다. 이러한 조치는 더욱 제한적인 유형의 AI 시스템에서는 가능하나, 완전한 다운로드가 가능하거나 공개된 시스템에서는 어려울 수 있다.
AI 시스템의 설계 및 배포에 관여하는 비전문가를 대상으로 진행되는 인권 및 노동권 교육에 대한 투자
위험 예측 활동에 대한 투자
출처: OECD (2023[17]), 「AI분야에서의 책임성 강화: 신뢰할 수 있는 AI를 위한 생애주기 전반의 위험 통제와 관리」(Advancing accountability in AI: Governing and managing risks throughout the lifecycle for trustworthy AI), https://doi.org/10.1787/2448f04b-en.
3. 모델 또는 시스템 사용을 모니터링하고 통제하는 것을 고려한다(예: 고객 확인(KYC) 정보 수집, 시스템 또는 시스템 일부 기능에 대한 접근 제한). 이러한 조치는 위험 기반의 접근 통제(gating) 및 단계적 상향조정 접근방식을 통해 수행할 수 있다(BSR (2022[27]) 참조).
4. 내부적으로 적정한 평가 및 모니터링 조치를 마련하고, 배포 후 평가를 지원할 수 있는 자원과 이해를 갖춘 외부 연구자를 지원한다.
5. 최종 이용자 및 관련 이해관계자가 문제를 신고하고 시스템 결과에 대해 이의를 제기할 수 있도록 피드백 절차를 구축하고 이를 운영체제에 통합한다.
6. 배포 이후, 지속적인 모니터링 및 배포 후 평가를 바탕으로 AI 시스템을 업데이트하고 미세 조정한다. 미세 조정 방법에는 인간의 피드백을 활용한 강화학습 또는 데이터셋에 대한 조정이 포함된다.
7. 중대한 부정적인 영향이 임박했거나 심각한 피해가 실제로 발생하고 있는 경우에는, 위험을 충분히 관리할 수 있을 때까지 책임 있는 방식으로 해당 AI 시스템의 개발 및 배포를 중단하는 것이 중요하다.
8. AI 개발 및 사용에 관한 법적 요구사항이 부정적인 영향을 야기할 수 있는지 여부를 평가한다 (박스 2.12 참조)
국내법적 요구사항이 기업책임경영에 관한 국제 기준과 상충할 수 있는 환경에서, 기업은 국제적으로 인정된 인권을 존중하겠다는 약속을 명확하고 광범위하게 공표해야 한다.
예방 조치로서, 이러한 약속은 사전에, 즉 배포 이전에 명확히 전달되고 협상될 수 있다. 법적 환경이 변경된 경우에는, 특히 기업의 운영과 직접적인 관련이 있는 사안에 대하여 변경된 경우에는, 정부가 자국의 인권 의무를 준수하도록 촉구한다. 인권옹호자를 부당하게 범죄화하는 데 기여하거나, 평화적 시위를 억압하기 위한 AI 시스템의 사용에 기여하는 일을 피한다. 인권이 존중될 수 없는 환경에는 진입하지 않거나 철수하는 방안을 고려한다.
9. 기업이 AI 시스템의 오남용 위험을 완화하기 위해 활용할 수 있는 조치의 예시는 다음과 같다.
가) 사용자별 제한(예: 오남용 위험이 상당한 경우, 특정 사용자 또는 집단과의 거래나 협력을 거절하는 방안을 검토한다)
나) 접근 빈도 제한(예: 시스템이 시간당 산출할 수 있는 출력의 수를 제한한다)
다) 역량 또는 기능 제한(예: 출력을 필터링하거나 시스템의 컨텍스트 윈도우를 축소한다)
라) 사용 사례 제한(예: 특정 맥락에서 시스템의 특정 적용을 금지한다)
마) AI 시스템 기능의 일시적 또는 영구적 중지(박스 2.13 참조)
중지 프로토콜에는 재배포 승인 절차 또는 재배포를 대신하는 대안적 복구 계획을 위한 절차를 포함할 수 있다. 이러한 복구 절차는 광범위한 시험과 검증을 거치는 것이 중요하며, 바람직하게는 외부 이해관계자의 참여를 포함하도록 한다. 부정적 영향을 산출할 수 있음이 입증된 모델을 재배포하기 위해서는 엄격한 기준이 적용되어야 한다. 수정이 불가능하거나 수정 조치가 충분히 견고하지 않은 경우에는, 재배포를 대신하는 대안 계획을 추진해야 한다(예: 모델의 운영을 종료하고, 그리고/또는 정부나 산업의 다른 행위자들과 협력하여 산업 전반의 대응을 관리한다). 극단적인 경우에는 복구 자체가 불가능할 수 있다.
출처: OECD (2025[28]), 「인공지능 인시던트에 관한 공통 보고 프레임워크를 향하여」(Towards a common reporting framework for AI incidents), https://doi.org/10.1787/f326d4ac-en.
10. 기업의 AI 시스템을 배포하는 사업 관계에 있는 자가 배포 이전에, 특히 직장 내에서, 이해관계자가 유의미하게 참여하도록 보장하기 위한 조치를 취한다. AI 가치사슬 전반에서 기업과 직접적으로 연결된 위험을 해결하는 3.2단계를 참조한다.
이행을 위한 실무 예시 (AI 시스템 사용자, 3그룹)
1. 운영상 의사결정에 AI 시스템을 사용하는 환경에서는, 기업이 위험을 완화하기 위해 근로자, 근로자 대표 및 노동조합의 참여가 필요할 수 있다. 근로자의 참여에는 다음이 포함될 수 있다.
가) 설계 및 의도된 사용 목적을 포함하여, AI 시스템에 관한 정보의 공개
나) 근로자에게 본인 관련 데이터의 수집 및 분석에 대한 접근과 권리를 제공할 수 있는 거버넌스 메커니즘의 마련
다) AI로 인해 부정적 영향을 받은 근로자를 위한 고충처리 메커니즘의 구축 또는 유지
라) 재교육 및 AI 리터러시 프로그램의 개발
2. 제품 및 서비스에서 AI 시스템을 사용하는 경우, 기업은 기술적으로 실행 가능한 범위에서(예: 레드팀 점검 수행 또는 기타 유형의 테스트 활동) 산출물의 품질을 확인하고 취약성을 시험하기 위해 독립적인 테스트를 수행할 수 있다. 또한 기업은 산출물이 AI 시스템에 의해 생성되었는지, 또는 AI 시스템의 정보에 근거하여 산출되었는지, 그리고 그 정도가 어느 수준인지를 공개할지 여부와 공개 범위를 검토해야 한다(박스 2.8 참조).
3.2단계 – AI 가치사슬 전반에 걸쳐 기업과 직접 연결된 위험 해결
위험 우선순위에 근거하여, 기업은 사업 관계로 인해 기업과 직접적으로 연결되는 실제 또는 잠재적인 부정적 영향을 예방하거나 완화하기 위한 계획을 수립하고 이를 이행해야 한다(예: 사업 관계의 일시적 중단, 위험 완화 노력 기간 동안의 사업 관계 유지 또는 관계 종료)
AI의 개발 및 사용 전 과정에서 기업은 (1) 시스템 생애주기 내의 다른 AI 행위자, 또는 (2) AI 투입요소 공급업체 및 AI 시스템 이용자 등 AI 시스템 생애주기 외부의 사업 관계로 인해 발생한 부정적 영향과 직접적으로 연결될 수 있다.
사업 관계와 관련된 위험에 대한 적절한 대응에는 경우에 따라 다음이 포함될 수 있다.
위험 완화 노력이 진행되는 전 기간 동안 사업 관계 유지
지속적인 위험 완화를 추진하는 동안 사업 관계 일시 중단
완화 시도가 실패한 이후, 또는 기업이 완화가 실행 불가능하다고 판단하는 경우, 또는 부정적 영향의 심각성으로 인해 사업 관계 종료. 사업 관계 종료에 관한 의사 결정 및 후속 계획은 잠재적인 사회적, 환경적 및 경제적 부정적 영향을 고려해야 하며, 유의미한 이해관계자 참여를 포함해야 한다. 이러한 계획에는 조직이 취할 조치와 더불어 공급업체, 구매자 및 기타 사업 관계에 있는 자에 대한 기대사항을 구체적으로 명시해야 한다(박스 2.15 참조). 사업 관계 종료 조치는 경쟁법을 포함한 적용 법령에 부합해야 한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1-3 그룹)
1. 기업이 사업 관계에 기인하여 직접적으로 연결되는 실제 또는 잠재적인 부정적 영향을 예방하거나 완화하기 위한 계획의 수립, 이행 및 모니터링에 대한 책임을 부과한다.
2. 관련 사업 관계에 있는 자가 식별된 부정적 영향을 합리적이고 명확하게 정의된 기한 내에 예방하거나 완화할 수 있도록, 기업은 해당 사업 관계에 있는 자를 지원하거나 이들과 협력하여 목적에 부합하는 계획을 수립한다. 이를 위해, 개선사항을 정의하고 측정하기 위해 정성 및 정량 지표를 활용한다(이러한 계획은 때로 “시정 조치 계획”이라 칭함).
3. 가능한 범위에서, 그리고 경쟁법상 의무에 부합하는 방식으로, 사업 관계에 있는 자의 부정적 영향 또는 위험을 예방하거나 완화하도록 영향력을 행사하여 촉구한다. 제품이나 서비스가 판매 또는 재판매된 이후에는, 해당 AI 시스템의 작동에 필수적인 서비스 제공을 제한함으로써 영향력을 행사하는 방안을 고려한다(예: 고객 지원, 업데이트 및 서버 운영 등). 영향력 활용에는 다음이 포함될 수 있다.
가) 운영 차원, 고위경영진 및/또는 이사회 차원에서 위험 처리를 담당하는 직원과의 직접적인 의사소통을 통해 기업책임경영 관련 문제에 관한 견해를 표명함으로써, 사업 관계에 있는 자가 부정적 영향을 예방 및/또는 완화하도록 촉구하기 위해 이들과 소통
나) 상업적 계약에 기업책임경영 및 실사에 관한 기대사항을 구체적으로 반영
다) 장기계약 체결 및 향후 발주 약정 등 사업상 인센티브를 기업책임경영 이행 성과와 연계
라) 규제기관 및 정책결정자와 기업책임경영 관련 문제에 관해 협의하여, 피해를 야기하는 주체의 위법한 관행이 시정되도록 변화를 촉진
마) 기업책임경영 관련 기대사항이 준수되지 않을 경우, 사업 관계 종료 가능성이 있음을 공개적으로 또는 비공개적으로 전달
4. 기업이 사업 관계에 있는 자로 하여금 부정적 영향을 예방하거나 완화하도록 촉구할 만한 충분한 영향력을 보유하지 못한 경우, 경쟁법에 부합하는 범위에서 고위 경영진 차원의 접촉, 관련되는 경우 지원 및 인센티브 제공 등을 통해 해당 사업 관계에 있는 자에 대한 영향력을 추가로 구축할 방안을 검토한다.
5. 가능한 범위 내에서, 그리고 경쟁법에 부합하는 방식으로, 산업협회 내 협력적 접근 또는 정부와의 소통 등을 통해, 다른 기업 또는 이해관계자와 협력함으로써 부정적 영향의 예방 및 완화를 촉구하기 위한 영향력을 구축 및 행사한다.
6. 잠재적인 (미래의) 부정적 영향을 예방하고 실제로 발생한 영향을 해결하기 위해, 신규 및 기존 사업 관계에 영향력을 구조적으로 반영하는 방안을 모색한다(예: 정책 또는 행동강령, 계약 및 서면 합의 등) (박스 2.14 참조).
기업책임경영 실사 맥락에서 통제지점(control point)은 제품의 개발 또는 거래 과정에서 가시성, 영향력 또는 변환이 이루어지는 핵심 지점으로 이해된다. 위험 기반 접근방식에 부합하고 경쟁법을 포함한 국내법을 준수한다는 전제하에, 실사를 통제지점에 집중하는 것은 전체 실사 노력을 더욱 효율적으로 만드는 데 도움이 된다.
일반적으로 통제지점의 특성에는 (1) 가치사슬 내에서 다수의 다른 기업들과 직접 또는 간접적인 사업 관계를 맺는 행위자가 상대적으로 소수라는 점, 그리고 (2) 해당 행위자들이 규제 및 감사의 대상이라는 점(또는 곧 그러한 대상이 될 것이라는 점)이 포함한다. AI 시스템의 개발 및 사용 맥락에서, 일부 대기업이 이러한 ‘통제지점’의 특성을 다수 충족할 수 있다(예: 반도체 제조업체, 파운데이션 모델, 그리고 매우 규모가 큰 온라인 플랫폼).
통제지점에 대해 실사를 수행하여 해당 통제지점이 그에 따라 다시 자체적으로 실사를 수행하고 있는지 여부를 확인하는 것은, 다른 모든 관련 기업에 대해 각각 상세 실사를 수행하지 않더라도 위험이 식별되고, 예방되며, 완화되고 있음을 어느 정도 확인할 수 있다는 점에서 일정한 안도감을 제공한다. 아울러, 통제지점은 보통 이미 감사, 공공 보고 의무 또는 일정한 형태의 규제적 통제의 대상이 되기 때문에, 이는 실사를 통제지점에 집중하는 것이 중복적 노력을 피하는 데에도 도움이 될 수 있음을 시사한다.*
통제지점의 식별 및 이들과의 관여는, 공급업체 및 사업 관계에 있는 자와의 계약에 통제지점을 식별하고 실사에 관한 기대수준을 충족할 것을 요구하는 조항을 포함시키거나, 공급업체에 대한 기밀정보 공유 시스템을 활용하거나, 그리고/또는 산업 전반 차원의 제도를 통해 수행할 수 있다.
주: * 예로는 디지털서비스법(Digital Services Act), 「기업 지속가능성 실사 지침」(Corporate Sustainability Due Diligence Directive), 인공지능법과 같은 EU 위험관리규정이 있다.
7. 공급업체, 판매 파트너 및/또는 사용자와의 계약 또는 기타 서면 합의 형태에 기업책임경영 관련 사안에 관한 조건과 기대사항을 포함한다(예: 사용자를 위한 “책임 있는 사용 가이드” 또는 “허용 가능한 사용 정책”의 마련).
8. 부정적 영향을 야기하거나 이에 기여하는 사업 관계에 있는 자가 시정 조치 계획을 수립하고 이행하는 과정에서, 영향을 받았거나 잠재적으로 영향을 받을 가능성이 있는 이해관계자 또는 그 대표자와 협의하고 소통하도록 장려한다.
9. 관련 사업 관계에 있는 자가 부정적 영향 또는 위험을 예방하거나 완화하도록 지원한다(예: 교육 지원, 해당 사업 관계에 있는 자의 관리 시스템 강화, 측정 가능하고 기한이 정해진 목표를 통해 지속적 개선을 도모).
10. 부정적 영향이 발생하고 있는 국가의 관련 당국이 조치를 취하도록 장려한다(예: 점검, 기존 법령과 규정의 집행 및 적용을 통해).
11. 다른 기업 및 이해관계자와 협의하여 부정적 영향의 중단 및/또는 그 재발을 방지하거나 위험이 현실화되는 것을 예방한다(예: 산업 이니셔티브 참여 및 정부와의 협의를 통해).
12. 사업 관계에 있는 자의 실사 정보가 공개적으로 이용 가능하지 않은 경우, 기밀유지 하의 양자 또는 다자 간 합의를 통해 투명성을 제고하거나 실사 수행을 입증할 수 있도록 사업 관계에 있는 자의 참여를 모색한다(예: 신뢰할 수 있는 산업 또는 다중 이해관계자 이니셔티브에 대한 공개 또는 비밀유지계약).
13. 최후의 수단으로서, 해당 사업 관계의 종료를 고려한다(박스 2.15 참조)
AI 시스템의 개발 및 사용에서 형성되는 사업 관계 사이의 역학 관계는 지속적으로 변화하고 있으며, 이 맥락에서 사업 관계 종료가 갖는 전반적 함의를 완전히 이해하기 위해서는 추가적인 연구와 협의가 필요하다. 경우에 따라서는, 사업 관계 종료가 가능하지 않을 수도 있다. AI는 개인용 및 업무용 도구에 점점 더 광범위하게 통합되고 있으며, 경제의 여러 부문에서 기업 활동을 수행하는 데 있어 근본적 요소가 되고 있다. 또한, 범용 AI 개발자나 반도체 제조업체와 같이 AI 시스템 개발의 일부 단계에서는 필수적인 공급원에 해당하면서 그 수가 지극히 제한적인 기업들이 존재하기 때문에, 이들과의 사업 관계를 종료하는 것은 어렵거나 불가능할 수 있다.
다국적기업 가이드라인에 따르면, 일반적으로 사업 관계의 종료는 완화 시도가 실패한 이후, 또는 기업이 완화가 실행 가능하지 않다고 판단하는 경우, 또는 부정적 영향의 심각성으로 인해, 최후의 수단으로 고려될 수 있다. 기업이 해당 사업 관계를 계속 유지할 수 있고, 시간이 지남에 따라 현실적인 개선 전망 또는 실제 개선을 입증할 수 있는 경우에는, 이러한 접근방식이 사업 관계 종료보다 더 바람직한 경우가 많다.
따라서 이러한 상황에서 적절한 조치를 결정할 때 고려되는 요인 중에는, 해당 사업 관계에 대한 기업의 영향력과 영향의 심각성이 포함된다. 또한 해당 사업 관계가 기업에 얼마나 핵심적인지, 그리고 사업 관계를 종료하기로 한 결정과 관련하여 발생할 수 있는 사회적, 환경적 및 경제적인 부정적 영향 또한 고려해야 할 관련 요인이다.
사업 관계 종료가 불가능한 경우에는, 기업이 해당 상황을 내부적으로 보고하고, 예컨대 지식 데이터베이스를 유지하는 등의 방식을 통해 사업 관계를 계속 모니터링하며, 상황이 변화하는 경우 또는 기업이 모든 부정적 영향에 체계적으로 대응하기 위한 장기 전략의 일부로서, 사업 관계를 계속 유지하기로 한 결정을 재검토할 것이 권고된다.
또한 기업의 이익에 부합할 수 있는 조치로서, 기업은 사업 관계를 종료하지 않기로 한 결정, 이러한 결정이 자사의 정책 및 우선순위에 어떻게 부합하는지, 부정적 영향을 완화하기 위하여 영향력을 행사하려는 목적으로 어떤 조치를 취하고 있는지, 그리고 향후 해당 사업 관계를 어떻게 지속적으로 모니터링 할 것인지를 공개적으로 설명할 수 있다.
투자자와 금융기관은 AI 시스템 개발에서 핵심적 역할을 하며, AI 기업은 상당한 규모의 자금을 유치하고 있다. 예컨대, AI 벤처캐피탈(VC)의 전 세계 연간 투자액은 2012년 약69억달러에서 2024년 1,470억 달러로 급증했으며, 2025년 3분기 기준 전체 VC 투자금액 가치의 56%를 차지했다(OECD, n.d.[29]). 이러한 흐름 속에서 일부 투자자, 특히 초기 단계 투자자는 피투자기업을 투자함으로써 프로젝트의 방향을 형성하고 규정하는 데 관여하고 있기 때문에, 영향력을 행사할 수 있는 위치에 있는 경우가 많다.* 투자자와 금융기관이 강한 의제 설정 역량을 갖는 또 다른 영역은 피투자기업 및 고객이 스스로 AI 시스템에 투자할 때 참고할 지침을 제공하는 것이다. 투자자와 금융기관은 피투자기업이 실제 또는 잠재적인 부정적 영향을 식별하고 이를 해결하도록 장려하는 역할을 할 수 있다. 실무 이행 예시는 다음과 같다.
포트폴리오 위험 평가 또는 투자 분석에 부정적 영향 위험을 포함한다.
피투자기업과 관련된 위험 식별을 지원하기 위해 이해관계자를 참여시킨다.
피투자기업과의 양자 대화를 통해, 위험평가(이해관계자의 참여를 통해 도출된 사항 포함)에서 표시된 우려를 제기하고, 피투자기업의 실사 관행에 대해 추가로 파악하며, 피투자기업으로부터 추가 정보/조치를 요청한다.
피투자기업에 AI 시스템을 채택하는 이유에 관한 명확하고 간결한 근거를 제시하도록 요청한다.
책임 있는 AI와 관련하여 더욱 강력하고 일관된 투자자 접근을 구축하기 위한 동료 투자자 간 조정 노력에 참여한다.
책임 있는 AI와 관련하여 기업 간 모범 관행/개선된 시장 표준을 장려하거나 개발하기 위한 이니셔티브를 수립 또는 이에 참여한다.
기업책임경영 관련 우려사항을 해결하기 위하여, 뜻을 같이 하는 투자자들과 공개 서약에 서명한다.
필요한 경우, 부정적 영향의 위험을 다루는 주주제안서를 제출한다.
피투자자기업의 실사 노력을 개선하기 위한 다른 방법이 성과를 거두지 못하는 경우, 이사회 구성원에 대한 반대 의결권 행사를 고려하거나, 부여된 투자 운용 권한 범위 안에서 가능한 경우 투자 철회를 검토한다.
기업이 실사를 수행하지 못함에 따라 해당 기업에 대한 투자 철회 또는 투자 포트폴리오에서 제외 하는 경우, 이를 공개적으로 공표한다.
주: * 2022년 이후 ‘윤리적 AI를 위한 집단영향연합’(Collective Impact Coalition for Ethical AI )이라는 기치 아래, 투자자들은 2021년 세계 벤치마킹 얼라이언스(World Benchmarking Alliance)의 ‘디지털 포용성 벤치마크’(DI B)에서 평가된 150개 기업 중 44개 기업을 대상으로 아웃리치 활동을 주도해 왔으며, 특히 AI 개발 및 사용을 이끄는 공개 원칙 세트를 보유하지 않은 기업들에 초점을 맞추었다. 이러한 참여는 추가로 14개 기업이 2023년 DIB에서 자사의 AI 원칙을 발표하도록 하는 데 기여하였고, 그 결과 공개된 원칙을 공시한 기업 수는 150개 중 47개(31%)로 증가했다 (World Benchmarking Alliance, 2023[30]).
출처: OECD기업책임경영 센터는 기관투자자, 기업대출 및 증권 인수, 프로젝트 및 자산금융 거래를 대상으로 한 맞춤형(fit-for-purpose) 지침을 개발함으로써, 다양한 금융거래 및 행위자별로 기업책임경영 실사를 운영 가능하도록 노력해 왔다. OECD (2022[31]), 「프로젝트 및 자산 금융 거래를 위한 기업책임경영 실사」(Responsible business conduct due diligence for project and asset finance transactions) https://doi.org/10.1787/952805e9-en.
기업의 실사 활동의 이행 상황과 효과성을 추적한다. 즉, 부정적 영향을 식별하고, 예방 및 완화하며, 적절한 경우 해당 부정적 영향의 구제를 지원하는 조치의 이행 상황과 효과성을 추적한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1~3 그룹)
1. 과거 실사 과정에서 간과되었을 수 있는 부정적 영향 또는 위험을 식별하고, 이를 향후 실사에 반영한다.
2. 이전에 탐지되지 않았던 위험이 존재하는지, 또는 이전에 평가된 위험이 더 이상 허용 가능하지 않은지를 평가한다.
3. 이해관계자 참여 노력의 효과성을 평가한다(예: 참여가 적시에 이루어지는지, 접근 가능한지, 이해관계자에게 적절하며 안전한지를 검토)
4. 향후 절차와 성과를 개선하기 위해, 도출된 교훈에 대한 피드백을 기업의 실사에 반영한다.
5. 배포 환경과 유사한 조건에서, AI 시스템의 성능 또는 보증 기준을 정성적 또는 정량적으로 모니터링하고 추적한다. 예를 들어, 다음과 같은 방법을 통해 수행할 수 있다.
가) 시험 및 평가, 검증 및 유효성 확인(TEVV) 과정에서 사용된 시험 세트, 지표 및 도구의 세부사항을 문서화한다.
나) 관련 AI 행위자 및 부정적 영향을 받은 지역사회를 포함한 기타 이해관계자와의 협의, 그리고 맥락 관련 위험 및 신뢰성 특성에 관한 현장 데이터에 근거하여, 측정 가능한 성능의 개선 또는 저하를 식별하고 문서화한다.
다) 부정적 영향을 받은 지역사회, 정부, 근로자, 근로자 대표 및 노동조합, 시민 사회, 학계 등을 포함한 이해관계자와 인시던트 관련 정보를 문서화하고 공유한다. 이는 고도화된 AI 시스템의 안전, 보안 및 신뢰성을 제고한다는 관점에서 이루어져야 한다.
라) 시스템이 의도된 바대로 일관되게 작동되는지 검증하기 위해, 배포 맥락에서의 AI 시스템 신뢰성 및 AI 시스템 생애주기 전반에 관한 모니터링 결과를 도메인 전문가 및 관련 AI 행위자 및 이해관계자와 문서화하고 공유한다.
6. 실사에 관한 조직 자체의 내부적 약속, 활동 및 목표의 이행과 효과성을 모니터링하고 추적한다(예: 달성된 성과에 대해 정기적인 내부 또는 제3자 검토나 감사를 수행하고, 그 결과를 조직 내 관련 수준에서 소통하는 방법을 통해 수행).
7. 사업 관계에 대해 정기적 평가를 수행하여, 위험 완화 조치가 실제로 추진되고 있는지 확인하거나, 부정적 영향이 실제로 예방 또는 완화되었는지 검증한다.
실제 또는 잠재적인 부정적 영향을 식별하고 해결하기 위해 수행된 실사 정책, 절차 및 활동에 관한 정보를, 해당 활동의 조사 결과와 성과를 포함하여, 외부에 소통한다. 소통은 대상 독자에 따라 다양한 형태로 이루어질 수 있다(예: 이해관계자 협의, 그리고 기업의 연차 보고서, 지속가능성 보고서 또는 기업의 사회적 책임 보고서 등을 통한 대외 공시, 또는 법령이나 자발적 이니셔티브에 따라 요구되는 기타 적절한 공시 형태).
이행을 위한 실무 예시 (AI 가치사슬 전반의 모든 기업, 1~3 그룹)
1. 상업상 기밀, 경쟁법, 그 밖의 경쟁상 또는 보안상 우려사항을 적절히 고려하면서, 실사 절차에 관한 모든 관련 정보를 공개적으로 소통한다.2 이에는 다음과 관련된 정보를 포함한다.
가) 1단계에 따른 기업책임경영 관련 정책. 여기에는 관련 자발적 이니셔티브에 대한 약속 및 그 이행에 관한 정보를 포함한다.
나) 중대한 인시던트 및 오류를 추적하고 이에 대응하며 복구하기 위한 절차를 포함한다.
다) 중대한 부정적 영향 또는 위험을 파악, 우선순위 결정 및 평가. 기업이 야기하거나 기여하는 인권 영향 또는 그 밖의 주목할만한 위험의 경우, 영향을 받았거나 잠재적으로 영향을 받을 수 있는 이해관계자에게 시의적절하고, 문화적으로 민감하며 접근 가능한 방식으로, 그들에게 관련되는 모든 정보를 소통한다. 특히 이해관계자 본인 또는 그들을 대리하는 자에 의해 관련 우려사항이 제기되는 경우에는 이러한 방식으로 정보를 소통한다.
라) 위험 우선순위 결정 기준 및 절차
마) 위험을 예방하거나 완화하기 위해 이미 취했거나 계획된 조치. 가능한 경우 개선을 위한 예상 일정 및 기준점과 그 결과가 포함된다. 예컨대, 부정적 영향 위험에 대해 수행한 평가(레드팀 점검 포함)의 세부사항 등이 이에 해당한다.
바) 이행 및 결과를 추적하기 위한 조치
사) 구제의 제공 또는 구제에 대한 협력
아) AI 시스템의 역량, 한계, 그리고 적절한 사용 및 부적절한 사용의 영역
자) 광범위하게 사용될 수 있는 AI 시스템의 모든 중대한 신규 출시와 관련된 의미 있는 정보
차) 이러한 실사 절차의 설계 및 이행에 관련 이해관계자가 참여하는 방식
카) 관련되는 경우(예: 2그룹 대상), AI 행위자가 안전조치를 우회하려 한 인시던트 및 시도에 관한 정보, 특히 범용 AI 시스템과 관련된 인시던트에 관한 정보
2. 상기 정보는 사용자 친화적이고, 정기적이며, 시의적절하고, 신뢰할 수 있으며, 명확하고, 완전하며, 정확하고, 충분한 세부 내용을 갖춘 방식으로 공개한다(다국적기업 가이드라인 제3장, 정보의 공개 참조)
3. 정보가 서로 다른 대상 독자에 맞게 적절히 제시되도록 보장하고, 취약한 이해관계자(예: 근로자)가 정보를 이용할 수 있도록 특별한 조치를 취할 수 있다.
기업이 실제 부정적 영향을 야기했거나 그에 기여한 경우, 가능한 범위에서, 영향을 받은 사람 또는 사람들이 해당 부정적 영향이 발생하기 이전의 상태로 회복할 수 있도록 조치를 취하고, 부정적 영향의 중대성과 규모에 비례하는 구제가 이루어지도록 노력한다.
이행을 위한 실무 예시 (AI 가치사슬 내 모든 기업, 1~3 기업)
1. 적절한 경우(즉, 기업이 부정적 영향을 야기했거나 이에 기여한 경우에는), 영향을 받은 이해관계자가 이의를 제기하고 기업과 함께 해당 이의제기가 해결되도록 하는 정당한 구제 메커니즘을 제공하거나 이에 협력한다 (박스 2.17 참조).
2. 사업 관계와 직접적으로 연결된 부정적 영향의 경우, 기업은 경쟁법에 부합하는 방식으로 해당 사업 관계에 영향력을 행사하고, 구제 메커니즘을 제공하거나 이에 협력할 것으로 기대된다.
구제의 궁극적 목표는 영향을 받은 사람 또는 사람들을 해당 부정적 영향이 발생하기 이전의 상태로 회복시키는 데 있다. 효과적인 구제는 맥락에 따라 달라지며, 여러 가능한 선택지가 존재한다. 야기된 피해의 규모와 맥락에 따라 다수의 구제방안이 활용될 수 있다. 이러한 구제방안은 대체로 다음을 포함한다.
원상회복: 영향을 받은 개인이나 집단을 해당 피해 발생 이전의 상태로 회복시키는 것
보상: 경제적으로 평가할 수 있는 피해를 보상하기 위한 금전적 보상으로, 신체적 또는 정신적 피해, 일실 소득, 또는 의료비 등 전문가의 도움을 받는 데 소요되는 비용에 대한 보상을 포함할 수 있다.
재활: 의료 및 심리적 돌봄과 법률 및 사회적 서비스를 제공하는 것
만족: 사실관계의 인정, 영향을 받은 개인과 집단의 존엄을 회복하기 위한 결정, 인권이 존중되지 않았다는 사실에 대한 인정, 사과, 벌금 및 징역형 등 피해에 책임이 있는 자에 대한 법적 제재 및 추모
재발방지 보장: 시스템의 종료, 금지명령(injunctions), 기업의 정책, 절차 및 전략의 변경 등 장래의 예방에 기여하는 조치
구제의 이행을 지원할 수 있는 메커니즘은 다음을 포함하여 다양한 형태를 취할 수 있다.
분쟁 해결 메커니즘을 거치지 않고 (이해관계자와의 협의하여) 기업이 직접 조치를 취하는 방식
독립적이고 다학제적인 패널에 의한 알고리즘 감사
사법적 메커니즘: 국내 및 지역 법원
국가 기반 비사법적 메커니즘: 기국내연락사무소, 옴부즈만, 감독기관 및 국가인권기구 등과 같이, 국가와 연계되어 있으며 어떤 형태로든 구제를 제공할 잠재력이 있는 메커니즘
비국가 기반 고충처리 메커니즘: 기업과 같은 민간 주체 또는 경우에 따라 산업협회나 다중 이해관계자 그룹이 개발하고 운영하는 구제 메커니즘(효과적인 구제 메커니즘 요건에 대해서는 UNCP 31 참조) (UN OHCHR, 2021[32]).
출처: UN인권최고대표사무소(UN OHCHR) B-Tech 프로젝트, (2021[33]), 「구제 접근성과 기술 부문: 기본 개념과 원칙」(Access to remedy and the technology sector: basic concepts and principles) https://www.ohchr.org/sites/default/files/Documents/Issues/Business/B-Tech/access-to-remedy-concepts-and-principles.pdf.
← 1. 예로는OECD AI 인시던트 모니터(OECD AI Incidents Monitor) (OECD, 2025[28])와 OECD 국내연락사무소 이의신청 데이터베이스(OECD National Contact Point Specific Instance Database) (OECD, 2022[37])가 있다.
← 2. 정보의 공개는 기업에 과도한 행정적 또는 비용 부담을 초래해서는 안 된다. 또한 정보의 공개가 투자자가 충분한 정보에 기반하여 의사결정을 내릴 수 있도록 하고 투자자 오도를 방지하는 데 필요한 경우가 아니라면, 기업이 자사의 경쟁적 지위를 위태롭게 할 수 있는 정보까지 공개할 것으로 기대되어서는 안 된다.