미래융합정책연구소(소장 강철하)에서는 UN, OECD, APEC 등 다양한 AI 국제원칙과 유럽연합, 미국, 중국, 독일, 한국 등 각국의 AI법제현황, 그리고 인공지능 관련 주요 법적 쟁점 분석결과를 종합하여, ‘인류, 사회가 공동번영하기 위한 인공지능 10대 원칙’을 다음과 같이 제시한다.
첫째, ‘인권(기본권) 보호의 원칙’을 제시한다. AI는 사회적·경제적·문화적 혁신을 촉발하는 엄청난 잠재력을 가지고 있지만, 이를 잘못 사용하는 경우에는 인권에 대한 침해를 야기할 위험도 가지고 있다. 예를 들어 생성형 AI를 딥페이크 포르노 콘텐츠를 생성하는 데 사용하여 타인의 명예와 존엄성을 훼손할 수 있고, 편향된 데이터로 훈련된 AI에 의한 인종·성별 등의 차별행위, 개인정보 침해나 표현의 자유를 저해할 수 있는 등 인권에 부정적 영향을 줄 수 있다. 따라서 세계인권선언에 정의된 ‘인권’이나 헌법상의 ‘기본권 가치’가 훼손되지 않도록 적절한 안전장치를 갖춘 인공지능의 설계와 운영이 필요하다. 이를 위해서는 인권영향평가(human rights impact assessments, HRIA), 인권실사(human rights due diligence), 인간의 개입과 판단(예를 들어 ‘human in the loop’), 윤리행동강령, 인간 중심적 가치를 증진하기 위한 품질 라벨이나 인증과 같은 조치의 도입을 고려할 수 있을 것이다.
둘째, ‘헌법질서 존중의 원칙’이다. 민주주의·법치국가·사회국가의 원리 등은 “헌법의 이념적 기초인 동시에 헌법을 지배하는 지도원리”에 해당한다(헌법재판소 1996. 4. 25. 선고 92헌바47 전원재판부 결정 등). 그런데 최근 인공지능 기술의 발전으로 인해 인공지능 기술이 정치·경제·사회·문화 각 분야에 적용됨에 따라 이를 오·남용하는 경우에는 우리 헌법질서를 침해하는 수단으로 악용될 수 있고, 이에 따라 사회 혼란을 야기할 수 있다. 예를 들어 유권자에게 편향된 정보를 제공하여 유권자의 자유로운 의사형성에 장애를 일으키는 문제(정치적 표현의 자유), 국가안보 및 범죄예방 분야에서 특정 민족이나 인종에 편향된 범죄예측 알고리즘 문제(적법절차), 프로파일링을 통해 특정 시위자의 집회참여를 가로막는 문제(집회·결사의 자유), 인공지능을 이용한 여론 조작(민주주의) 등 그동안 우리 인류가 역사를 통해 형성해 온 민주주의나 법치주의와 같은 다양한 헌법질서에 대한 침해 위험이 우려된다. 이와 관련하여 유럽연합이 AI 시스템의 유해한 영향으로부터 건강, 안전, 헌장에 명시된 기본권과 함께 “기본원리(민주주의, 법치주의, 환경보호 등)를 높은 수준으로 보호”하고 혁신을 지원하기 위해 ‘인공지능법(Artificial Intelligence Act)’을 제정·시행하였다는 점은 앞에서 살펴본 바와 같다. 따라서 공직선거, 국민투표, 주요 정책에 대한 여론조사 등의 민주적 절차나 여론 형성과정 또는 사법절차에서 알고리즘 예측 등 인공지능 기술이 활용될 경우를 대비해 적절한 규제체계를 마련할 필요가 있다. 나아가 이러한 규제체계에는 인공지능 알고리즘이 시민의 민주적·자율적 의사형성을 왜곡하지 못하도록 예방할 수 있는 장치를 마련할 필요도 있다. 이를 위해서는 ‘투명성’(transparency)과 ‘설명가능성’(explainability) 원칙을 반영한 접근법도 고려해 볼 수 있을 것이다. 왜냐하면, AI에 대한 정보를 투명하게 공개한다면, 이용자의 선택권을 높일 수 있고, AI 개발자나 사용자에 대한 ‘설명가능성’의 적용(권리·의무)은 AI 시스템의 결과에 영향을 받는 사람들에게 이해하기 쉬운 정보를 제공함으로써 부정적인 영향을 받는 사람들이 그 결과에 이의를 제기할 수 있도록 도와줄 수 있으며, 알고리즘에 의한 조작이나 왜곡을 예방 또는 최소화할 수 있기 때문이다.
셋째, ‘안전성의 원칙’이다. 최근의 AI원칙 즉, ‘OECD AI원칙(2019)’, ‘G7 히로시마 AI 프로세스(2023)’, ‘UN 인류를 위한 인공지능 거버넌스(2024)’, ‘APEC AI 이니셔티브(2025)’의 공통된 원칙 중 대표적 원칙의 하나로 안전성의 원칙을 들 수 있다. 이처럼 AI 시스템에 대한 안전과 보안 문제의 해결은 AI에 대한 신뢰를 구축하는 데 매우 중요한 요소가 된다. 예를 들어 OECD AI원칙(2019)에서는 견고성, 보안성 및 안전성(robustness, security and safety) 원칙을 제시하고 있는데, 이는 AI 시스템이 수명 주기 전반에 걸쳐 정상적이거나 예측 가능한 사용뿐만 아니라 오용 상황에서도 물리적 보안을 포함해 불합리한 안전 위험을 야기해서는 안 된다는 원칙이다. 또한 G7 히로시마 AI 프로세스(2023)에서는 AI의 안전문제와 관련한 많은 권고사항을 제시하고 있는데, 예컨대 AI 수명 주기 전반에 걸친 위험 특정·평가·완화 조치, AI 도입 후 취약성 및 악용된 사고나 패턴을 특정하고 완화 조치, 위험기반 접근법에 기초한 AI 거버넌스 및 위험 관리방침의 수립·실시, AI 수명 주기 전체에 걸친 견고한 보안관리, 사회적 위험 및 안전·보안상의 위험을 경감하기 위한 연구에 대한 우선 투자 등을 제시하고 있다. 마찬가지로 우리나라의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」에서도 인공지능기술과 인공지능산업의 안전성과 신뢰성 제고를 기본원칙의 하나로 설정하여 다양한 규정을 마련해 두고 있다. 예를 들어 ‘인공지능 안전성 확보 의무’와 관련하여, 인공지능사업자에게 학습에 사용된 누적 연산량이 대통령령으로 정하는 기준 이상인 인공지능시스템의 안전성을 확보하기 위해 ① 인공지능 수명주기 전반에 걸친 위험의 식별ㆍ평가 및 완화, ② 인공지능 관련 안전사고를 모니터링하고 대응하는 위험관리체계를 구축하도록 하고 있다(인공지능기본법 제32조 제1항). 또한 ‘고영향 인공지능’과 관련하여, 만일 인공지능사업자가 “인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 경우”에는 그 인공지능이 고영향 인공지능에 해당하는지에 대해 사전에 검토할 것을 의무화한다거나 인공지능사업자가 “고영향 인공지능 또는 이를 이용한 제품ㆍ서비스를 제공하는 경우”에는 고영향 인공지능의 안전성ㆍ신뢰성을 확보하기 위하여 일정한 내용을 포함하는 조치를 대통령령으로 정하는 바에 따라 이행하도록 의무화하고 있다. 한편 ‘안전의무의 수준’과 관련해서는 인공지능 시스템의 위험별·규모별로 이에 상응하는 의무와 책임을 부과하는 것이 바람직할 것으로 판단된다. 예컨대 유럽연합의 「인공지능법」(EU AI Act) 경우에는 AI 시스템을 여러 위험 범주로 분류하고(위험수준에 따라 금지 수준의 AI > 고위험 AI > 투명성 위험 > 최소한의 위험 > 기타), 각 위험 범주에 따라 다양한 수준의 규제를 적용하는 위험 기반 접근방식을 채택하고 있다. 반면, 미국의 경우에는 「캘리포니아 AI 투명성법」(California AI Transparency Act)의 ‘적용대상 공급자’(covered provider, 월간 방문자 또는 사용자가 1백만명 이상)나 「프런티어 인공지능 투명성법」(Transparency in Frontier Artificial Intelligence Act)의 ‘대규모 프런티어 개발자’(large frontier developer, 전년도 총 매출액이 5억 달러 초과)와 같이 규모별로 안전의무를 설정하고 있다. 그런데 이러한 접근방식은 위험성의 한 측면만을 고려한 것으로 이해되며, 인공지능의 안전위험은 인공지능 시스템의 위험별·규모별로 사회에 영향을 달리 미칠 수 있기 때문에 “위험과 규모를 동시에 고려하여” 이에 비례해 안전의무 수준을 설정하는 것이 타당할 것이다.
넷째, ‘투명성의 원칙’이다. 이는 AI 시스템이 어떻게 개발, 훈련, 운영되고 배치되었는지 사람들이 이해할 수 있도록 하여 특히, 소비자가 더 많은 정보에 기반해 해당 AI 시스템의 사용을 적절히 선택할 수 있도록 보장하는 것을 의미한다. 나아가 AI를 활용하여 예측, 추천 또는 의사결정하는 경우에 사용자가 AI와 상호작용하고 있다는 사실을 공개하여 인공지능에 의한 정보왜곡이나 사실 오해로 인한 피해를 방지할 필요도 있다. 이를 위해 유럽연합 인공지능법에서는 범용 인공지능 시스템의 투명성 요건(GPAI system transparency requirements) 적용이나 투명성이 부족할 경우 ‘제한적인 위험’(limited risks)을 초래하는 AI 시스템의 경우에 정보 및 투명성 요건의 적용을 받도록 하고 있으며, 특히 감정인식시스템(emotion recognition system) 또는 생체분류시스템(biometric categorisation system)의 배치자에게는 해당 시스템에 노출된 사람들에게 시스템 작동에 관한 사항을 알리도록 하고 있다. 또한 미국의 경우에는 ‘인공지능의 투명성’을 중요한 문제로 이해하고 있다. 예를 들어 캘리포니아 주의회는 “신중한 노력과 합리적인 예방조치를 취하지 않게 되면, 첨단 인공지능 시스템의 악의적인 사용과 오작동으로 인해 인공지능 기반 해킹, 생물학적 공격, 통제 상실 등 치명적인 위험이 초래될 수 있다”는 점을 우려하면서 “물론 주요 인공지능 개발기업들이 자발적으로 최첨단(frontier) AI 프레임워크의 개발, 활용 및 공개를 업계 모범사례로 확립했지만, 모든 개발자들이 투명성과 대중 보호를 위해 충분하게 정보를 제공하는 것은 아니다”라고 지적하며 “정부와 일반 시민에게 시의적절하고 정확한 정보를 제공하기 위해 프런티어 개발자의 표준화되고 객관적인 보고의무가 필요”함을 선언하고 있다. 이에 따라 미국(캘리포니아)의 「생성형 인공지능 책임법」, 「캘리포니아 AI 투명성법」, 「프런티어 인공지능 투명성법」에서는 다양한 투명성 의무를 부과하고 있다. 나아가 최근 미-이란 전쟁에서 목격하는 바와 같이, AI는 민간인을 살상하는 수단으로도 사용될 수 있다. 그 과정에서 AI의 완전자율무기화를 반대했던 엔트로픽은 ‘공급망위험 기업’으로 지정되는가 하면, 美 전쟁부와 협업을 수용한 오픈 AI는 시민들의 뭇매를 맞고 있는 상황이다. 이처럼 AI의 오남용을 방지하기 위해서라도 AI가 어떤 용도로 사용되는지 그 목적을 투명하게 사전에 공개하여 AI의 오남용을 사전에 예방하는 것(목적 명확성의 원칙)도 중요하며, 이 또한 투명성의 원칙에 포함된다고 보아야 한다.
다섯째, ‘설명가능성의 원칙’이다. 이는 AI 시스템의 결과에 영향을 받는 사람들이 그 결과가 어떻게 도출되었는지 이해할 수 있도록 하기 위해 이해하기 쉬운 정보를 제공하여 부정적인 영향을 받는 사람들이 그 결과에 이의를 제기할 수 있도록 해야 한다는 것이다. 이처럼 ‘설명가능성’은 관련 당사자가 AI시스템의 의사결정 과정에 접근하고, 해석 및 이해할 수 있는 정도를 의미하며, ‘투명성’과 함께 ‘설명가능성’은 규제당국이 AI시스템에 관한 입력 및 출력에 대한 충분한 정보를 확보하여 다른 원칙(책임성의 원칙, 책임소재 파악 등)에 유의미한 영향을 미칠 수 있음을 시사한다. 다만, 이와 같이 과도하게 설명가능성을 요구할 경우에는 시스템 복잡성과 비용 증가를 발생시켜 중소기업과 같은 소규모 인공지능사업자에게 불균형적인 부담을 줄 가능성도 있다. 따라서 인공지능사업자가 결과에 대한 설명을 제공할 경우에는 “명확하고 간단한 용어로” 의사결정의 주요요인, 특정 결과의 배경이 되는 데이터·논리 또는 알고리즘을 설명하거나 유사한 상황에서 다른 결과가 발생한 이유를 설명하는 방식을 고려해 볼 수 있다. 또한 AI시스템이 초래하는 위험에 비례하여 적절한 수준의 설명가능성 기준을 설정하는 방법을 개발하는 것도 타당할 것으로 생각된다.
여섯째, ‘공정성의 원칙’이다. 이는 AI 시스템이 개인이나 조직의 법적 권리를 부당하게 침해하거나 특정 개인을 부당하게 차별하는 등 불공정한 결과를 초래해서는 안 된다는 것이다. 예를 들어 AI시스템의 편향성에 의한 불공정사례로 자율주행차가 피부색이 밝은 보행자를 어두운 보행자보다 더 정확하게 감지하도록 개발된 경우, AI시스템이 성별이나 거주지 등에 대한 편견으로 채용 및 고용 과정에서 차별을 야기한 경우, 인종이나 민족성과 같은 관련 없는 요소에 의해 신용점수나 보험료를 산정한 경우 등을 상정해 볼 수 있다. 이와 같이 AI 기반 의사결정은 사람들의 삶에 중대한 영향을 미칠 수 있기 때문에 그 결정이 임의적이거나 자의적이어서는 안 되며 이를 정당화할 수 있는 근거가 있어야 한다. 따라서 AI 수명주기의 모든 단계에 참여하는 행위자는 AI 시스템을 사용하거나 결과를 활용하는 경우에 공정성의 원칙을 고려해야 하고, AI 시스템의 편견과 차별을 방지하기 위한 효과적인 조치를 취해야 할 것이다. 특히 공공기관에서 AI를 사용할 때에는 법률에 의해 부과된 의무(공공부문의 평등의무)를 준수해야 하는 등 보다 강한 공정성이 요구된다고 보아야 한다.
일곱째, ‘책임성의 원칙’이다. 이는 조직이나 개인이 설계, 개발, 운영 또는 배치하는 AI 시스템이 수명 주기 전반에 걸쳐 제대로 작동하도록 보장하고, 이를 AI 시스템의 작동이나 의사결정 프로세스를 통해 입증하는 것을 의미한다. 물론 앞에서 제시한 ‘투명성의 원칙’과 ‘설명가능성의 원칙’은 책임성을 강화하는 전제가 되기도 한다. 따라서 AI 사업자는 자신의 역할, 상황, 최신기술에 맞춰 AI 시스템이 적절하게 작동되고 위의 원칙을 준수하도록 책임을 져야 한다. 또한 AI 시스템 수명 주기의 각 단계에서 체계적인 위험관리 접근방식(risk management approach)을 지속적으로 적용하고, 책임 있는 사업 운영을 통해 AI 시스템에 대한 위험을 해결해야 한다. 여기서의 위험에는 유해한 편견(harmful bias), 안전 및 보안 문제, 개인정보보호를 포함한 인권, 노동권 및 지식재산권과 관련된 위험도 포함된다. 나아가 동 원칙은 AI 수명주기 전반에 걸쳐 명확한 책임 소재가 확립되어야 한다는 원칙으로도 볼 수 있다. 이를 위해 규제당국은 AI 공급망에 참여하는 주체들에게 규제준수 방법이나 모범사례를 통한 예측 가능한 방법을 제시해야 하며, AI 수명주기에 참여하는 행위자가 자신의 책임을 적절하게 입증하는 방식도 제시할 필요가 있다(AI 시스템 수명주기 전반에 걸친 주요 결정에 대한 문서 제공, 영향평가 수행 또는 필요한 경우 감사 허용 등). 다만, AI 시스템의 경우 높은 수준의 자율성으로 작동할 수 있고, 예상하지 못한 방식으로 특정 결과를 도출할 수 있기 때문에 규정준수를 보장하는 동시에 “비즈니스의 확실성을 담보”하기 위해서라도 명확하고 적절한 책임관계를 설정하는 것이 필수적일 것이다.
여덟째, ‘이의제기 가능성의 원칙’이다. OECD AI원칙(2019), G7 히로시마 AI 프로세스(2023) 등의 주요 원칙에서는 인공지능의 안전성, 책임성 등을 주로 다루고 있지만, 이를 통해 피해를 받은 사람에 대한 이의제기와 관련하여 명확한 답을 제시해 주지 않고 있다. 하지만 앞에서 살펴본 바와 같이 AI 기술의 사용은 사람들의 삶에 중대한 영향을 미칠 수 있으며, 안전 문제나 차별 등 다양한 유형의 피해를 초래할 수 있다. 따라서 AI의 결정이나 결과로 인해 AI 사용자, 영향을 받는 제3자 또는 AI 수명주기에 참여하는 행위자가 실질적인 피해를 입었거나 그러한 위험이 있는 때에는 AI의 결정이나 결과에 대해 이의를 제기할 수 있어야 한다. 이런 점에서 국가기관인 규제당국은 영향을 받는 당사자를 위한 이의제기 및 구제절차를 마련해야 하고, 영향을 받는 당사자가 쉽게 이의제기를 위한 경로(비공식 채널 포함)를 이용할 수 있도록 해당 기업에게 이를 안내하도록 조치해야 할 것이다.
아홉째, ‘접근성 보장의 원칙’이다. 인공지능 기술의 발전과 이용 확산에 따라 인공지능을 익숙하게 사용하는 사람과 그렇지 못한 사람 그리고 인공지능에 접근할 수 있는 사람과 그렇지 못한 사람 사이의 사회적·경제적 격차와 불평등 문제가 나타날 수 있다. 이에 따라 UN의 인류를 위한 인공지능 거버넌스 최종보고서(2024)에서는 지역 간 인공지능 격차를 해소하기 위해 역량개발 네트워크 구축, 인공지능을 위한 글로벌 기금 조성, 글로벌 인공지능 데이터 프레임워크 등을 제시하고 있고, 2023년 「모든 AI 관계자를 위한 히로시마 프로세스 국제지침」(全AI関係者向けの広島プロセス国際指針)이나 2025년 경주 APEC AI 이니셔티브(2025)에서도 디지털 격차 해소와 AI의 이점을 극대화할 것을 제안하고 있다. 또한 중국의 경우에도 「지능형 사회발전 및 거버넌스 표준화 지침」(2025년판)을 통해 기술격차 해소를 위해 노력하고, 기술 접근성이 부족하거나 사용에 어려움을 겪는 개인에게 대안을 제공하는 등 조화롭고 우호적인 인간-기계 간 상호작용을 촉진할 것을 제시하고 있다. 물론 이러한 원칙은 서비스 유료화를 지향하고 있는 민간기업보다는 국가의 책무로 나타날 수 있을 것이다. 따라서 국가는 모든 국민이 인공지능에 접근하여 이를 이용할 수 있도록 적절한 교육과 훈련 과정을 마련(AI 디바이드 및 리터러시 문제 해소)하고, 노인·장애인·이주민·경제적 소외계층 등의 취약계층이 인공지능 제품·서비스에 접근할 수 있는 기회를 보장하는 조치를 강구해야 할 것이다. 그런데 우리나라 「인공지능기본법」에서는 이러한 ‘접근성 보장의 원칙’을 국가의 책무나 기본원칙으로 접근하기보다는 권고적 성격의 ‘인공지능 윤리원칙’의 한 내용(인공지능기술이 적용된 제품ㆍ서비스 등을 모든 사람이 자유롭고 편리하게 이용할 수 있는 접근성에 관한 사항)으로 접근(임의규정)하고 있어 책무성이 약화되어 있다. 따라서 이러한 부분은 추후 법 개정을 통해 “접근성 보장에 관한 국가의 책무성을 강조하는 방식으로 개선”하는 것이 바람직할 것이다.
마지막으로, ‘사회 혁신의 원칙’을 제시한다. 인공지능 기술은 기업의 생산성 향상과 제품·서비스의 경쟁력 강화에 도움을 주는 것을 넘어, 사회적·경제적·문화적 혁신을 촉발하는 엄청난 잠재력을 가지고 있다. 그런데 특정한 기업이나 집단이 이러한 인공지능의 혜택을 독점할 경우에는 사회적 불평등과 구조적 갈등을 심화시킬 위험이 있다. 이런 점에서 교육, 문화, 복지, 안전, 행정, 의료 등 사회 곳곳에 인공지능을 적용하여 사회 혁신을 이루고, 그 혁신의 혜택을 모든 사람이 골고루 누릴 수 있는 제도기반을 마련할 필요가 있다(포용적 혁신). 마찬가지로 ‘아실로마 AI원칙’에서 적절히 지적한 바와 같이 인공지능 연구는 무분별한 지능을 개발하는 것이 아니라 ‘유익한 지능’(beneficial intelligence)을 창출하는 것에 있음(지침1)을 명심하고, 인공지능의 유익한 사용을 보장하기 위한 다각적인 대책을 마련해야 할 것이다. 특히 최근 논의되고 있는 ‘초지능’(superintelligence)의 경우에도 특정 국가나 조직이 아닌, 인류 전체의 이익을 위한 목적으로 개발하는 것이 바람직하다(지침23). 다만, 이러한 ‘사회 혁신의 원칙’은 인공지능을 활용한 사회 혁신과 함께 혁신에 장애가 되는 요소를 개선하는 데에도 적용할 수 있을 것이다. 예를 들어 사회 혁신을 위해 인공지능의 성능을 높이기 위해서는 대량의 고품질 데이터로 학습할 필요가 있겠으나, 저작권 문제로 데이터 활용에 어려움을 겪을 수 있다. 이와 관련하여 독일의 경우에는 「저작권 및 관련 권리법」(Gesetz über Urheberrecht und verwandte Schutzrechte, Urheberrechtsgesetz)에서 텍스트·데이터 마이닝(TDM)에 대한 예외 조항을 두고 있다(사전에 이용허락을 받는 Opt-in 방식이 아닌, Opt-out 방식 채택). 즉, 텍스트 및 데이터 마이닝을 위해 합법적으로 접근 가능한 저작물의 복제를 허용하고 있는데, 만일 저작권자가 저작물에 대한 이용을 제한(유보)하지 않는 경우에는 텍스트 및 데이터 마이닝을 위해 접근 가능한 저작물의 사용이 허용되고, 온라인을 통해 접근 가능한 저작물에 대한 저작권자의 이용제한(유보)은 기계 판독이 가능한 형태로 이루어진 경우에만 유효하도록 하였다. 이와 달리 우리나라 「저작권법」에는 재판 등에서의 복제, 학교교육 목적 등에의 이용, 시사보도를 위한 이용 등 일정한 예외적 허용 규정 외에 인공지능 학습 목적의 저작물 활용 규정을 두고 있지 않다. 그런데 인공지능을 활용한 사회 혁신을 위해서는 그 전제로 ‘데이터의 유통성 확보’가 필요할 것이다. 따라서 ‘권리자의 권리 보호’와 혁신을 위한 ‘데이터의 유통성 확보’ 사이의 적절한 균형점을 모색하여 TDM 조항의 도입과 같이 인공지능을 활용한 사회 혁신이 가능하도록 제도개선을 해야 할 것이다.
