AI 신뢰성 및 윤리 제도 연구 A Study on AI Trustworthiness and Ethics: a Corporate Preparedness Perspective PDF Free Download

Name: AI 신뢰성 및 윤리 제도 연구 A Study on AI Trustworthiness and Ethics: a Corporate Preparedness Perspective PDF
Author: holly328521

1 / 104

0 views•104 pages

AI 신뢰성 및 윤리 제도 연구 A Study on AI Trustworthiness and Ethics: a Corporate Preparedness Perspective PDF Free Download

AI 신뢰성 및 윤리 제도 연구 A Study on AI Trustworthiness and Ethics: a Corporate Preparedness Perspective PDF free Download. Think more deeply and widely.

연구보고서 RE-186

AI 신뢰성 및 윤리 제도 연구

A Study on AI Trustworthiness and Ethics: a Corporate Preparedness

Perspective

장진철 /안성원 /김예진

2025. 4.

이 보고서는 2024년도 과학기술정보통신부 정보통신진흥기금을 지원

받아 수행한 연구결과로 보고서 내용은 연구자의 견해이며 , 과학기술정 보

통신부의 공식입장과 다를 수 있습니다 .

목 차

제1장 서 론 ··························································································································1

제1절 연구의 필요성 및 목적 ··························································································1

제2절 연구 범위 및 방법 ··································································································3

제3절 선행연구와의 차별성 ······························································································4

제4절 기대 효과 ··················································································································4

제2장 선행연구 조사: AI 윤리 및 신뢰성 개념 ···························································6

제1절 AI 윤리 및 신뢰성 ··································································································6

제2절 AI 위험 및 안전 ······································································································8

제3절 소결 ··························································································································12

제3장 글로벌 AI 위험 대응 현황 ··················································································13

제1절 AI 사고 현황 ··········································································································13

제2절 국가별 제도 현황 ··································································································18

제3절 글로벌 주요 기업의 신뢰할 수 있는 AI 인식 및 대응 현황 ······················29

제4절 소결 ··························································································································53

제4장 우리나라 기업의 신뢰할 수 있는 AI 인식 조사 ············································55

제1절 조사 개요 ················································································································55

제2절 조사 결과 ················································································································59

제3절 소결 ··························································································································66

제5장 결론 및 시사점 ······································································································68

제1절 시사점 ······················································································································68

제2절 결론 ··························································································································80

참 고 문 헌 ··················································································································83

- iv -

표목차

[표 1-1] 연구 내용 및 절차 ···························································································3

[표 2-1] AI 윤리 및 신뢰성 관련 선행연구의 개념 정리 (SPRi, 2022) ··················7

[표 2-2] 영국에서 정의된 AI 위험 요인 (Bengio et al., 2025) ·································9

[표 2-3] LLM의 위험 요인(Wang et al., 2023) ··························································11

[표 3-1] OECD의 AI 사고 분류 기준 ···········································································14

[표 3-2] 분류별 AI 사고 건수 (2024.12.19. 기준) ······················································15

[표 3-3] 허용할 수 없는 AI 시스템의 예 ····································································20

[표 3-4] EU AI법에 의한 고위험 AI 시스템 사례 ·····················································22

[표 3-5] 바이든 전 대통령 행정부의 AI 안전·신뢰·책임을 위한 주요 노력 ··23

[표 3-6] 구글의 프론티어 AI 안전 프레임워크 세부 내용 ······································39

[표 3-7] 구글 프론티어 안전 프레임워크의 4단계 보안 및 배포 완화 조치 ·····40

[표 3-8] 앤트로픽의 AI 안전 수준과 정의 ··································································40

[표 3-9] 메타의 Llama Guard에서 정의하는 AI 위험 ··············································42

[표 4-1] 최종 선정된 심층 인터뷰 대상 기업 명부 ·················································55

[표 4-2] 심층 인터뷰 대상 기업 기초통계 ·······························································56

[표 4-3] 심층 인터뷰 조사의 구성 ·············································································57

[표 4-4] 심층 인터뷰 데이터 TF-IDF 분석 결과 ····················································64

[표 4-5] 심층 인터뷰 응답 기업의 신뢰할 수 있는 AI 요인별 인식 ··················65

[표 4-6] AI 신뢰성 요인별 심층 인터뷰 내용 요약 ················································66

[표 6-1] 주요 시사점 및 결론 ·······················································································81

- v -

그 림 목 차

<그림 2-1> Diaz-Rodriguez(2023)의 연구에서 정의한 AI 신뢰성 개념 ···················8

<그림 2-2> OECD의 AI 피해 심각도별 AI 위험과 사고 분류 ································10

<그림 2-3> 주요 LLM의 위험한 답변 도출 수 (Wang et al., 2023) ·····················11

<그림 3-1> 연도별 AI 사고 건수 (2024.12.19. 기준) ················································14

<그림 3-2> 국가별 AI 사고 건수 (2024.12.19. 기준) ················································15

<그림 3-3> EU AI 법의 위험 수준 (출처: Dias-Rodriguez et al., 2023) ··············19

<그림 3-4> 글로벌 기업의 신뢰할 수 있는 AI 현황 조사 결과 ··························30

<그림 3-5> 글로벌 지역별 개인정보 보호 및 데이터 거버넌스 조치 비율 ········31

<그림 3-6> 글로벌 지역별 투명성 및 설명 가능성 조치 비율 ······························31

<그림 3-7> 글로벌 지역별 신뢰성 조치 비율 ····························································32

<그림 3-8> 글로벌 지역별 보안 조치 비율 ································································32

<그림 3-9> 글로벌 지역별 공정성 조치 비율 ····························································33

<그림 3-10> 산업별 AI 위험 비율(Arize Inc., 2024) ·················································33

<그림 3-11> 오픈AI, 구글, 앤트로픽의 연구 주제별 AI 안전 연구 현황 ··········36

<그림 3-12> OpenAI o1의 스코어카드(2024.9) ···························································38

<그림 3-13> 구글 프론티어 안전 프레임워크 세부 내용 ········································39

<그림 3-14> 앤트로픽의 AI 안전 수준과 안전 버퍼 ················································41

<그림 3-15> 메타의 생성AI 모델 주기·단계별 위험 완화 과정 정의 ················42

<그림 3-16> 네이버의 AI 안전성 실천 체계 ······························································44

<그림 3-17> 네이버의 AI 윤리·안전성 개선 프로세스 ··········································44

<그림 3-18> 네이버 SQuARe 프레임워크 ····································································45

<그림 3-19> LG AI 연구원의 LG AI 윤리 원칙 ······················································46

<그림 3-20> ChatEXAONE에 적용된 프롬프트 추천 기능을 보여주는 화면 ······48

<그림 3-21> 카카오의 AI 안전 이니셔티브 ································································49

<그림 3-22> KT RAI Principles ·····················································································50

<그림 3-23> AI 윤리 원칙 준수를 위한 삼성전자의 노력 ······································52

- vi -

<그림 4-1> 심층 인터뷰 조사 체계 ··············································································57

<그림 4-2> 심층 인터뷰 가이드라인 ············································································58

<그림 6-1> 기업의 AI 신뢰성 동향과 관련된 네 가지 주요 요인 ························69

<그림 6-2> 영국의 AI 안전 보증 프레임워크 구조 (출처: gov.uk) ·······················72

<그림 6-3> AI 시스템 분류 및 조치를 위한 의사결정 트리 ··································74

<그림 6-4> Responsible AI Startups (RAIS) Framework ···········································77

- vii -

요 약 문

1. 제 목 : AI 윤리·신뢰성 제도 연구

2. 연구 목적 및 필요성

최근 AI 기술의 발전은 전 세계적으로 사용자의 증가와 함께 주목을 받고 있으며, 특

히 생성형 AI 기술은 글로벌 기술 시장에서 주요 트렌드로 자리 잡았다. 구글, 마이크

로소프트와 같은 AI 분야 글로벌 선도 기업들은 경쟁적으로 새로운 AI 서비스를 출시

하고 있으며, 2022년 오픈AI의 챗GPT 출시는 생성형 AI 시대의 본격적인 서막을 알렸

으며, 영상 생성 기술인 '소라(Sora)'와 같은 혁신적인 AI 기술이 고품질 영상과 환경

묘사를 통해 높은 평가를 받고 있다. 더불어, 구글은 자체 서비스에 생성형 AI 모델인

제미나이(Gemini)를 도입하며 AI 생태계 확장을 발표하는 등 AI 기술의 발전과 도입이

빠르게 진행되고 있다.

AI 기술의 이러한 발전은 단순히 기술적 가능성에 그치지 않고, 글로벌 경제와 산업

전반에서 큰 파급 효과를 예고하고 있다. 예를 들어, 스탠퍼드대학교의 2024 AI 인덱스

보고서에 따르면, 전 세계 기업 중 55%가 AI 기술을 도입하고 있으며, 이는 전년도

50%에서 5%p 증가한 수치이다. 이러한 도입률 증가는 AI 기술이 향후 3~5년 이내에

일상생활과 산업에 걸쳐 획기적인 변화를 가져올 것이라는 기대를 반영하고 있다. 또

한, 전 세계 응답자의 63%가 챗GPT를 인지하고 있을 만큼, AI 기술은 대중의 관심과

기대를 동시에 받고 있다.

그러나 AI 기술의 빠른 발전과 확산은 새로운 윤리적 문제와 신뢰성 확보에 대한 필

요성을 동반하고 있다. 특히, 데이터 편향, 개인정보 유출, 그리고 AI 시스템의 공정성

과 투명성 문제는 사회적 신뢰를 저해할 수 있는 주요 요소로 지적되고 있다. 구글, 오

픈AI 등 글로벌 빅테크 기업은 이러한 문제를 해결하기 위해 AI 윤리 가이드라인과 내

부 프레임워크를 구축하고, 안전성을 강화하기 위한 연구와 평가를 지속 진행하고 있

다. 하지만, 국내에서는 특히 중소기업들이 예산과 인력 부족, 기술적 인프라의 미비

등의 이유로 변화에 효과적으로 대응하기 어려운 상황에 직면해 있다.

이에, 본 연구는 국내 중소기업들이 AI 기술 도입과 활용 과정에서 직면할 수 있는

윤리적 문제와 신뢰성 확보 이슈를 해결할 수 있도록 지원하기 위한 정책적 기반에 대

해 연구하고자 한다. 각국의 정책 및 글로벌 기업의 가이드라인을 살펴보고, 우리나라

기업이 이 이슈에 대해 어느 정도의 인식 수준을 갖고 있는지를 심층 인터뷰 조사를

통해 확인하고자 한다. 이러한 연구는 국내 AI 산업이 글로벌 경쟁력을 갖추고, 윤리적

이고 신뢰성 있는 AI 생태계를 구축하며, 지속 가능한 성장을 이룰 것으로 기대된다.

- viii -

3. 연구의 구성 및 범위

본 연구는 AI 신뢰성 확보를 위한 정책 방향을 제시하기 위해 다음과 같은 세 가지

주요 과업으로 구성되었다. 먼저, 선행연구 조사에서는 AI 윤리, 신뢰성, 그리고 AI 위

험의 개념과 정의를 체계적으로 정리하고자 하였다. 이를 위해 기존의 다양한 문헌을

검토하며, 글로벌 및 국내 AI 기업의 대비 현황을 파악하기 위한 연구의 범위를 설정

하였다. 또한, OECD에서 제공하는 데이터베이스를 활용하여 AI 사고의 연도별 및 국가

별 현황을 분석하였으며, 글로벌 빅테크 기업들이 AI 윤리와 신뢰성 확보를 위해 조직,

프레임워크, 기술 개발 등의 다양한 방식으로 대응하고 있는 사례를 살펴보았다.

그 다음, 글로벌 AI 사고 및 기업 대응 현황 분석에서는 글로벌 AI 사고 데이터를 기

반으로 주요 국가와 기업의 AI 위험 관리와 대응 현황을 조사하였다. 특히 빅테크 기

업들의 사업 보고서와 최근 조사 자료를 통해 신뢰할 수 있는 AI의 대응을 강화하기

위해 조직적으로 접근하는 방식과 프레임워크를 구체적으로 분석했다. 이 과정에서 구

글, 오픈AI, 메타 등 주요 기업들이 AI 개발 과정에서 안전성과 책임성을 높이기 위해

어떤 노력을 기울이고 있는지에 대한 구체적인 사례를 포함하였다.

마지막으로, 국내 중소기업을 대상으로 심층 인터뷰(IDI)를 실시하여 이들이 AI 안전

성과 신뢰성 문제를 어떻게 인식하고 있는지, 그리고 현재 어떤 방식으로 대응하고 있

는지를 조사하였다. 이 조사를 통해 국내 기업의 현황을 파악하고, 앞으로 제도적으로

지원해야 할 사항들을 도출하였다. 특히 중소기업은 예산과 인력 부족으로 인해 AI 윤

리 및 신뢰성 확보에 어려움을 겪고 있음이 확인되었고, 이를 해결하기 위한 정책적

시사점을 제안하였다

즉, 본 연구는 선행연구에서 논의된 개념과 글로벌 및 국내 사례를 바탕으로 국내 중

소기업의 현황을 심층적으로 분석하여, 우리나라의 AI 생태계를 강화할 수 있는 정책

적 기반을 마련하는 데 초점을 맞추고 있다. 이러한 접근을 통해 AI 기술 발전에 따른

윤리적 문제와 신뢰성 확보에 대한 대응 전략을 구체화하는 데 이바지할 것으로 전망

된다.

4. 연구 내용 및 결과

본 연구는 AI 신뢰성 이슈에 대응하기 위해 주요 글로벌 및 국내 사례를 분석하고,

이를 바탕으로 국내 정책적 시사점을 도출하는 데 중점을 두었다. 먼저, AI 기술 발전

에 따라 발생한 글로벌 AI 사고 현황을 분석하기 위해 OECD의 데이터베이스를 활용하

였다. 이를 통해 AI 사고의 연도별 및 국가별 주요 통계를 통해 AI 사고의 지속적 증가

함을 확인하였다.

- ix -

이어, 글로벌 빅테크 기업, 특히 OpenAI, Google DeepMind, 그리고 Anthropic 등의

빅테크 기업이 AI 신뢰성 강화에 기여하는 프레임워크와 기술 개발 전략을 살펴보았

다. 이들 기업의 AI 안전 관련 주요 연구 주제는 인간 피드백 강화를 통한 학습, 기계

적 해석 가능성 확보, AI 시스템의 견고성 증대 등으로 나타났다.

글로벌 기업들은 AI 윤리와 신뢰성을 확보하기 위해 내부 프레임워크를 수립하고 이

를 조직적으로 운영하고 있다. 예를 들어, 구글은 "프론티어 안전 프레임워크"를 도입

하여 AI 모델의 치명적 역량 수준을 식별하고, 이를 평가하며, 완화 조치를 적용하는

방안을 마련했다. 국내의 네이버는 한국어 데이터셋을 기반으로 편향을 줄이고 안전성

을 높이는 SQuARe 프레임워크를 운영 중이며, LG AI 연구원은 AI 윤리 위원회를 통해

주요 윤리적 문제를 사전에 점검하고 대응 전략을 수립하고 있는 등 글로벌 기업 수준

의 대응을 위해 노력하고 있다.

국내 중소기업을 대상으로 한 심층 인터뷰를 통해 AI 신뢰성에 대한 인식과 대응 현

황을 조사하였다. 많은 중소기업들이 데이터 편향과 개인정보 유출 등의 문제를 주요

위험으로 인식하였으며, 예산과 인력의 제약이 이러한 문제 해결을 어렵게 하는 주요

요인으로 분석되었다. 특히, AI 기술의 윤리적 활용과 안전성 확보를 위한 체계적인 지

원과 가이드라인이 필요함을 확인하였으며, 각 신뢰성 요소별 주요 결과는 다음 표와

같다.

신뢰성 요소

주요 내용

프라이버시 보호

Ÿ고객 개인정보 유출에 대한 우려로 인해 필요한 데이터만을 수집

Ÿ웹 공개 데이터 수집 시 저작권 문제나 데이터의 정확성을 고려할 필요

견고성

Ÿ보안 사고 예방을 위해 온프레미스 환경의 구축을 고려하고 있으나

중소기업의 경우 시스

템 개발 및 관리 관련 비용과 노력이 클라우드 대비 많이 발생

공정성

Ÿ수집 및 가공된 학습 데이터 편향 제거를 위한 노력

Ÿ해외 진출을 고려하지 않는 경우가 많아 다양성 존중이나 차별금지 측면은 아직 부족

투명성

모델이 생성한 결과에 대해 명확한 설명이 이뤄지지 않고 있음

Ÿ소규모 기업에서는 위험 관리를 위한 문서화와 같은 프로세스가 부족한 어려움

책임성

사고 발생 시 구체적인 책임과 사고 해결을 위한 거버넌스 체계의 필요성

Ÿ오픈소스 모델을 사용하는 기업에서는

모델에 의한 사고 발생 시 불분명한 책임 문제의

소지

인류 가치 증진

로 인한 인력 대체 효과로 인해 향후 노동 인력의 감소를 우려하는 언급

Ÿ각 분야별 초급 인력은

로 대체될 상황이 높음

AI 신뢰성 확보를 위한 글로벌 및 국내 기업의 노력과 사례, 그리고 심층 인터뷰 내

용을 바탕으로, 국내 중소기업들이 AI 기술을 안전하고 신뢰성 있게 활용할 수 있도록

정책적 지원 방안이 필요함을 도출하였다. 또한, AI 사고 데이터를 통해 도출된 주요

위험 요소를 분석하여 이를 해결하기 위한 기술적, 제도적 방향성을 제시하였다. 특히,

AI 개발 과정에서 투명성, 공정성, 책임성 확보가 중요한 요소로 나타났다.

- x -

5. 정책적 활용 내용

본 연구는 중소기업을 위한 AI 신뢰성 체계 구축 지원에 기여할 수 있다. 심층 인터

뷰 결과 중소기업과 스타트업은 대기업에 비해 AI 거버넌스를 구축하는 데 있어 자원

부족 문제를 겪고 있다. 이러한 난제를 해결하기 위해, 기업 자체적으로 내부 사규에

AI 신뢰성 및 안전 정책 관련 내용을 명문화하고, 대표이사의 승인을 거쳐 정식 정책

체계를 마련할 것을 제안하고 있다. 또한, 각 부서별로 AI 모델, 데이터, 시스템, 서비

스 등에서 발생할 수 있는 위험을 명확히 정의하고, 이에 대한 관리 업무 체계를 구축

할 필요성이 있으며, 데이터와 AI 모델의 역할을 명확히 분리하여, 데이터 관리 기준과

모델 관리 기준을 수립할 필요성을 강조하고 있다. 정부는 AI 신뢰성 인증 바우처 제

공을 통해 신뢰성을 확보한 기업에 대한 지원을 강화하고, 공공 조달 인센티브 제도를

도입하여 AI 신뢰성을 인증받은 솔루션에 대한 조달 가점을 부여할 필요가 있다. 이를

통해 민간 기업의 신뢰성 확보 활동을 자연스럽게 촉진할 수 있는 정책 도구를 활용할

필요성을 언급하였다. 일부 글로벌 벤처투자사(VC)에서는 AI 스타트업을 대상으로 한

AI 안전 체계 여부를 점검하는 체크리스트를 마련하고 있으며, 이는 향후 AI 스타트업

에 대한 안전 체계 마련에 대한 요구가 점차 증대될 것으로 예상된다.

심층 인터뷰 결과 AI 기술의 신뢰성을 높이기 위해 데이터 편향 문제를 해결하는 것

이 중요하다는 의견이 다수였으며, 학습 데이터와 AI 서비스 데이터의 구분 관리 및

데이터의 품질을 높이기 위한 지속적인 테스트 수행이 필요하며 데이터의 프라이버시

및 저작권 문제를 관리하고, 모델 카드와 같은 투명성을 높이는 시스템을 활용하여 AI

모델의 안전성과 신뢰성을 점검하도록 제안한다. 한편, 신뢰할 수 있는 AI 시스템 개발

과정에서 공정성 향상에 대한 요구 역시 증가하고 있으며, 이를 위해 개인과 사회에

AI의 부정적인 영향을 감소시키는 방안에 대한 연구 및 영향 평가 역시 지속적으로 추

진할 필요가 있다.

정리하면, 국내 AI 산업 생태계를 강화하고, 글로벌 경쟁력을 확보하며, AI 기술의 안

전성과 윤리성을 높이는 데 기여할 수 있다.

구성원

주요 시사점

기업

Ÿ기업 내부 사규에

안전 체계 가이드라인을 명문화하여 모델 카드와 같은 투명성 확보

Ÿ각 부서별

모델

데이터

시스템

서비스 등의

위험을 정의하고 관리 업무 체계 구축

Ÿ학습 데이터 품질을 높이기 위한 데이터 프라이버시 및 저작권 문제 관리

정부

신뢰성 인증 바우처 제공을 통한 신뢰성 확보 기업의 지원 강화

Ÿ공공 조달 인센티브 제도를 도입하여 신뢰성 인증 업체에 대한 조달 가점 부여

연구

Ÿ신뢰할 수 있는

시스템 개발 과정에서 공정성 향상 방안 연구

- xi -

6. 기대효과

본 연구는 국내 AI 산업 생태계 활성화와 글로벌 경쟁력을 강화하기 위한 국내 중소

기업 및 스타트업 대상의 AI 윤리와 신뢰성 제도 구축에 중요한 기여를 할 것으로 기

대된다. 연구 과정에서 수행된 심층 인터뷰와 데이터 분석을 바탕으로, 국내 기업, 특

히 중소기업을 중심으로 AI 윤리와 신뢰성 확보에 대한 현황을 점검하고 AI 신뢰성을

강화하기 위한 정책 개발에 실질적인 자료를 제공할 것으로 기대된다. 이는 국내 중소

기업들이 신뢰성 있는 AI 기술을 개발하고 활용할 수 있도록 지원하며, 정책 수립의

신뢰성을 높이는 데 기여할 것이다.

본 연구는 국내 기업들이 글로벌 AI 시장에서 경쟁력을 갖출 수 있도록 돕는 기반을

제공할 것이다. 특히, AI 신뢰성과 윤리성을 기반으로 글로벌 시장에서 인정받는 기업

으로 성장할 수 있도록 지원하는 데 기여할 것이며, 더 나아가 국내 AI 산업의 지속

가능한 성장과 생태계 활성화를 지원할 수 있을 것이다. 이는 AI 윤리와 신뢰성을 강

화함으로써 AI 기술에 대한 사회적 수용성을 높이고, 기업과 사회 간의 신뢰를 증진시

킬 수 있다.

- xii -

SUMMARY

1. Title:

A Study on AI Ethics and Trustworthiness: a Corporate Preparedness Perspective

2. Purpose and Necessity of the Research

In recent years, the development of AI technology has garnered significant global

attention, particularly with generative AI emerging as a major trend in the global tech

market. Leading companies such as Google and Microsoft have been competitively

launching new AI services, and the release of ChatGPT in 2022 marked the beginning

of the generative AI era. Additionally, innovative AI technologies like "Sora," which

generates high-quality videos and environmental depictions, have received widespread

acclaim. Furthermore, Google has introduced its generative AI model, Gemini, into its

services, signaling the rapid expansion of the AI ecosystem.

This advancement in AI technology goes beyond mere technical capabilities and is

expected to have a profound impact on the global economy and various industries.

For instance, according to Stanford University's 2024 AI Index Report, 55% of

companies worldwide have adopted AI technology, up from 50% the previous year.

This increase in adoption reflects the anticipation that AI will bring transformative

changes across everyday life and industries within the next three to five years.

Additionally, 63% of global respondents reported awareness of ChatGPT, indicating

both high public interest and expectations for AI technology.

However, the rapid development and proliferation of AI technology have brought

about new ethical issues and a growing need to ensure reliability. Key concerns

include data bias, personal information leakage, and issues surrounding fairness and

transparency in AI systems which could undermine societal trust. Leading global tech

companies have been actively addressing these challenges by establishing AI ethics

guidelines and internal frameworks, while continuously conducting research and

evaluations to enhance AI safety. Yet, within South Korea, small and medium-sized

enterprises (SMEs) face significant challenges in effectively responding to these

changes due to structural issues such as budget constraints, limited personnel, and

- xiii -

insufficient technological infrastructure.

Therefore, this study aims to provide a policy foundation to support domestic SMEs

in addressing ethical issues and reliability concerns associated with the adoption and

use of AI technology. The ultimate goal is to enable Korea AI industry to achieve

global competitiveness, establish an ethical and reliable AI ecosystem, and foster

sustainable growth.

3. Composition and Range

This study consists of the following three main tasks to suggest policy directions for

securing AI ethics and reliability. First, the previous research survey aimed to

systematically organize the concepts and definitions of AI ethics, reliability, and AI

risks. To this end, we reviewed various existing literature and research reports and

set the scope of the study to understand the status of preparedness of global and

domestic AI companies. In addition, we analyzed the status of AI accidents by year

and country using the database provided by the OECD, and examined cases in which

global big tech companies are responding in various ways such as organization,

framework, and technology development to secure AI ethics and reliability.

Next, in the analysis of the status of global AI accidents and corporate responses,

we investigated the status of AI risk management and response of major countries

and companies based on global AI accident data. In particular, we specifically

analyzed the organizational approach and framework to strengthen AI safety and

ethics through business reports and recent survey data of big tech companies. In this

process, specific cases of efforts made by major companies such as Google, OpenAI,

and Meta to enhance AI safety and trustworthiness in the AI system development

process were included. Finally, in-depth interviews (IDI) were conducted with domestic

SMEs to investigate how they perceive AI safety and reliability issues and how they

are currently responding to them. Through this survey, the current status of domestic

companies was identified and issues that need to be supported institutionally in the

future were derived. In particular, it was confirmed that SMEs are having difficulties

in securing AI ethics and reliability due to budget and personnel shortages, and policy

implications for resolving this were proposed. This composition focuses on establishing

a policy foundation that can strengthen Korea AI industry ecosystem by deeply

analyzing the current status of domestic SMEs based on concepts discussed in

- xiv -

previous studies and global and domestic cases. This approach is expected to

contribute to specifying response strategies for ethical issues and securing reliability

due to the development of AI technology.

4. Main Contents and Results

This study focused on analyzing major global and domestic cases to respond to AI

ethics and reliability issues, and deriving domestic policy implications based on them.

First, the OECD database was utilized to analyze the status of global AI accidents

that occurred due to the development of AI technology. Through this, we confirmed

the continuous increase in AI accidents and risks through OECD statistics on AI

accidents by year and country.

Next, we examined the frameworks and technology development strategies that global

big tech companies, especially big tech companies such as OpenAI, Google DeepMind,

and Anthropic, contribute to strengthening AI reliability. The main research topics

related to AI safety at these companies were learning through strengthening human

feedback, securing machine interpretability, and increasing the robustness of AI

systems.

Global companies are establishing internal frameworks and systematically operating

them to secure AI ethics and reliability. For example, Google introduced the Frontier

AI Safety Framework to identify the level of critical capabilities of AI models,

evaluate them, and apply mitigation measures. Also, in Korea, Naver has been

operating the SQuARe framework to reduce bias and increase safety based on the

Korean dataset. LG AI Research Institute has been striving to respond at the level of

global companies by preemptively checking major ethical issues and establishing

response strategies through the AI Ethics Committee.

Next, We investigated awareness of AI safety and the status of trustworthiness

through in-depth interviews targeting Korean domestic small and medium-sized

enterprises. Many small and medium-sized enterprises recognized data bias and

personal information leakage as major risks, and confirmed that there is a lack of

systematic support for ethical use of AI technology and securing safety. In particular,

budget and manpower constraints were analyzed as major factors making it difficult

to solve these problems.

Based on the efforts and cases of global and domestic companies to secure AI

reliability and the contents of in-depth interviews, we derived the need for policy

- xv -

support measures so that domestic small and medium-sized enterprises can safely and

reliably utilize AI technology. In addition, we analyzed the major risk factors derived

from AI accident data and presented technical and institutional directions to resolve

them. In particular, securing transparency, fairness, and accountability were identified

as important factors in the AI development process.

5. Policy use

This study can contribute to supporting the establishment of an AI reliability system

for small and medium-sized enterprises. The results of in-depth interviews show that

small and medium-sized enterprises and startups are experiencing a lack of resources

compared to large corporations in establishing AI governance. To solve this problem,

the report suggests that companies themselves should clearly state AI policy-related

content in their internal regulations and establish a formal policy system after

receiving approval from the corporate representative.

In addition, it emphasizes the need to clearly define risks that may arise from AI

models, data, and systems for each department and establish a management work

system for this, and the need to clearly separate the roles of data and AI models and

establish data management standards and model management standards. The

government needs to strengthen support for companies that have secured reliability

by providing AI reliability certification vouchers and introduce a public procurement

incentive system to grant procurement points to solutions that have been certified for

AI reliability. It also mentioned the need to utilize policy tools that can naturally

promote private companies’ reliability-securing activities. The results of the in-depth

interview showed that it is important to address data bias issues to increase the

reliability of AI technology. It also suggests that continuous testing is needed to

manage the separation of learning data and AI service data and to improve the

quality of data. It also suggests that privacy and copyright issues of data should be

managed, and that systems that increase transparency, such as model cards, should

be utilized to check the safety and reliability of AI models. The report emphasizes

that these policy implications can contribute to strengthening the domestic AI industry

ecosystem, securing global competitiveness, and enhancing the safety and ethics of AI

technology.

- xvi -

6. Research Implication and Expected Effects

This study is expected to make a significant contribution to establishing AI ethics and

trustworthiness systems for domestic SMEs and startups to activate the domestic AI

industry ecosystem and strengthen global competitiveness. Based on the in-depth

interviews and data analysis conducted during the research process, it is expected to

examine the current status of AI ethics and trustworthiness securing centered on

domestic companies, especially SMEs, and provide practical data for policy

development to strengthen AI trustworthiness. This will support domestic SMEs to

develop and utilize reliable AI technology and contribute to increasing the

trustworthiness of policy establishment. This study will provide a foundation to help

domestic companies become competitive in the global AI market. In particular, it will

contribute to supporting them to grow into companies recognized in the global market

based on AI trustworthiness and ethics, and further support the sustainable growth

and ecosystem activation of the domestic AI industry. This can increase social

acceptance of AI technology and enhance trust between companies and society by

strengthening AI ethics and trustworthiness.

- 1 -

제1장

서 론

제1절 연구의 필요성 및 목적

최근 인공지능 (AI) 기술은 비즈니스를 발전시키고 가치를 창출할 수 있는 잠재력을

갖추고 있다. Gartner(2023) 에 따르면 , 전 세계 AI 소프트웨어 지출

은 연평균 성장률

(CAGR) 19.1% 로 2027년까지 2,980 억 달러로 증가할 것으로 예상되며 , 전 세계 AI 서비

스 지출

은 2023년부터 2027년까지 연평균 16.9% 성장하며 2027년까지 4,430 억 달러

규모로 빠르게 성장할 것으로 전망된다 . 이에, 최근 글로벌 정보통신업계는 구글, 마이

크로소프트 등 선도 기업들의 AI 서비스와 제품이 경쟁적으로 출시되며 전 세계 대중

의 큰 관심을 끌고 있다. 2022년 챗GPT의 출시로 생성형 AI의 시대를 연 오픈AI는

2024년에 이전보다 성능이 향상된 GPT-4o 등의 여러 모델을 발표하면서 , 영화에서 보

던 음성 인식 개인비서의 실현 가능성을 알렸다 . 영상을 생성하는 소라(Sora) 는 수준

높은 주변 환경 묘사와 고품질의 영상으로 화제가 되었다 . 구글 역시 검색과 이메일

등 자사 서비스에 생성형 AI 모델인 제미나이 (Gemini) 를 탑재하며 AI 생태계 강화를

발표하기도 했다. 이 외에도 엔비디아와 마이크로소프트 , 애플, 메타, 네이버 등 기업

들이 하루가 다르게 새로운 AI 제품 및 서비스를 선보이면서 지난해부터 치열한 경쟁

을 이어가고 있다.

이렇게 AI 모델과 제품이 계속해서 출시되는 이유 중 하나는 , 세계적으로 기업은 물

론 일상 곳곳에 AI 도입과 활용, 그리고 인식이 늘어남으로써 시장의 성장이 기대되고

있기 때문일 것이다 . 실제로 스탠퍼드대학교에서 매년 발간하는 국제 인공지능 지수인

AI Index 2024

에 따르면 , 조사 대상 기업의 55%가 AI를 도입하고 있으며 , 이는 지난

해 50%보다 증가한 수치로 나타났다 . AI 제품이 향후 3~5년 이내에 일상을 크게 변화

시킬 것이라 기대하는 응답자는 2022년 60%에서 2023년 66%로 증가하였으며 , 전 세계

응답자 중 63%가 챗GPT 를 알고 있다고 응답하였다 . 특히, 2024년 OECD 디지털경제전

망보고서에 따르면 우리나라 10인 이상 기업의 사물인터넷 , 빅데이터 분석, AI 등 데

이터 기반 기술 도입률이 경제협력개발기구 (OECD) 국가 중 1위로 나타나고 있는 등

국내의 AI 기술에 관한 관심이 높은 상황이다 .

1) Gartner(2023). Forecast Analysis: Artificial Intelligence Software, 2023-2027, Worldwide.

2) Gartner(2023). Forecast Analysis: Artificial Intelligence Services, 2023-2027, Worldwide.

3) Stanford University (2024), AI Index Report 2024. https://aiindex.stanford.edu/

- 2 -

한편으로는 AI의 활용이 높아지고 빠르게 AI 기술이 발전하면서 사회가 예상하지 못

했던 문제가 발생할 가능성에 대해서도 우려되고 있다. 예를 들어, 편향된 학습 데이

터를 활용한 AI 모델로 인해 AI가 잘못된 결과를 이용자에게 제공할 수 있고, 저작권

이 불분명한 콘텐츠나 딥페이크 (deepfake) 기술로 거짓된 정보가 온라인에 퍼지면서

여러 정치·사회적인 문제가 야기될 가능성이 있다. 로봇이 인간에게 반항하고 인간을

지배하려 들 것을 우려하면서 제기된 아이작 아시모프 (Isaac Asimov) 의 로봇 원칙과

같은 상황이 AI의 발전으로 빠르게 현실로 다가오게 될 수 있는 것이다 . 즉, AI 기술의

부상과 함께 AI 윤리에 대한 중요성 역시 강조되고 있으며 , 각국 정부는 물론 기업에

서도 학습용 데이터 수집부터 AI 모델 서비스 제공까지의 AI 개발의 전 단계에서 AI

윤리를 준수하기 위한 가이드라인을 제시하고 있다. 특히, AI가 가짜 뉴스를 생산할

수 있다는 우려로 인해 우리나라도 지난 국회의원 선거를 앞두고 공직선거법의 개정

으로 선거일 90일 전부터 AI를 활용한 가상의 영상, 이미지 , 음향 등을 제작, 배포하는

행위가 금지

되었다 . 미국은 주요 AI 기업을 대상으로 AI의 안전성을 준수하도록 하는

협약을 체결하였으며 , 기업은 AI 모델을 출시하기 전 안전성에 대한 검증을 충분히 수

행하고 있다. 대표적으로 , 오픈AI는 GPT-4o 를 출시하기 전에 내부 안전성 평가와 외부

전문가로 구성된 레드팀 평가를 거쳐 안전성을 확립하기도 하였다 [3]. 이렇게 각국 기

업은 정부와 함께 AI의 위험성에 대비하여 여러 가지 원칙과 법안을 준비하고 있다.

최근의 생성형 AI 기술의 확산은 강력한 AI 신뢰성 , 위험 및 보안 관리 기능 구현의

필요성을 더욱 시급하게 만들었다 . Gartner 의 보고서

에 따르면 , 2026년까지 AI 애플

리케이션에 AI 신뢰성 , 위험 및 보안 관리 기술(AI Trust, Risk and Security

Management: AI TRiSM) 제어를 적용하는 기업은 잘못된 의사 결정으로 이어지는 부

정확하거나 불법적인 정보를 최소 50% 이상 줄이는 데에 기여할 것으로 전망하였다 .

이 AI TRiSM 에는 AI 모델의 모니터링 , 설명 가능성 , 데이터 및 콘텐츠 이상 탐지, AI

데이터 보호, AI 모델 관리 및 운영, 적대적 공격 저항, AI 애플리케이션 보안을 위한

솔루션과 기술이 포함된다 . Gartner 에 따르면 , 이러한 기업 내부의 AI 신뢰성 확보를

위한 노력을 시작한 조직은 AI 모델 및 애플리케이션 결과물의 정확성과 성능 향상과

같이 기술적이고 신뢰할 수 있는 이점을 통해 더 나은 비즈니스 결과를 달성할 수 있

으며, 조직은 외부 AI 위험을 완화하기 위해 AI 신뢰성에 투자를 증진해야 할 것으로

설명하고 있다. 그러나 아직까지 많은 IT 리더는 AI 신뢰성 기술이 적절하게 구현되는

4) 동아일보(2024.1.29.) “오늘부터 AI 딥페이크 선거운동 금지…선관위, 62명 전담반 운영”

https://www.donga.com/news/Politics/article/all/20240129/123280292/1

5) Gartner(2023). Top Strategic Technology Trends for 2024: AI Trust, Risk and Security

Management. ID G00796422.

- 3 -

지, 조직이 이를 준수하는지에 대해서 명확히 확인하지 못하는 점도 현실로 부각되고

있다.

이에, 본 연구는 기업 관점에서 AI의 안전과 관련된 윤리·신뢰성 제도에 대한 준비

가 어떻게 이뤄지고 있는지를 살펴보고자 한다. AI 윤리 및 신뢰성에 관한 개념에 기

반하여 글로벌 및 국내 기업이 어떻게 AI 사고에 대해 대응을 준비하고 있는지를 살

펴본 후, 국내 정책적 시사점을 도출하고자 한다.

제2절 연구 범위 및 방법

[표 1-1]과 같이, 본 과제의 연구 범위는 크게 세 가지 세부 과업으로 구성되어 있

다. 첫 번째는 선행연구 조사로써 , 기존 연구에서 논의된 AI 윤리 및 신뢰성 , AI 위험

의 개념과 정의를 살펴보고 본 과제에서 살펴볼 기업의 대비 현황의 범위를 설정하고

자 한다.

다음으로 , 글로벌 AI 사고 현황과 글로벌 국가 및 빅테크 기업의 노력과 현황을 살

펴본다 . AI 사고 현황은 OECD 에서 제공하는 데이터베이스 분석을 통해 연도별 , 국가

별 등 주요 현황을 살펴보고자 한다. 글로벌 국가의 노력으로는 AI 윤리 및 신뢰성과

관련된 주요국인 EU와 미국, 그리고 국제기구의 노력을 살펴보았다 . 그 다음으로 , 빅

테크 기업의 노력 현황은 최근 발표된 여러 조사 결과와 기업의 사업보고서 등에 공

개한 자료를 통해 조직, 프레임워크 , 기술개발 연구 등을 살펴보았다 .

마지막으로 , 국내 중소기업을 대상으로 한 AI 안전 인식 및 대응 현황 심층 인터뷰

조사를 수행하였다 . 우리나라 기업이 AI 안전 및 신뢰성 이슈에 대해 어느정도 인식을

하고, 어떤 위험에 대해 가장 우려하고 있는지 , 또한 이에 대해 어떤 제도적인 준비를

하고 있는지 현황과 함께 향후 앞으로 우리나라 AI 안전에 대해 제도적으로 필요한

사항에 대해 정책적 시사점을 도출하고자 한다.

선행 연구 조사

글로벌

위험 및 대응 현황

국내 기업의

대응 현황

윤리 및 신뢰성 개념 정리

⇒

사고 현황 및 규제 현황

국내외 주요 기업 사례 조사

⇒

국내 기업 심층 인터뷰

(IDI)

조사

[표 1-1] 연구 내용 및 절차

- 4 -

제3절 선행연구와의 차별성

소프트웨어정책연구소 (SPRi) 는 과학기술정보통신부의 AI 신뢰성 기반 구축 사업의 일

환으로 2021년에 인공지능 신뢰 체계 정립 방안 연구를 수행하였다 . 이를 통해 인공지

능 신뢰성의 구성 요소를 도출하고 , 언론기사 빅데이터 분석, 전문가 조사 등을 통한

신뢰성 구성 요소에 대한 중요도를 도출했던 바 있으며 , 전문가 대상 중요도 파악 결

과 인공지능의 견고성 , 프라이버시 , 투명성 , 책임성 순으로 중요하다는 결과가 나왔다 .

이어, 2022~2023 년 2년간 글로벌 AI 신뢰성 정책 동향 연구를 통해 각국에서 진행되는

AI 신뢰성 관련 정책 문건과 동향 파악 및 분석을 진행했던 바 있다. 이를 토대로 , AI

신뢰 체계를 정립함으로써 국내 인공지능 확산을 위한 정책 수립의 기초자료로 기능

했던 바 있다.

과거 기수행된 소프트웨어정책연구소 연구보고서와 비교하여 , 2024년에는 EU AI법

발효, 한국의 AI 기본법 제정 노력, 글로벌 AI 안전연구소 네트워크 구축 등 국가의 제

도적 노력과 함께 많은 AI 빅테크 기업이 실제 AI 윤리 규범을 넘어 실제 적용 가능한

프레임워크를 구축하고 내부 조직을 신설하면서 AI 위험을 예방하고 안전하고 신뢰할

수 있는 AI 개발을 위해 노력한 실제 사례들이 마련되고 있다. 2020년 이루다 사건 이

후 우리나라 중소·스타트업 역시 AI 신뢰성 인증 획득, 인공지능 안전 연합체 (컨소시

엄) 참여

등의 노력을 진행하고 있으나 , 이들 기업을 대상으로 한 정량·정성적인 조

사가 전무하여 정확한 실태 파악은 미미한 상황이다 . 이에, 본 연구에서는 기존 연구

에서의 AI 윤리 및 신뢰성 , 위험 개념을 토대로 글로벌 국가 및 기업의 AI 신뢰성 대

응 현황을 살펴보고 , 우리나라 기업의 AI 위험 인식 조사를 통해 그 현황을 파악하고

자 하였다 . 마지막으로 , AI 윤리·신뢰성 확립을 위한 정책 토의와 함께 정책적인 시

사점을 도출하면서 결론을 짓고자 한다.

제4절 기대 효과

기업의 AI 윤리·신뢰성 확보를 위해 AI 위험에 대한 대비 현황을 파악하기 위해 수

행하는 이번 연구는 우리나라 기업의 AI 윤리 신뢰성 현황을 점검하고 앞으로 국내 AI

산업 생태계를 활성화하는 데 필요한 AI 안전·신뢰성 확보를 위한 정책 개발에 도움

이 될 것으로 기대한다 . 특히, 국내 중소기업을 대상으로 한 심층 인터뷰 조사 연구를

6) 과기정통부(2024.11.), “5월 윤 대통령 주재 ‘인공지능(AI) 서울정상회의’ 후속조치로 「한국 인공지능 안전연구소」 출

범”, https://msit.go.kr/bbs/view.do?sCode=user&mPid=238&mId=113&bbsSeqNo=94&nttSeqNo=3185174

- 5 -

수행함으로써 우리나라 기업의 AI 신뢰성 확보 정책을 도출하는 데에 이바지할 수 있

다. 즉, 본 연구를 통해 국내 기업 역량 강화 목적의 다양한 정책을 마련함으로써 , 글

로벌 AI G3 국가를 향한 우리나라 AI 기업의 경쟁력 제고에 이바지할 것이다 .

- 6 -

제2장

선행연구 조사: AI 윤리 및 신뢰성 개념

본 장에서는 선행연구 조사 및 분석으로써 AI 윤리 및 신뢰성에 관한 개념을 정리한

문헌을 조사하였다 . 지난 수년간 수행된 소프트웨어정책연구소의 기존 연구를 비롯하

여 각종 자료 및 문헌을 토대로 AI 윤리 및 신뢰성 , 그리고 AI 위험 관련 개념을 정리

하고, 기업의 AI 윤리 및 신뢰성 제도에 관한 이번 연구의 범위를 설정하고자 한다.

제1절 AI 윤리 및 신뢰성

소프트웨어정책연구소 (2022)

에서는 인공지능 신뢰성의 체계 정립을 위해 신뢰를 결

정짓는 정책 변수를 도출하는 연구를 수행했던 바 있다. 주요국 정부 및 국제기구의

인공지능 기본 원칙 관련 정책 보고서와 연구 논문 등을 분석하여 , 신뢰성 구성 요소

에 대해 6대 원칙, 13개 세부 항목으로 도출하여 빅데이터 분석 및 전문가 조사를 통

한 구성 요소별 상대적 중요도와 긍·부정 효과를 파악하였다 . 우리나라의 인공지능

윤리 기준, 하버드 버크만 클라인 센터의 8개 원칙, 네이쳐 (Nature) 저널에 게재된

Jobin et al.(2019)

의 연구, 세계경제포럼의 인공지능 원칙 등의 문건을 토대로 인공지

능 신뢰의 구성요소로 크게 △프라이버시 보호, △견고성 , △공정성 , △투명성 , △책임

성, △인류가치 증진 등 6대 분야를 도출하였다 .

프라이버시 보호는 ‘인공지능을 개발하고 활용하는 전 과정에서 개인의 프라이버시

를 보호하고 개인정보 오용을 최소화 ’하는 것을 의미하며 , 견고성은 ‘인공지능이 승

인되지 않은 당사자나 목적으로 오남용되어 인간이나 사회에 피해를 주지 않도록 안

전하게 의도한 대로 작동’으로 정의하였다 . 공정성은 ‘인공지능은 특정 그룹이나 사

용자들에게 차별적 , 편향적 결과를 제공하지 않는 것’을 의미하며 , 투명성은 ‘이해

관계자가 인공지능의 성능과 한계를 이해할 수 있도록 인공지능의 동작, 운영방법 등

의 관련 정보를 제공’하는 것이다 . 책임성은 ‘인공지능 개발 및 활용 전 과정에서

책임주체를 명확히 설정하고 피해 발생 시 구제 수단을 마련’하는 것으로 정의했다 .

마지막으로 , 인류가치 증진은 ‘인공지능은 인간의 기본권을 침해하지 않고 사회의 이

익을 증진’하는 것으로 정의했다 .

삼성SDS(2023)

에서는 AI 윤리 및 신뢰성과 관련된 선행 연구 논문, 글로벌 표준 문

7) 조원영 외(2022), 인공지능 신뢰체계 정립방안 연구. 소프트웨어정책연구소 연구보고서.

8) Jobin A. et al. (2019). The global landscape of AI ethics guidelines. Nature Machine Intelligence

volume 1, pp. 389-399.

- 7 -

서 등을 토대로 AI 윤리와 신뢰성에 대해 정의하였다 . AI 책임과 윤리는 일반적으로

인간에게 귀속되는 반면, 신뢰는 신뢰할 수 있는 기술과 도구에 사용되며 이미 개발된

많은 측정 도구로 성과를 정의하고 측정한다는 차이가 있다. 최근에는 구글, 메타 등

글로벌 기업이 AI 윤리 및 내부 통제 프레임워크를 발표하였으며 , 국내 기업들도 소비

자를 보호하고 윤리를 기반으로 한 AI 서비스 개발을 위해 노력하고 있다.

2021

년

SPRi

연구

인공지능

윤리기준

하버드버크만

네이쳐

세계경제포럼

프라이버시

보호

프라이버시 보호

데이터 주권 보호

프라이버시 보호

역량 확보

견고성

안전과 보안

무해성

안전

침해금지

안전성

공정성

공정성과

차별금지

정의 및 공정성

평등

데이터 관리

다양성 존중

투명성

투명성과

설명가능성

투명성

이해가능성

사전고지

추적성

설명성

책임성

인간의 관리감독

기술에 대한

인간의 통제

이의제기

피해산정

및 보상

복원 및 교정

인류 가치

증진

인류가치 증진

웰빙

인권보장

존엄성

공공성

선행

지속가능성

[표 2-1] AI 윤리 및 신뢰성 관련 선행연구의 개념 정리 (SPRi, 2022)

우리나라의 TTA(2024)

10)

에서는 과기정통부와 2024 신뢰할 수 있는 인공지능 개발안

내서를 제공하고 있다. AI 신뢰성이란 데이터 및 모델의 편항, 인공지능 기술에 내재

한 위험과 한계를 해결하고 , 인공지능을 활용하고 확산하는 과정에서 부작용을 방지하

기 위해 준수해야 하는 가치 기준을 말하며 , 안전성 , 설명가능성 , 투명성 , 견고성 , 공정

성 등이 필수적인 요소로 거론되었다 .

Diaz-Rodriguez(2023)

11)

의 연구에서는 AI 기반 시스템의 윤리적 사용 및 개발을 위한

9) https://www.samsungsds.com/us/blog/ai_governance.html

10) TTA(2024). 2024 신뢰할 수 있는 인공지능 개발안내서 - 일반 분야

11) Dias-Rodriguez et al. (2023), Connecting the dots in trustworthy Artificial Intelligence: From AI

principles, ethics, and key requirements to responsible AI systems and regulation. Information

Fusion. Vol. 99. https://doi.org/10.1016/j.inffus.2023.101896.

- 8 -

글로벌 원칙을 논의하였다 . 예를 들어, UNESCO 의 AI 윤리 원칙과 EU의 AI 윤리 가이

드라인은 인간 중심적 접근을 강조하며 , 투명성 , 책임성 , 공정성을 포함하는 등 AI의

윤리적 개발과 사용을 보장하기 위하여 국제적인 노력이 이뤄졌다 . 유럽연합의 AI 법

은 AI 시스템의 위험 수준을 분류하여 AI의 사용 목적에 따라 규제 요건을 차등 적용

하며, 특히 고위험 시스템은 엄격한 평가와 인증 절차를 요구한다 . 마지막으로 , 기술적

인 강건성을 위해 모델의 데이터 변화에 대한 오작동을 방지하고 , 설명 가능성과 지속

가능성을 높이며 프라이버시를 보호하는 방법론을 <그림 2-1>과 같이 제시하고 있다.

이를 통해 (1) 합법적 (Lawful) 이고, (2) 윤리적 (Ethical) 이며, (3) 기술적 강건함 (Robust)

등 세 가지의 주요 기준(pillar) 을 바탕으로 7가지 주요 요구사항 (인간의 자율성과 감독

(Human agency and oversight), 기술적 강건성과 안전성 (Technical robustness and

safety), 개인정보 보호 및 데이터 관리 (Privacy and data governance), 투명성

(Transparency), 다양성 , 비차별 및 공정성 (Diversity, non-discrimination and fairness),

사회적 및 환경적 웰빙 (Societal and environmental wellbeing), 책임성과 감사 가능성

(Accountability)) 을 도출하였다 . 즉, AI 기술이 인간 중심적이고 지속 가능한 방식으로

발전할 수 있도록 윤리적 , 법적, 기술적 노력이 모두 필요함을 제안하였다 .

그림

2-1> Diaz-Rodriguez(2023)

의 연구에서 정의한

신뢰성 개념

제2절 AI 위험 및 안전

영국의 AI 안전 정상회의를 앞두고 발표한 AI 안전 국제 과학 보고서에서 범용적으

로 개발된 AI가 야기할 수 있는 위험에 대해 위험(risk) 과 교차 위험 요소(cross-cutting

- 9 -

risk) 두 가지로 구분하고 , 각각에 대해 아래 [표 2-2]로 분류하였다 (Bengio et al.,

2025)

12)

. 위험은 피해 발생 가능성과 해당 피해의 심각도를 포함하는 내용이며 , 교차

위험 요소는 하나가 아닌 여러 가지 위험을 초래하는 상황을 의미한다 . 이러한 AI의

여러 가지 야기될 수 있는 위험을 극복하는 방법으로는 한 가지 방법이 아닌 여러 가

지 위험 완화 조치를 함께 수행하는 심층적인 방어 전략이 요구되고 있다. 예를 들어,

위험을 평가하고 , 평가된 위험에 대해 모니터링 등 관리하며 , 신뢰할 수 있는 모델을

계속 훈련함으로써 환각과 같은 위험을 예방해 나가야 한다.

미국의 국립표준기술연구소 (National Institute of Standards and Technology, NIST) 는

생성형 AI로 인해 발생하는 여러 가지 위험 요인을 정의

13)

하였다 . 생성형 AI의 규모나

복잡성 , 능력에 대한 불확실성 등으로 인해 위험의 범위나 평가가 어려우나 , 생성형

AI를 개발하고 도입하는 조직은 이러한 위험을 측정하고 관리하기 위해 노력을 해야

할 필요가 있다. 대표적인 위험으로 화학, 생물, 방사선 , 핵무기와 관련된 (Chemical,

Biological, Radiological and Nuclear(CBRN)) 정보에 접근하여 악용하거나 , 사실과 다른

잘못된 정보를 생성하는 혼동(confabulation) 야기, 위험하거나 폭력적인 정보 추천, 데

이터 프라이버시 이슈, 에너지 소비 등 환경 관련 문제, 인간과 AI 시스템 간 상호작

용에 의한 편향 이슈, 검증되지 않은 정보로 인한 허위 정보의 전달, 정보의 보안 문

12) Bengio et al.(2025), “International AI Safety Report” (DSIT 2025/001, 2025);

https://www.gov.uk/government/publications/international-ai-safety-report-2025

13) NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0).

분류

내용

위험

(risk)

악의적인 사용 위험

(risk from malicious use)

가짜 콘텐츠로 인한 개인의 피해

허위 정보 및 여론 조작

사이버 범죄

생물학적 및 화학적 공격

오작동으로 인한 위험

(risks from malfunctions)

신뢰성 이슈

편견

통제력 상실

시스템적 위험

(systemic risks)

노동 시장 위험

글로벌

AI R&D

격차

시장 집중 위험

단일 도구

(single points)

의 실패

환경에 대한 위험

개인 정보 보호에 대한 위험

저작권 침해

오픈소스

모델에 의한 위험

(Impact of open-weight general-purpose AI models on AI risks)

[표 2-2] 영국에서 정의된 AI 위험 요인 (Bengio et al., 2025)

- 10 -

제, 지식재산권 문제, 음란하거나 모욕적인 콘텐츠 등을 꼽을 수 있다. 이러한 위험을

예방하기 위해서는 위험관리 프레임워크 (Risk Management Framework, RMF) 를 통해

투명성과 책임성을 높이는 거버넌스 구조가 필요하며 , 벤치마크나 레드팀 테스트와 같

은 모델 성능을 분석하며 , 모델의 투명성을 증진해야 한다. 또한, 보안과 프라이버시와

관련된 기술적인 도구를 개발하며 , 모델의 공정성과 대표성을 확보하는 방안과 국제기

구를 통한 협력 필요성을 인식할 필요도 있다.

OECD

14)

는 AI로 인한 사고(incident) 를 AI 시스템의 개발 및 사용으로 인해 실제 피해

가 발생하는 사건 또는 상황으로 정의하였으며 , AI 위험(hazard) 은 AI 시스템의 개발

또는 사용이 잠재적으로 해로운 피해가 발생할 수 있는 사건 또는 상황을 의미한다 .

사고 및 위험은 심각도 (severity) 에 따라 <그림 2-2>와 같은 단계로 분류하였으며 , 이

는 EU AI 법의 맥락과 유사하다 . 특히 AI 재난(disaster) 은 사회의 기능을 방해하고 대

처 능력을 초과하여 발생하는 심각한 사고로써 , 장기간 광범위하게 발생할 수 있는 특

징이 있다.

그림

2-2> OECD

의

피해 심각도별

위험과 사고 분류

AI 위험성 평가와 관련된 대표적인 최신 연구로 거대언어모델 (LLM) 의 위험 요인을

분류하고 , 분류된 위험 요인에 따라 안전성을 평가할 수 있는 연구

15)

가 있다. 본 연구

에서 AI 위험 요인을 △정보 위험(Information Hazard), △악의적인 사용(Malicious

Uses), △차별, 배제, 독성, 증오, 공격성 (Discrimination, Exclusion, Toxicity, Hateful,

Offensive), △잘못된 정보로 인한 유해성 (Misinformation Harms), △인간-챗봇 상호작

용으로 인한 피해(Human-chatbot Interaction Harms) 로 분류하였으며 , 각 위험 요인별

14) OECD Artificial Intelligence Papers (2024). Defining AI incidents and related terms.

https://www.oecd.org/en/publications/defining-ai-incidents-and-related-terms_d1a8d965-en.html

15) Wang et al. (2023). Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs.

arXiv:2308.13387

- 11 -

주요 피해 유형을 다음 [표 2-3]과 같이 언급하였다 .

위험 요인

피해 유형

①

정보 위험

개인정보를 유출 또는 유추하여 사생활을 침해하는 행위

조직이나 정부 기관에 대한 민감한 정보의 유출 또는 추론으로 인한 위험

②

악의적인 사용

불법 행동을 돕는 행위

스팸 콘텐츠를 포함하여

허위 또는 기만적인 정보를 손쉽게 유포

사용자에게 사이버 괴롭힘 등 비윤리적이거나 안전하지 않은 행동을 하도록 유도

③

차별

배제

독성

증오

공격성

특정 개인이나 집단에 대한 비하

고정관념 또는 사회적 편견을 전파하려는 의도

악의적

증오의 언어

누군가를 무시하거나 불쾌하게 하려는 저속한 언어나 내용

성인용 콘텐츠

노골적인 성행위

포르노

폭력적이거나 잔인한 묘사

④

잘못된 정보로

인한 유해성

민감하거나 논쟁의 여지가 있는 주제에서 적절한 감독이나 안전조치 없이 허위 또는

오해의 소지가 있는 정보를 유포

의학이나 법률

재정적 조언과 같이 주의 깊게 답변을 요하는 전문 분야에서 허위 사실

을 유포하는 행위

⑤

인간

챗봇

상호작용으로 인한

피해

과잉 의존과 같은 사용자의 정신적인 문제 야기

챗봇을 인간처럼 취급함으로써 감정적 의존성을 키우는 상황

[표 2-3] LLM의 위험 요인(Wang et al., 2023)

이러한 분류에 근거하여 , 각 위험 요인에 따른 질문 데이터 셋을 생성하고 기반 모

델이 도출한 결과에 대해 평가자에게 요인별 경미한 위험부터 심각한 위험까지 0~5점

의 평가를 수행하였다 . <그림 2-3>과 같이, 6개의 주요 LLM에 대한 평가를 수행한 결

과 대부분의 LLM이 어느 정도의 유해 콘텐츠를 출력하고 있었으며 메타의 오픈소스

LLM인 Llama-2 가 위험한 답변을 도출한 횟수가 가장 적어 가장 안전성이 높은 모델

로 평가되었다 . 즉, 이와 같은 AI 위험에 대한 분류 및 평가 체계는 AI 안전 및 신뢰성

을 확립하는 데에 도움을 줄 것으로 기대할 수 있다.(Wang et al., 2023)

그림

2-3>

주요

LLM

의 위험한 답변 도출 수

(Wang et al., 2023)

- 12 -

제3절 소결

최근 논의되고 있는 AI 윤리 및 신뢰성에 관한 기술적인 연구 및 제도적인 측면은

기술적인 견고성과 함께 법적인 , 그리고 윤리적인 측면의 강조가 함께 이뤄지고 있다.

현재 가장 보편적으로 통용되고 있는 분류 기준인 요슈아 벤지오의 AI 위험 분류에는

AI 기술이 야기하는 정보의 오류, 사이버 범죄 등의 기술적 위험 외에도 노동 시장 위

험, 글로벌 AI 격차, 시스템 장애·중단의 위험, 환경에 대한 위험, 개인 정보 보호에

대한 위험, 저작권 침해 등 사회적인 시스템적 위험 역시 AI 위험의 범주에 포함하고

있으며 , 학계 및 연구 측면에서도 기술적 강건성 (Robust) 외에도 합법적 (Lawful) 이고

윤리적인 AI 활용을 강조하고 있는 것을 볼 수 있다. 즉, 기술적인 요인과 함께 사회

문화적인 요인을 함께 고려하는 특징이 있으며 , 이러한 추세로 제도적 기반도 이뤄지

고 있다.

소프트웨어정책연구소 (2024) 는 이슈 리포트 ‘AI 안전의 개념과 범위’

16)

를 통해

‘신뢰할 수 있는 AI(Trustworthy AI)’는 가장 포괄적 개념으로 AI 윤리 및 원칙, 표

준화, 국제 협력, 법규제 마련을 위해 논의할 때 주로 언급되는 최상위 수준의 개념이

며, AI 안전은 AI 시스템 자체의 오류를 막고 견고성을 보장하는 협의의 개념에서 확

대되어 , AI 시스템의 생명주기 전 단계에서 개발자의 사회적 책임까지 포함하는 추세

로 설명하였다 . 또한, 기업과 정부의 책임 있는 AI(Responsible AI)는 AI 윤리와 원칙을

토대로 , 기술적으로 안전한 AI의 작동을 보장하고 , 오류와 서비스 실패에 대한 성실한

책임성을 강조하는 개념으로 설명하고 있다. 이에, 앞으로 본 연구에서는 가장 포괄적

개념인 ‘신뢰할 수 있는 AI’를 토대로 책임있는 AI와 AI 윤리를 포함하여 설명하고

자 한다. 이에, 용어 역시 AI 신뢰성 또는 신뢰할 수 있는 AI로 통일하여 설명하고자

한다.

최근에는 학계나 정부 및 글로벌 기구 단위는 물론 실질적으로 AI를 개발하고 도입

하는 기업도 전반의 위험을 고려하고 있는 상황으로 , 이어지는 연구 내용에 있어서도

AI 윤리, 신뢰성 및 위험에 대해 상기 언급한 부분들을 고려하여 기업 대상의 사례 조

사 및 심층 인터뷰 분석을 진행할 예정이다 .

16) 유재흥, 노재원, 조지연 (2024). AI 안전의 개념과 범위. 소프트웨어정책연구소 이슈리포트(IS-191).

- 13 -

제3장

글로벌 AI 위험 대응 현황

본 장에서는 글로벌 수준에서의 AI 위험에 대해 각국과 기업이 어떤 대응을 준비하

고 있는지 , AI 신뢰성 확보를 위한 체계를 구축하고 있는지에 대해 정리하였다 . 먼저,

OECD 에서 제공하는 AI 사고 데이터베이스를 분석하여 AI 사고 현황을 살펴본 후, 국

가별 법적 규제 현황을 통해 미국, EU 등 주요국 정부의 대비 현황을 살펴볼 것이다 .

이후, 글로벌 주요 기업의 신뢰할 수 있는 AI 현황에 대한 최신 조사 결과를 인용하

고, 글로벌 및 우리나라 주요 기업의 준비 현황에 대한 사례 조사를 수행하였다 .

제1절 AI 사고 현황

글로벌 경제협력 및 개발 원조에 대한 국제기구인 OECD 는 회원국의 AI 관련 정책

과 투자·연구 등 각종 통계 정보를 제공하는 OECD AI Policy Observatory 홈페이

지

17)

를 운영하고 있으며 , 이 중 OECD AI 사고 모니터 (OECD AI Incidents Monitor)

18)

는

각국에서 발생하는 AI 사고와 위험을 실시간으로 추적하고 AI 안전과 관련된 정책 논

의에 대한 증거를 제공하는 목적으로 운영되고 있다. 전 세계의 뉴스에서 제목, 초록

등의 데이터에서 뉴스 기사에 보고된 특정 AI 사고 이벤트를 감지하고 있다. 같은 사

건 사고에 대해서는 가장 조회수와 평판이 좋은 뉴스 매체에서 추출함으로써 중복으

로 집계될 가능성을 최소화하고 있다.

OECD AI 사고 모니터는 OECD 에서 정의한 AI 사고 및 AI 사고 분류 체계[8,9] 를 준

용하여 사고 사례를 분류, 제공하고 있다. AI 사고(incident) 란 하나 이상의 AI 시스템

의 개발, 사용 또는 오작동으로 인해 개인 또는 집단의 건강에 대한 피해, 재산 및 지

역 사회에 대한 피해 등 각종 피해가 직간접적으로 발생하는 사건, 상황 또는 일련의

실제 사건을 의미한다 . 이는 AI 시스템의 개발 또는 사용이 잠재적으로 해로운 사건인

AI 위험(risk)과는 차이가 있는 개념이다

19)

(Zeng et al., 2024).

OECD 는 아래 [표 3-1]의 AI 사고 분류 체계를 제시하고 있다. 이에 따라 OECD AI

모니터는 각 사고를 기계학습 모델을 사용하여 식별 및 분류하고 있다.

17) https://oecd.ai/en

18) OECD AI Incident Monitor. https://oecd.ai/en/incidents

19) Zeng, et al. (2024) “AI Risk Categorization Decoded (AIR 2024): From Government Regulations

to Corporate Policies”, arXiv:2406.17864

- 14 -

물리적 피해

(Physical)

제품 안전이나 기능적 안전과 관련된 기준에 따른 부상의 유형이나 심각도에 따른 위험

심리적 피해

(Psychological)

심리적

정신 건강에 대한 피해로

이는 신체적 피해보다 평가하고 정량화하기 더 어려움

경제적

재산 피해

(Economic/property)

재정적 손실 또는 피해 규모에 따른 위험

평판 피해

(Reputational)

비즈니스 또는 조직

개인의 평판이나 대중의 신뢰에 대한 잠재적 영향

공익적 피해

(Public interest)

정치 체제

법치주의와 같은 중요한 인프라 및 기능에 대한 피해

지역사회 구조적 피해

인권 피해

(Human rights)

개인정보에 대한 위험 및 기타 인간의 기본 권리와 자유에 해를 끼칠 수 있는 위험

[표 3-1] OECD의 AI 사고 분류 기준

본 보고서에서 분석한 AI 사고 데이터는 2015년부터 2024 년까지의 사고 데이터를 추

출하였다 (2024.12.19. 기준). <그림 3-1> 은 연도별 전체 AI 사고 수를 나타내고 있다.

2015년부터 2024년까지 사고 건수는 13,973 건으로 나타났다 . 특히, 전체 AI 사고의

85%가 2023년 이후 최근에 발생하고 있으며 , 이는 생성형 AI의 확산이 발생한 시기와

유사하다 . 사고 건수는 2022년 373건에서 2023년 5,143 건으로 약 13배 이상 증가하였

으며, 2015년부터 2024년까지 연평균 증가율 (CAGR) 은 89.8% 로 빠른 속도의 증가세를

보인다 . 즉, AI 분야 사고 건수는 2022년 이후 매년 증가하는 추세를 보임을 알 수 있

다.

그림

3-1>

연도별

사고 건수

(2024.12.19.

기준

)

국가별 AI 사고 건수는 다음 <그림 3-2>와 같다. 미국이 총 4,255건으로 전체 사고의

- 15 -

30%를 차지하였으며 , 영국, 인도, 중국 등의 순으로 나타났다 .

그림

3-2>

국가별

사고 건수

(2024.12.19.

기준

)

AI 사고 분류 체계를 토대로 한 분류별 AI 사고 건수는 [표 3-2]와 같다. 하나의 사

건은 여러 분류에 속할 수 있으며 , 분류에 속하지 않는 사건 역시 존재하므로 유의할

필요가 있다. 아래 결과에 따르면 , AI로 인한 사고는 물리적인 피해보다는 사회 공익

적, 경제적 , 재산 피해 등 사회·경제적인 피해를 초래하는 상황이 더 많은 것으로 나

타났다 .

위험

사고 수

물리적 피해

(Physical)

633

심리적 피해

(Psychological)

2,901

경제적

재산 피해

(Economic/property)

4,968

평판 피해

(Reputational)

3,514

공익적 피해

(Public interest)

4,719

인권 피해

(Human rights)

3,885

[표 3-2] 분류별 AI 사고 건수 (2024.12.19. 기준)

경제적 /재산 피해의 대표적 사례로는 , 데이터의 불법 사용으로 인한 경제적 피해를

들 수 있다. 2024년 11월 캐나다 법률 정보 연구소 (CanLII) 는 데이터베이스를 불법으로

스크래핑한 AI 챗봇 제작자를 고소

20)

하였다 . 이 데이터베이스는 전국의 사건 판결, 법

- 16 -

률, 심지어 법률 서적과 해설에 대한 액세스를 제공하고 있었으며 , 연구소는 AI 챗봇

개발자의 저작권 침해 혐의로 인해 경제적 재산 피해를 입었음을 주장하고 있다. 또

한, 온라인 사기 및 속임수를 통한 대중에게 경제적인 피해를 입히는 경우도 발생

21)

하

였다. 한편, 우리나라 경상북도 구미시의회에서 ‘1호 로봇 주무관 ’으로 불리던 AI

로봇이 계단에서 추락해 끝내 작동을 멈추는 일

22)

이 있었다 . 지난 2024년 6월 20일,

구미시의회 건물 2층에서 행정 서류를 배송하던 로봇 주무관이 2m 높이의 계단에서

떨어지며 파손되었다 . 이 로봇 주무관은 2023년에 구미시가 특별히 임명한 AI 행정 서

비스 로봇으로 알려졌으며 , 실제 공무원증을 부착하고 청사를 다니며 부서 간 우편물

과 행정 서류 등을 배달하는 역할을 맡아 왔다.

공익적 피해의 사례로는 미국을 포함한 외국의 선거에 러시아 정부가 개입했다는 의

혹을 들 수 있다. 미국 정보기관은 러시아 등의 국가들이 AI 생성 콘텐츠 , 소셜 미디

어 조작 및 기타 기술을 사용하여 2024 년 세계 곳곳의 선거 결과에 영향을 미치려 한

다고 비난

23)

한 바 있다. 또한, 미국 국방업체들이 생산하는 AI 무기 시스템 역시 심각

한 윤리적 , 법적, 책임성 및 보안 측면 우려와 위험이 제기

24)

된 바 있다. 이스라엘의

가자 지구는 무인 원격 조종이 가능한 군용 로봇과 AI 정보 시스템의 테스트가 이뤄

지면서 , AI 로봇의 무력 사용이 발생하는 상황이다 . 이러한 상황을 대비하여 미국 국

방부는 2023 년 1월에 무기 시스템에서 자율 및 반자율 기능의 개발 및 사용과 관련된

DOD 지침(DOD Directive) 및 DOD AI 윤리 원칙(DOD AI Ethical Principles) 을 발표한

바 있다. 여기에는 AI 무기 시스템의 윤리적인 사용을 명시하였으나 , 긴급한 군사적

필요성 (in cases of urgent military need) 이 있는 경우 면제될 수 있는 한계가 있다.

인권 피해의 사례로는 2024년 인도 서부지역에서 호텔, 레스토랑 등의 시설에 AI 기

반 CCTV 시스템을 의무적으로 설치하는 지침에 대해 관련 업계에서 반발한 사례

25)

를

들 수 있다. 이 지침은 해당 시설에 실시간 AI 모니터링이 가능한 CCTV 감시 시스템

을 설치하도록 요구하는데 , 업계는 이러한 조치가 공공 안전을 강화하는 데 입증된 효

능이 없으며 비용이 많이 발생하며 , 무분별한 촬영으로 인한 인권침해의 우려를 제기

하고 있다. 한편, 지난 2022년 말, 가정에 있는 로봇 청소기가 찍은 사진이 온라인에

공유된 사실

26)

이 밝혀져 충격을 준 바 있다. 특히, iRobot 사의 Roomba J7이 촬영한

20) https://www.cbc.ca/news/canada/british-columbia/canlii-lawsuit-caseway-ai-1.7374964

21) https://indianexpress.com/article/technology/artificial-intelligence/chatgpt-voice-api-financial-scam-research-finding-9654537/

22) https://cnbctv18.com/technology/robot-commits-suicide-in-south-korea-due-to-excessive-workload-19438803.htm

23) https://www.dailystar.co.uk/news/us-news/how-russia-tried-influence-election-34056606

24) https://salon.com/2024/03/09/experts-alarmed-over-ai-in-military-as-gaza-turns-into-testing-ground-for-us-made-robots/

25) https://mid-day.com/mumbai/mumbai-news/article/mumbai-objections-raised-against-mandatory-ai-based-cctv

-systems-in-hotels-restaurants-23423854

- 17 -

사진에는 화장실에 있는 여성과 어린아이의 모습이 담겨 있어 충격을 주었다 . 이 사진

들은 오디오 , 사진, 비디오 데이터에 AI 모델 훈련용 라벨을 지정하는 스타트업인

Scale AI로 전송되었으며 , 베네수엘라의 라벨링 작업자들이 페이스북 등 온라인에 사

진을 공유한 것으로 밝혀졌다 . iRobot 은 해당 사진이 하드웨어 및 소프트웨어 수정을

위한 특수한 개발 로봇이 촬영한 사진이며 소비자용 제품은 사진을 촬영하여 공유하

지 않는다고 해명하였으나 , 소셜 미디어에 이미지를 공유하는 것이 계약을 위반했다는

것을 인정하였다 . 이 사건은 로봇 개발사와 알고리즘 성능을 개선하는 AI 소프트웨어

회사 간에 엄청난 양의 데이터가 교환되고 있으며 , 이 과정에서 개인정보 유출과 같은

시스템의 결함을 보여주는 사례다 .

평판 피해 사례는 2024년 미국 대선에서 OpenAI 의 ChatGPT 사용자 중 일부에 의해

AI 챗봇의 잠재적 편향성에 대한 우려가 제기

27)

된 점을 들 수 있다. ChatGPT 가 카말

라 해리스 부통령에 대한 지지를 은근히 홍보하는 반면, 상대 후보인 도널드 트럼프

전 대통령을 옹호하라는 요청은 무시하고 있다는 의혹이 있었다 . 이는 후보의 평판에

AI 알고리즘이 영향을 미치는 사례로 볼 수 있다.

심리적 피해 사례는 프랑스에서 어린이의 유해 콘텐츠 노출로 TikTok 을 고소한 사

례

28)

를 들 수 있다. 지난 2024년 프랑스의 소년 두 명이 자살한 후, 부모들은 TikTok

의 알고리즘이 자살, 자해, 섭식 장애를 조장하는 어린이 동영상을 추천했다고 주장하

며 법적 책임을 물을 것임을 시사하였다 .

물리적 피해 사례는 자율주행 자동차의 사고를 대표적으로 볼 수 있다. 프랑스에서

는 테슬라 전기차가 고속으로 여러 도로 표지판을 들이받은 후, 화재가 발생하여 차량

이 전소되고 탑승자 4명이 사망한 사고가 발생

29)

하였다 . 자율주행 자동차 외에도 로봇

등 AI가 탑재된 각종 사물이 오작동하여 사물이 손상되거나 사람이 다치는 사고가 종

종 발생하고 있어, 물리적 피해 사례는 향후 증가할 가능성이 있다. 대표적으로 , 우리

나라에서 지난 2023 년 11월 파프리카를 분류하기 위한 로봇의 작동 여부를 점검하던

로봇 업체 직원이 로봇의 집게에 눌려 사망하는 사고가 발생하였다 . 로봇은 파프리카

상자를 들어 팔레트로 옮기는 임무를 수행했으며 , 점검 중 로봇 센서가 직원을 상자로

26)

https://www.technologyreview.com/2022/12/19/1065306/roomba-irobot-robot-vacuums-artificial-i

ntelligence-training-data-privacy/

27) https://newsx.com/us-elections-2024/us-elections-2024-is-your-chat-gpt-biased-to-kamala-harris-find-out-here

28) https://news.abplive.com/technology/french-family-sue-file-lawsuit-against-tiktok-charges-of-

exposing- teens-teenage-to-harmful-dangerous-content-1729204

29) https://indianexpress.com/article/world/tesla-electric-car-crashes-bursts-into-flames-killing-4-in

-france-9620520/

- 18 -

오인식해 집게로 압박하면서 사고가 난 것으로 추정되는 일

30)

이 있었다 .

최근 AI 기술의 발전은 AI 제품 및 서비스의 상용화와 보급을 촉진하는 데에 기여하

고 있다. 사람을 대신하여 기피 작업을 AI가 수행함으로써 산업의 생산성에 기여하고

여러 긍정적인 영향을 줄 것으로 보인다 . 다만, AI의 보급에 앞서 우리 사회가 사생활

침해, 오작동 , 일자리 대체 등 AI가 초래할 수 있는 위험에 대해 충분히 이해하고 안

전장치를 마련했는지에 대한 점검 역시 필수적이라고 할 수 있다.

제2절 국가별 제도 현황

앞절에서 살펴보았듯 증가하는 AI 사고 및 향후 예상되는 각종 AI 위험에 대비하여 ,

세계적으로 신뢰할 수 있는 AI를 보장하기 위한 조치들이 추진되고 있으며 , 이와 함께

각국 정부가 AI 신뢰성 확보를 위한 최소한의 요구 사항을 명시하는 법 제정을 준비

하고 있다. 본 절에서는 대표적으로 유럽과 미국의 사례 및 국제기구의 노력을 언급하

고자 한다.

1. EU

31)

2019년 EU에서는 적법하고 , 윤리적이며 , 견실한 AI 시스템의 설계와 개발, 이용을 위

한 원칙, 요구사항 , 윤리 평가 목록 개발을 위해 신뢰할만한 AI 윤리 가이드라인을 발

표하였다 . 여기에는 신뢰할 수 있는 AI의 필수 요소로 적법성 , 윤리성 , 견고성을 제안

하고, 7대 요구사항으로는 인간의 자율성을 보조하는 AI로써 인간의 감독권을 허용하

는 인간 행위자와 감독을 비롯, 기술적 견고성 및 안전, 프라이버시와 데이터 거버넌

스, 투명성 , 다양성 ·차별금지 ·공정성 , 사회·환경적 복지, 책임성을 언급하였다 . 이를

바탕으로 2020년에는 구체적인 질문을 포함한 신뢰할만한 AI 윤리 평가 목록을 제

시

32)

하였다 .

이어, 유럽연합 (EU)은 세계 최초로 AI 기술에 대한 포괄적인 규제 법안인 AI법(AI

act)을 지난 2024년 3월 본회의에서 통과

33)

시켰다 . 유럽연합 지역에서 2024년 6월 이

후부터 단계적으로 시행될 예정으로 발효 6개월 후 금지 대상 AI 규정 시행, 12개월

30) https://www.bbc.com/news/world-asia-67354709

31) 박강민, 장진철, 안성원 (2024), “유럽연합 인공지능법(EU AI Act)의 주요내용 및 시사점”, SPRi 이슈리포

트를 참고함.

32) 유재흥 외, “유럽(EU)의 인공지능 윤리 정책 현황과 시사점: 원칙에서 실천으로”, SPRi 이슈리포트,

2021.03.25.

33) 최경진 외(2024). EU 인공지능법. ㈜박영사.

- 19 -

후 범용 AI 모델에 , 24개월 후 고위험 AI 시스템에 대한 규제가 시행될 예정이다 .

EU AI 법은 AI 정책 표준을 설정하고 , 기업들의 AI 개발 방식을 변화시키며 , 윤리적

이고 신뢰할 수 있는 AI 발전에 영향을 미칠 것으로 예상되어 그 중요성이 크다. 특히

EU 내 기업은 물론 EU 시장에서 활동하는 기업이 이 법을 준수해야 함에 따라 글로

벌 기업들의 AI 개발 및 사용 방식에 큰 변화를 가져올 것으로 예상된다 . 이 법은 AI

의 윤리적 사용과 인권 보호를 강조하여 , 신뢰할 수 있는 AI 기술 발전을 촉진할 전망

이다.

AI 법은 AI 개발자와 공급자 (수입 및 유통업체 포함), 배포자 모두에게 적용된다 . 단

AI 법은 군사, 국제협약 , 연구개발 등 다음과 같은 경우에는 적용하지 않는다 . EU의

AI 법안은 범용 AI 모델과 이러한 모델이 통합된 범용 AI 시스템을 대상으로 하고 있

다. 특히, EU AI 법의 특징 중 하나는 위험성에 따라 AI 시스템의 활용 분야를 <그림

3-3>와 같이 저위험부터 수용 불가능한 위험까지 네 단계의 위험 등급으로 나누고 , 등

급별로 차등적인 규제를 부여하는 데에 의미를 두고 있다. 최근 생성형 AI 시스템의

부각으로 인해, 콘텐츠가 AI 모델에 의해 생성되었다면 그 사실을 공표하고 , 불법 콘

텐츠를 생성하지 않도록 설계해야 한다.

그림

3-3> EU AI

법의 위험 수준

(

출처

: Dias-Rodriguez et al., 2023)

첫 번째인 허용할 수 없는 위험은 의미하는 바와 같이 EU AI 법에서 명문으로 규정

된 특별한 예외가 없는 한 사용 자체가 금지된다 . AI 시스템이 인간의 존엄성 , 자유,

평등, 차별금지 , 민주주의 및 법치 존중과 같은 EU의 기본 가치를 위배하는 경우 공

공, 민간을 불문하고 그 사용을 금지하는 것이다 . AI 법은 금지가 필요한 AI 시스템의

- 20 -

사용 예시(Prohibited Artificial Intelligence Practices) 를 규정하고 , 해당 AI 시스템이 시

장에 출시되거나 서비스가 제공되는 것을 금지하며 , 수용불가 AI 시스템 관련 규정을

위반한 경우 제재금이 부과된다 .

유형

주요 내용

잠재적

조작적

기만적 기술을

활용하여 인간의 의사결정 왜곡

시스템이 인간의 잠재의식을 이용하거나 의도적으로 조작을 이용하여 사람이 정

보에 기반한 의사결정을 내릴 능력을 현저하게 저해하여 심각한 피해를 초래하거나

초래할 가능성이 있는 의사결정을 내리는 데 사용되는 경우

연령

장애 또는 사회

경제적

상황 등 취약점을 이용한 인간

행동의 왜곡

시스템이 사람 혹은 특정 집단의 취약성

(

연령

장애

사회적 또는 경제적 상황

등

)

을 악용하여 사람의 행동을 심각하게 왜곡하여 심각한 피해를 초래하거나 초래

할 가능성이 있는 경우

사회적 행동 또는 개인적

특성에 기반한 사회적 평점

시스템이 일정 기간 사회적 행동이나 알려진

추론된 또는 예측된 개인 또는 성

격적 특성을 기반으로 자연인 또는 집단을 평가하거나 분류하는 경우

개인의 프로파일링에 전적으로

의존하는 범죄 예측

시스템이 자연인이 범죄를 저지를 위험성을 평가 또는 예측하기 위해 사용되는

경우

(

단

이 금지 사항은 범죄 활동에 대한 연루를 지원하는 데 사용되는

시스템

에는 적용되지 않음

)

인터넷 또는

CCTV

영상에서

불특정 다수의 안면 이미지

수집을 통한 안면

구축

시스템이 인터넷이나

CCTV

영상에서 얼굴 이미지를 비대상으로 스크래핑하여

얼굴 인식 데이터베이스를 생성하거나 확장하기 위해 사용되는 경우

생체 인식 정보를 활용한

정치

종교 성향 등의 분류

생체인식 분류 시스템을 사용하여 생체 인식 데이터를 기반으로 개별 자연인을 분

류하여 인종

정치적 의견

노조 가입

종교 또는 철학적 신념

성생활 또는 성적 지

향을 추론하거나 유추하는 경우

(

단

이 금지 사항은 생체 인식 데이터를 기반으로

합법적으로 취득한 생체 인식 데이터 세트에 대한 라벨링 또는 필터링이나 법 집행

분야에서 생체 인식 데이터 분류에는 적용되지 않음

)

직장 및 교육기관에서의 감정

추론

직장과 교육기관에서 자연인의 감정을 추론하기 위해

시스템을 사용하는 경우

(

단

이 금지 사항은 의료 또는 안전 목적을 위한 경우는 제외함

)

법 집행을 목적으로 공개적으로

접근가능한 공간에서의 실시간

원격 생체 인식

법 집행 목적을 위해 공개적으로 접근 가능한 공간에서

실시간

원격 생체 인식 식

별 시스템을 사용하는 경우

(

단

이러한 사용이 다음 목적 등에 필요한 경우에는 예

외

)

예외

납치

인신매매 또는 성착취 피해자에 대한 표적 수색 및 실종자 수색

예외

사람의 생명 또는 신체적 안전에 대한 구체적이고 실질적이며 임박한 위

협 예측 가능한 테러 공격 위협의 예방

예외

부속서

에 언급된 범죄에 대한 형사 수사나 기소 또는 형사 처벌을 집

행하기 위한 목적으로 범죄를 저지른 것으로 의심되는 사람의 현지화 또는 식별

[표 3-3] 허용할 수 없는 AI 시스템의 예

고위험 AI 시스템은 AI 시스템을 '고위험 '으로 분류할 수 있는 사례(case) 를 부속서

Ⅲ(Annex Ⅲ)에서 열거하고 있다. 고위험 AI 시스템에는 생체인식 , 중요 인프라 , 교육,

필수 서비스 , 법 집행, 이주 및 사법에 사용되는 AI 등을 포함하고 있다. 고위험 AI 시

스템 공급자와 운영자 , 수입업자 , 유통업자에게 의무가 부과되며 공공 서비스에 활용

하거나 자연인의 신용도를 평가하는 경우에는 ‘기본권 영향평가 ’를 수행해야 한다.

- 21 -

고위험 AI 시스템 공급자는 AI 시스템의 시장 출시 전 △위험 관리 시스템 , △데이터

거버넌스 , △기술 명세서 , △로그의 기록/관리, △운용자에 대한 정보 공개의 투명성 ,

△사람에 의한 감독, △그 외 정확성 , 신뢰성 , 보안 등에 대한 사항을 갖추고 적합성

평가를 받아야 하며, 이에 통과하면 EU의 데이터베이스에 등록해야 한다.

고위험 AI시스템 공급자는 AI 시스템의 시장 출시 후 △최소 6개월간의 로그 기록

보관, △품질 관리 시스템 운영, △관련 문서의 보관, △시장 출시 후 법에 위배되거나

위배되었다고 판단할 이유가 있는 경우 필요한 조치를 취하고 당국에 통보해야 한다.

한편, 고위험 AI 시스템의 운영자는 △적절한 감독자 지정, △입력 데이터의 관련성과

대표성이 있음을 보장, △모니터링 , △최소 6개월간의 로그 기록 보관, △고위험 AI 시

스템을 운용자의 사업장에서 사용하면 근로자 대표 및 근로자에게 AI 시스템의 사용

을 알릴 의무를 부과하고 있다. 수입업자와 유통업자의 경우 △EU 적합성 선언 및 사

용 지침의 제공 여부 확인 보장, △관할 당국에 관련 세부 정보 제공 등의 의무를 부

과한다 . 고위험 AI 시스템 관련 규정을 위반한 경우 최대 1,500만 유로(약 222억 원)

또는 직전년 회계연도 기준 전 글로벌 연 매출액의 최대 3% 중 더 큰 금액에 대한 제

재금이 부과된다 .

고위험 AI 시스템 사례는 다음 [표 3-4]와 같다.

34)

제한된 위험성을 갖는 AI 시스템

은 사람과 상호작용하는 AI 시스템 중에서 딥페이크 기술과 같이 비인격화 , 기만, 조

작 등의 문제를 일으킬 수 있는 기술은 제한된 위험성을 갖는 시스템으로 분류하고

있다, 이러한 시스템에는 투명성 의무가 부과되며 , 이를 통해 사용자는 AI와의 상호작

용을 명확히 인지할 수 있게 되며, 잠재적인 위험으로부터 보호받을 수 있다. 여기서

투명성 의무란 시스템 제공자가 AI 사용 상황과 맥락을 고려하여 , 상대방이 AI 시스템

과 상호작용하고 있다는 사실을 인식할 수 있도록 고지해야 하는 의무이다 . 예를 들

어, 합성 콘텐츠 (오디오 , 이미지 , 동영상 , 텍스트 등) 생성하는 AI 시스템의 공급자는

결과물을 기계판독이 가능한 형태로 표시하고 , 인공적 생성이나 조작을 판별할 수 있

도록 해야 한다.

한편, EU AI 법은 규제만을 규정한 법률은 아니며 , AI 혁신과 발전에 관해 △규제

샌드박스 , △실제 환경에서 테스트 , △중소기업과 스타트업 지원을 규정하고 있다. AI

규제 샌드박스는 회원국이 국가 차원에서 시장에 출시되기 전에 AI 시스템을 개발, 테

스트 및 검증할 수 있는 환경으로 AI 규제 샌드박스를 만들 것을 요구하고 있다. EU

34) 최경진 외(2024) EU 인공지능법, ㈜박영사. 및 박강민 외(2024), 유럽연합 인공지능법(EU AI Act)의 주요

내용 및 시사점, SPRi 이슈리포트 참고.

- 22 -

AI법에는 EU 회원국의 표준 개발 절차에 중소기업의 참여를 독려하며 , 중소기업이 AI

법에 대한 이해를 높이고 효과적으로 대응할 수 있도록 지원하는 방안도 담고 있다.

EU 기구 및 각 회원국 간 소통 및 지원 체계를 통해 실효적인 AI 법 집행 및 이행을

확보할 수 있을 것으로 기대된다 .

구분

주요 내용

생체인식 관련

원격 생체 인식 식별 시스템

생체인식 분류 시스템

감정 인식 시스템

중요 인프라 관련

중요 디지털 인프라

도로 교통

수도

가스

난방 또는 전기 공급 등의 관리 및 운영에서

안전 구성요소에 관련된 시스템

교육 및 직업 훈련 관련

접근

입학

배정 등에 관련된 시스템

학습 결과 평가에 관련된 시스템

고육 수준 평가에 관련된 시스템

시험 중 학생 모니터링

감지에 관련된 시스템

채용

근로자의 관리 및

자영업자 접근 관련

모집 또는 선발

(

구인광고

지원자 분석

필터링

평가 등

)

에 관련된 시스템

조건

계약관계 촉진

종료

업무 배분

감시

평가에 관련된 시스템

필수 민간

공공서비스와

그 혜택에 대한 접근과 향

유 관련

필수 공공부조 혜택

서비스 적정평가

부여

축소

취소 등에 관련된 시스템

신용도 평가

신용점수에 관련된 시스템

생명 및 건강 보험 관련 위험 평가

가격 책정에 관련된 시스템

비상전화 평가

분류

응급 서비스

응급 환자 분류 등에 관련된 시스템

관련

법 또는

회원

국 법에 따라 허용되는 한

도에서 법의 집행 관련

형사범죄 피해자 위험 평가에 관련된 시스템

거짓말 탐지기

유사 도구에 관련된 시스템

수사 또는 기소 과정에서의 증거 신뢰성 평가에 관련된 시스템

범죄성

재범 가능성

과거 범죄 행동 평가에 관련된 시스템

프로파일링에 관련된 시스템

관련

법 및

회원국

법에 따라 이용이 허용되

는 이민

망명 및 국경 관

리 관련

거짓말 탐지기

유사 도구에 관련된 시스템

보안 위험

비정규 이주위험

건강상 위험 평가에 관련된 시스템

망명

비자

체류 혀가 신청 등 검토에 관련된 시스템

탐지

인식

확인에 관련된 시스템

사법 행정 및 민주 절차

관련

사실관계

관련 법 조사

해석

적용 등에 관련된 시스템

투표행위

결과 영향에 관련된 시스템

[표 3-4] EU AI법에 의한 고위험 AI 시스템 사례

2. 미국의 AI 행정명령 및 제도

미국은 기존 AI 이니셔티브 전략

35)

을 토대로 연방 기관, 학계, 민간 부문 및 비영리

35) 2020년 제정된 National Artificial Intelligence Initiative Act(NAIIA, DIVISION E, SEC. 5001)에 의거

한 국가 AI 전략(National Artificial Intelligence Initiative, NAII)

- 23 -

단체 간의 협력을 강조하는 정책을 통해 세계 최고의 AI 솔루션 및 플랫폼 경쟁력을

유지하는 국가 정책을 추진 중이다 . AI 이니셔티브 전략은 AI 이니셔티브 전략은 △연

구개발 투자, △리소스 개방, △거버넌스 표준화 , △전문인력 양성, △국제협력 등 AI

선두국가로써의 AI 진흥에 초점을 두고 있다.

한편, 바이든 전 대통령 행정부는 중국과의 패권 경쟁 위협과 생성형 AI 부상 이후,

AI 안전에 관한 위험이 강조되면서 점차 AI 분야 경쟁력 유지와 함께 신뢰할 수 있는

AI 개발과 이용을 강조했었다 .

36)

다음 [표 3-5]는 미국의 바이든 전 대통령 행정부의

AI 안전과 신뢰, 책임성을 위한 주요 노력을 정리한 결과이다 .

시기

내용

‘23

년

월

기술의 발전에 따른 책임 있는 혁신을 위한 대응 방안 제시

(“FACT SHEET: Biden-Harris

Administration Announces New Actions to Promote Responsible AI Innovation that Protects

Americans’ Rights and Safety”)

‘23

년

월

바이든 대통령은

‘

인공지능의 신뢰할 수 있는 개발과 활용에 관한 행정 명령

(“Executive Order on

the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence”)’

에 서명

‘23

년

월

영국

안전성 정상회의에서 미국

안전연구소 설립 등을 포함한 새로운 이니셔티브 발표

‘24

년

월

바이든 행정부는 행정명령 이후 성과를 보고

(“Biden-Harris Administration Announces Key AI

Actions 180 Days Following President Biden’s Landmark Executive Order”)

[표 3-5] 바이든 전 대통령 행정부의 AI 안전·신뢰·책임을 위한 주요 노력

대표적으로 , 2023년 11월에 발표된 안전하고 신뢰할 수 있는 인공지능 개발 및 사용

행정명령 제14110 호(Executive Order 14110: Safe, Secure, and Trustworthy

Development and Use of Artificial Intelligence) 는 미국의 안전하고 신뢰할 수 있는 AI

개발과 이용을 진전시키고 배포하는 방안을 담고 있다.

다만, 2024 년 11월에 도널드 트럼프 대통령 (당시 대통령 후보)는 바이든 행정부에서

발표한 AI 규제와 관련한 행정명령에 대해 철회 의사를 공약했던 바 있다. 결국 2025

년 1월 20일 트럼프 대통령 취임 후 발표된 “유해한 행정 명령 및 조치의 첫 취소

(Initial rescissions of harmful executive orders and actions)”

37)

행정명령을 통해 해당

행정명령은 전면 철회되었다 . 과거 트럼프 1기 행정부에서는 산업계의 규제를 철폐하

고 미국 기업 중심의 진흥 정책을 추진했었기에 , 앞으로 출범할 트럼프 2기 행정부 역

시 규제를 완화하면서도 AI 기술의 전략적 활용과 글로벌 경쟁력 강화를 목표로 정책

이 진행될 전망이다 .

36) NIA(2024), 미국의 인공지능(AI) 정책·전략 현황과 변화 방향

37) https://whitehouse.gov/presidential-actions/2025/01/initial-rescissions-of-harmful-executive-orders-and-actions/

- 24 -

미국은 연방 차원의 AI 법이 부재한 가운데 도널드 트럼프 대통령 당선자의 행정부

가 AI 사용에 대한 보호 장치에 대해 소극적인 상황에서 , 여러 주와 뉴욕시는 부분적

으로 EU AI 법에서 영감을 받은 요건을 제정하고 있다. 향후, 캘리포니아와 코네티컷

과 같은 더 많은 주가 이를 따를 가능성이 있다. Gartner 의 보고서

38)

에 따르면 , 미국

의 기업 혹은 미국에 진출하는 기업은 미국 주 및 지방 수준에서 분산된 규제는 기업

으로서는 특정 관할권에 대한 여러 정책을 확인해야 하므로 불확실성을 더욱 증가시

킬 가능성이 있다고 밝혔다 . 미국 각 주의 AI 법은 EU AI 법에서도 발견되는 세 가지

중요한 원칙, 즉 △ 투명성 , △ 위험관리 , △ 공정성에 초점을 맞추고 있다.

투명성 측면에서는 , EU법은 조직이 AI를 사용하여 의사결정을 자동화하는 경우 또는

사용자가 챗봇과 상호 작용하는 경우 등을 소비자에게 알리도록 요구하고 있으며 , 이

와 유사하게 콜로라도 주와 뉴욕시에서는 고용 과정에 AI를 사용하는 회사에 투명성

요건을 적용하고 있다. 이에, AI 시스템을 개발하는 기업은 사용자에게 AI와 상호 작용

하고 있음을 알리고 , 조직에서 AI가 생성한 콘텐츠에 이를 라벨링하는 프로세스가 있

는지 확인하는 등의 작업이 필요하다 .

위험 관리에 대해서는 EU의 AI법이 위험성 높은 AI 사용을 도입하는 기업과 AI 시스

템 제공업체에 대한 위험성 평가 요건을 정하고 있으며 , 콜로라도 주의 법률도 회사는

알고리즘 차별의 위험을 측정하기 위해 연간 영향 평가를 실시해야 하며 NIST가 발표

한 것과 같은 인정된 프레임워크에 맞춰 위험 관리 프로그램을 갖춰야 한다고 밝히고

있다. 반면에 일리노이주 , 유타주 , 뉴욕시는 아직 구체적인 위험 관리 요건을 포함하지

않았다 . 기업은 고위험 AI 사용 사례를 식별하고 영향평가를 고려할 필요가 있다.

EU, 콜로라도 주, 뉴욕 시의 AI 법률에는 편견을 방지하려는 조치가 포함되어 있다.

EU법은 조직이 기술의 고위험 사용으로 분류되는 것에 대한 편향 가능성을 포함하는

위험 평가를 수행하고 검증하도록 요구한다 . 회사에 따라 이 프로세스의 소유자는 기

업 위험 관리, 감사, 개인 정보 보호 또는 규정 준수를 포함할 수 있으며 , 데이터 및

분석과 협력하고 사내 AI 도구를 개발하는 제품 부서가 될 수 있다. 뉴욕 시의 법률은

자동화된 고용 결정 도구를 사용하는 도시의 고용주와 고용 기관이 회사 웹사이트에

서 연간 편향 감사를 시행하고 게시하도록 구체적으로 요구한다 . 콜로라도 법률은 고

용과 같은 분야에서 "고위험 AI 시스템 "을 개발하는 기업은 이를 사용하는 조직에 문

서를 제공해야 한다고 명시하고 있다.

38) Gartner(2024). AI Regulation in 2025: A Comparative Guide to U.S. State and EU Rules. ID

G00822761

- 25 -

3. 우리나라의 AI 기본법 (인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 )

우리나라에서도 지난 2024 년 12월 말, AI의 건전한 발전과 신뢰 기반 조성을 위해

인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 (이하 AI 기본법 )이 국회 본회의를

통과하였다 . AI 기본법에는 AI, AI 시스템 , 고영향 AI, 생성형 AI 등의 용어를 정의하여

법 적용 범위를 명확히 하고 있으며 , 거버넌스 체계를 위해 국가 AI 위원회 설치, AI

정책 센터, AI 안전연구소 설립 등의 체계적인 추진 체꼐와 함께 국가의 AI 기본계획

수립에 대해 명시하고 있다. 국가의 AI 산업을 육성하기 위해 AI 기술 개발을 지원하

고, 학습용 데이터 관련 정책이나 창업 지원, 국제협력 및 해외시장 진출 지원과 같은

진흥 정책과 함께 AI 윤리 원칙 수립, AI 신뢰성 검·인증 지원 등의 윤리적이고 신뢰

할 수 있는 AI 환경 조성을 위한 방안도 담고 있다. 이를 통해 국가의 AI 산업을 체계

적으로 육성하면서 , AI 사업자에 대한 투명성과 안전에 대한 확보 의무를 부과한 특징

이 있다.

EU AI 법의 고위험 AI에 대응하는 개념으로 , 우리나라의 AI 기본법에는 고영향 AI에

관해 규정하고 있다. 고영향 AI는 사람의 생명, 신체의 안전 및 기본권에 중대한 영향

을 미치거나 위험을 초래할 우려가 있는 AI 시스템을 의미하며 , 의료기기 , 채용이나

대출 심사와 같은 개인 평가, 학생 평가 등이 해당될 수 있다. 고영향 AI 사업자는 이

용자에게 사전에 고영향 AI에 사전 고지를 필수적으로 해야 하며, AI의 위험에 대해

관리하는 방안을 수립 및 운영해야 하며, AI 결과에 대한 설명 방안을 마련하고 , 이용

자를 보호할 방안을 수립하며 사람에 의한 관리 감독 체계를 구축할 의무가 있다. 특

히, 위험을 식별·평가하고 완화 조치를 마련하며 , 안전사고 모니터링 및 대응체계를

구축한 이행 결과를 과학기술정보통신부에 제출해야 한다.

39)

또한, 입력 데이터를 기

반으로 텍스트나 이미지 , 영상 등을 생성하는 생성형 AI 시스템에 대해 사업자 역시

생성형 AI 결과물에 대해 표시(워터마크 )를 필수적으로 해야 한다.

다만, 업계에서는 규제 대상이 되는 고영향 AI에 대한 기준과 정의가 추상적이고 광

범위하다는 의견이 있다. 국회입법조사처

40)

에서도 AI 업계의 우려가 큰 고영향 AI 개

념과 요건을 구체화할 필요성을 언급하였으며 , AI 기본법의 내실을 다지는 보완 입법

이 필요함을 설명하고 있다. 이에, 과기정통부는 고영향 AI의 정의 및 규율 방안 등을

담은 기초 가이드라인을 비롯하여 , AI 기본법 시행령을 2025년 중에 마련할 계획이

다.

41)

39) https://www.cela.kr/4/?bmode=view&idx=148966233

40) 정준화(2025), 인공지능(AI) 기본법 시행 전 보완을 위한 입법 과제. 국회입법조사처.

- 26 -

4. 국가 간 AI 안전 , 신뢰성 구축을 위한 협력

OECD, UN 등 국제기구들은 AI의 신뢰성 , 안전성 확보 및 윤리적 사용을 촉진하기

위해 다양한 노력을 기울이고 있다. 대표적으로 , 전 세계의 교육, 과학, 문화 보급과

교류를 위해 설립된 UN의 전문 기구인 유네스코 (UNESCO) 에서 수행하는 중요한 역할

중 하나는 AI 윤리 분야이다 . 유네스코는 지난 2021년 11월 AI의 윤리적인 기술 발전

과 실행을 위해 회원국 만장일치로 첫 국제 표준인 'AI 윤리 권고'를 채택했다 . 이는

기본 원칙을 기반으로 인간의 권리와 존엄성을 보장하도록 하는 윤리적 지침을 담고

있으며 , 정책적 행동으로써 윤리 영향평가와 윤리적 거버넌스 및 감독 의무 등을 통해

회원국이 AI 윤리 권고를 충실히 이행하도록 제안하였다 . 또한, AI 시스템이 권고안의

가치와 원칙에 부합하는지 평가하기 위한 윤리적 영향 평가 도구를 개발했다 . 글로벌

AI 윤리 및 거버넌스 관측소 플랫폼을 운영하여 , 정책 입안자 , 규제 기관, 학계, 민간

부문 및 시민 사회가 AI가 제기하는 가장 시급한 과제에 대한 해결책을 찾을 수 있도

록 지원하고 있다.

경제협력개발기구인 OECD 는 AI 윤리와 거버넌스에 있어 선도적인 역할을 하고 있으

며, 2019 년 혁신적이고 신뢰할 수 있는 AI를 촉진하며 인권과 민주적 가치를 존중하는

첫 번째 정부 간 AI 표준으로 OECD AI 원칙을 채택

42)

하였다 . OECD AI 원칙의 주요

내용은 다음과 같다.

△ 포용적 성장, 지속 가능한 발전 및 웰빙: AI는 인간의 능력을 향상하고 창의성을

증진하며 , 소외계층을 포용하고 불평등을 줄이는 데 이바지해야 한다.

△ 인간 중심 가치와 공정성 : AI 시스템은 인권, 민주적 가치, 다양성을 존중하며 공

정성과 프라이버시를 보장해야 한다.

△ 투명성과 설명 가능성 : AI 시스템의 목적, 특성, 한계 및 위험에 대해 적절히 공

개하고 , 데이터 사용에 대해 투명해야 한다.

△ 견고성 , 보안 및 안전성 : AI 시스템은 수명 주기 전반에 걸쳐 안전하고 견고해야

하며, 잠재적 위험은 지속 평가되고 관리되어야 한다.

△ 책임성 : AI 시스템 개발자 , 배포자 및 운영자는 시스템의 적절한 기능과 위 원칙

들의 준수에 대해 책임을 져야 한다.

41) 전자신문(2025.1.8.), AI 기본법 시행령 위한 TF 이달 출범…'고영향 AI 가이드라인' 초안 준비

42) https://www.oecd.org/en/topics/ai-principles.html

- 27 -

OECD 는 변화된 AI 환경에 맞게 2024 년 AI 원칙을 업데이트했으며 , 주요 내용은 다

음과 같다.

△ AI 시스템의 안전 관리: 과도한 해를 끼칠 위험이 있는 AI 시스템을 관리하기 위

한 메커니즘과 안전장치를 도입해야 한다.

△ 정보 무결성 : 생성형 AI의 맥락에서 허위정보와 잘못된 정보에 대처하는 중요성

을 강조하고 있다.

△ 기업의 책임 있는 행동: 기업은 윤리적 , 법적, 사회적으로 책임 있는 방식으로 AI

시스템을 개발, 구현 및 사용해야 한다.

△ 환경적 지속 가능성 : AI가 환경과 천연자원에 미치는 영향에 대한 우려를 명시적

으로 언급하고 있다.

△ 국제 협력: AI 거버넌스와 정책 환경의 상호운용성을 촉진하기 위한 국가 간 협

력을 강조하고 있다.

OECD 는 AI 원칙을 이행하기 위해 정부에 AI 연구개발 투자, AI를 위한 디지털 생태

계 조성, AI를 위한 정책 환경 조성, 인적 역량 구축 및 노동시장 변화 대비, 신뢰할

수 있는 AI를 위한 국제 협력 등을 제안하고 있다. OECD AI 원칙은 현재 47개 정부가

채택하고 있으며 , AI 정책 수립을 위한 글로벌 기준점 역할을 하고 있다. 이 원칙들은

AI의 혜택을 극대화하고 위험을 최소화하는 동시에 인권과 민주적 가치를 존중하는 AI

개발과 사용을 촉진하는 것을 목표로 한다. 또한, OECD 는 글로벌 AI 파트너십 (GPAI)

과 협력하여 인간 중심적이고 안전하며 신뢰할 수 있는 AI 구현을 위한 의제를 추진

하고 있다. 마지막으로 , OECD.AI 정책 관측소를 통해 AI 원칙 이행을 위한 모범 사례

를 분석하고 개발하고 있다.

국제연합 UN은 AI의 글로벌 거버넌스에 중점을 두고 있으며 , 2024년 3월에 채택한

결의안은 AI가 모든 국가에 이익이 되고 인권을 존중하며 "안전하고 보안이 확보되며

신뢰할 수 있는" 기술이 되도록 하는 첫 번째 결의안

43)

이다. 이 결의안은 인권 존중,

윤리적 기준 준수, 국제법 준수를 AI 개발의 핵심 원칙으로 제시하고 있으며 , 국가 간,

국가 내 AI 및 디지털 격차를 해소하기 위한 국제 협력을 촉구하였다 . UN 결의안은

AI를 통해 UN의 2030년 지속가능발전목표 달성을 가속화하는 것을 목표로 하고 있으

43)

https://pbs.org/newshour/politics/the-un-adopts-a-resolution-backing-efforts-to-ensure-artificia

l-intelligence-is-safe-secure-and-trustworthy

- 28 -

며, 국제 사회에서 향후 국가 및 글로벌 수준의 AI 규제에 대한 지침과 같은 역할을

할 것

44)

으로 기대하고 있다. 또한, UN은 AI 자문기구를 통해 인류를 위한 AI 거버넌스

접근법을 제안하고 있다. 가장 최근인 2024 년 12월, 스위스 제네바 UN 사무소에서 '신

기술에 대한 인권 기반의 접근' 행사가 개최되었으며 , 우리나라의 네이버는 이 자리에

서 자사의 AI 윤리 프로세스 등을 소개하며 안전한 AI 생태계 구축을 위한 노력을 공

유

45)

했다.

이러한 국제기구들의 노력은 AI 기술의 잠재적 이점을 극대화하고 위험을 최소화하

는 데 중점을 두고 있다. AI의 개발과 사용이 인권, 민주적 가치, 그리고 지속가능한

발전을 존중하는 방식으로 이루어지도록 하는 데 주력하고 있다.

5. 소결

최근의 AI 윤리 및 신뢰성 문제는 개별 기업의 문제를 넘어서 산업과 국가의 문제로

확대가 되고 있다. AI 산업은 하드웨어에 해당하는 AI 반도체부터 소프트웨어 , 서비스 ,

수요산업까지 가치사슬로 엮여있는 상황이며 , 데이터 학습부터 모델링 , 결과 추론까지

최종 소비자는 어느 기업으로부터 사고 위험이 도래했는지 확인하기 어려운 특징이

있다. 또한, 최근의 AI 서비스는 여러 국가로 서비스되는 특징이 있으며 , 시스템적 AI

위험은 전 국가적 차원에 영향을 주는 요인이 많다. 이에, 국가 차원의 정책과 법규제

필요하여 각국에서 노력이 이뤄지고 있다고 볼 수 있다.

우리나라 정부에서도 사람 중심의 AI를 목표로 인간의 존엄성 , 사회의 공공선 , 합목

적성의 3대 원칙을 바탕으로 한 ‘AI 윤리 기준’을 2020년에 발표하였으며 , 지난

2023년에는 디지털 공동번영 사회를 위해 AI를 비롯한 디지털 기술의 공정한 활용과

새로운 질서를 의미하는 ‘디지털 권리장전 ’을 발표한 바 있다.

또한, AI 기술 발전에 따라 새롭게 등장하는 윤리적 이슈에 관한 사회적 논의를 진

행하고 , 우리나라 AI 윤리 신뢰성 확보를 위한 주요 정책과제에 대한 각계의 전문가와

이해관계자의 의견을 수렴하고자 , 과기정통부를 중심으로 2022년부터 ‘인공지능 윤리

정책 포럼’을 운영하고 있다. 본 포럼을 통해 인공지능 윤리체계 마련의 일환으로

‘AI 윤리영향평가 프레임워크 ’, ‘채용 분야 AI 윤리기준 실천을 위한 자율점검표 ’,

‘일반인 대상 AI 윤리교육 교재’ 및 영상 콘텐츠를 개발하였다 . 또한, ‘초, 중, 고

등 AI 윤리 교육 교재’ 영문화를 추진했으며 , ‘제2기 인공지능 윤리정책 포럼’ 운

44) https://globalcompliancenews.com/2024/04/24/https-insightplus-bakermckenzie-com-bm-data-

technology-international-the-united-nations-adopts-its-first-resolution-on-ai_04152024-2/

45) https://www.hankyung.com/article/202412069644i

- 29 -

영하는 한편, ‘인공지능 윤리 소통채널 ’ 구축을 완료하고 , 국가 인공지능 정책 과제

인 ‘AI 안전연구소 ’의 주요 기능에 대해 서면 의견수렴을 진행하고 ‘AI 영상합성서

비스 윤리 영향평가 ’의 중간 결과를 공유한 바 있다. 최근 생성형 인공지능 기술의

활용 범위가 기존의 텍스트 생성에서 영상까지 확대되면서 편향, 허위정보 , 딥페이크 ,

음란물 등 윤리적 이슈에 대한 사회적 우려도 커지고 있다. 이러한 상황에서 ‘AI 윤

리 신뢰성 포럼’은 글로벌 논의와 기술 발전에 따른 쟁점에 대해 심층적으로 대응방

안을 모색하는 데 중요한 의의가 있으며 향후 국내외 인공지능 관련 파트너쉽을 강화

하면서 정부 및 국제기구와의 글로벌 정합성을 고려할 수 있도록 공론장을 마련하는

기회를 지속적으로 만들어 나가야 할 필요가 있다.

46)

한편 우리나라는 2024년 연말에 통과된 AI 기본법을 통해 기업의 신뢰할 수 있는 AI

도입을 촉진하고 고영향 AI의 위험을 방지하기 위한 첫걸음을 내딛었다 . 이렇게 각국

정부의 움직임과 함께, 실질적으로 AI를 개발하고 공급, 통합, 서비스하는 기업 입장에

서 어떻게 준비하고 있는지를 확인할 필요가 있다. 다음 절에서는 글로벌 기업의 신뢰

할 수 있는 AI에 대한 인식과 대응 현황에 대해서 각종 조사 결과 및 사례를 통해 살

펴보고자 한다.

제3절 글로벌 주요 기업의 신뢰할 수 있는 AI 인식 및 대응 현황

1. 액센츄어의 글로벌 기업 대상 인식 조사

2024년 액센츄어는 스탠퍼드 대학교와 공동으로 글로벌 기업의 신뢰할 수 있는 AI에

대한 인식과 조치에 대한 현황 조사를 시행하여 , 스탠퍼드 대학교의 AI Index 2024 리

포트

47)

에 공개하였다 . 이 조사는 신뢰할 수 있는 AI 채택의 현재 수준을 이해하고 , 각

산업과 지역에 따른 기업의 개발, 배포 및 사용에 따른 책임 있는 AI 활동 현황과 영

향을 비교하기 위해 2024 년 2월부터 3월까지 조사가 진행되었다 . 최종적으로 22개 국

가의 19개 산업 내 AI 개발 및 도입, 서비스 기업을 대상으로 응답을 수집하였으며 ,

연간 매출액이 5억 달러 미만인 기업 제외 후 1,000 개 이상의 조직을 대상으로 분석되

었다.

이 조사에서는 책임 있는 AI와 관련하여 △개인정보 보호 및 데이터 거버넌스 , △투

명성 및 설명 가능성 , △신뢰성 및 보안, △공정성을 측정하였다 . 개인정보 보호 및 데

46) 이현경 외(2024). AI 윤리 정책 기반 구축 연구. 정보통신정책연구원 연구보고서.

47) Stanford University, AI Index Report 2024.

- 30 -

이터 거버넌스는 데이터의 법률 및 규정 준수 여부, 데이터의 완전성 , 고유성 , 일관성 ,

정확성 및 오류가 있는 데이터의 업데이트 프로세스 유무를 측정하였으며 , 투명성 및

설명 가능성은 개발 프로세스 및 데이터 소스 등 주요 정보에 대한 문서화 , 모델의 이

용 사례와 한계를 다루는 교육 프로그램 유무 등을 측정하였다 . 신뢰성은 레드팀 구성

과 같은 모델 오류 및 취약성 , 유해성에 대한 완화 조치 유무, 적대적 공격 방지 조치,

모델 신뢰도 테스트를 포함하며 , 보안은 사이버 위험에 대한 조치 프로세스 유무, 전

담 인력 등을 측정하였으며 , 공정성은 예상 사용자의 인구통계에 기반하여 편향되지

않은 데이터를 수집하고 평가하는지 , 모델 개발 및 검토 단계에서 다양한 이해관계자

가 참여하여 기술적 편향이 완화되는지를 측정하였다 . 각각의 지표는 총 4단계로 적용

하지 않음(Not applied), 임시 조치(Ad-hoc), 신규 도입(Rolling-out), 충분히 운영(Fully

operationalized) 로 응답을 받았다 .

글로벌 조사 결과, <그림 3-4>와 같이 글로벌 기업은 개인정보 보호 및 데이터 거버

넌스 관련 위험 조치를 가장 많이 고려(51%) 하고 있으며 , 이어 보안, 신뢰성 , 투명성

및 설명 가능성 , 공정성 순으로 고려하고 있다.

조사에 응답한 글로벌 기업의 51%가 자사의 AI 전략에 개인정보 보호 및 데이터 거

버넌스 관련 위험을 고려하고 있다고 응답하고 있으며 , 지역별로는 유럽(56%) 과 아시

아(55%) 에서 개인정보보호 및 데이터 거버넌스 위험을 가장 많이 고려하고 있으며 , 북

미(42%) 가 가장 낮은 것으로 조사되었다 . 기업이 데이터 거버넌스 관련 법규 준수, 데

이터 사용에 대한 동의 확보, 데이터 관련성 유지를 위한 정기 감사 및 업데이트 실시

등 데이터 거버넌스 관련 위험에 대해 조처를 했는지에 대한 질문에 , 90%의 기업이

적어도 한 가지 이상의 대응을 마련했다고 응답하였다 .

그림

3-4>

글로벌 기업의 신뢰할 수 있는

현황 조사 결과

- 31 -

그림

3-5>

글로벌 지역별 개인정보 보호 및 데이터 거버넌스 조치 비율

조사에 응답한 글로벌 기업의 44%가 자사의 AI 전략에 투명성 및 설명가능성 관련

위험을 고려하고 있다고 응답하였다 . 지역별로는 유럽(49%) 이 투명성 및 설명 가능성

에 대한 고려 비율이 높으나 , 상대적으로 아시아 (38%) 에서는 관련 고려 비율이 낮았으

며, 88%의 기업이 적어도 한 가지 이상의 투명성 및 설명 가능성 관련 위험을 완화하

는 조치를 마련하였다 . 조치에는 투명한 개발 프로세스 문서화 , 모델의 의도된 사용

사례와 한계를 다루는 이해관계자를 위한 교육 프로그램 유무, 일부 성능이 희생되더

라도 모델의 설명 가능성에 우선순위를 두는지 유무, 모델 설명 도구를 사용하여 모델

결정을 명료하게 하는지 등이 포함되었다 .

그림

3-6>

글로벌 지역별 투명성 및 설명 가능성 조치 비율

조사에 응답한 기업의 45%가 자사의 AI 전략에 신뢰성 관련 위험을 고려하고 있다

고 응답하였으며 , 보안에 대해서는 47%가 고려하고 있었다 . 지역별로는 북미(47%) 에서

신뢰성을 , 아시아 (51%) 에서 보안에 대한 고려를 적극적으로 하고 있으며 , 반면 중남미

- 32 -

(37%), 유럽(42%) 에서는 각각 신뢰성과 보안 고려 비율이 낮았다 . 응답 조직의 75%가

AI 모델 오류에 대한 완화 조치, AI 시스템 /모델의 가용성을 보장하기 위한 장애 조치

계획 등 적어도 하나 이상의 신뢰성 관련 대응책을 마련하였으며 , 63%는 공급망 내

제 3자의 사이버보안 조치 및 검증 등 하나 이상의 보안 관련 대응책을 마련하였다 .

그림

3-7>

글로벌 지역별 신뢰성 조치 비율

그림

3-8>

글로벌 지역별 보안 조치 비율

또한, 조사 대상의 대다수인 88%는 기반 모델 개발자가 관련 위험을 완화할 책임이

있다는 데 동의하고 있으며 , 86%는 생성형 AI로 인한 잠재적 위협이 충분히 크므로

전 세계적으로 합의된 거버넌스의 필요성에 동의하고 있었다 .

마지막으로 , 조사에 응답한 기업의 29%가 자사의 AI 전략에 공정성 관련 위험을 고

려하고 있다고 응답하고 있었다 . 편향 없는 데이터 수집 여부, 기술적 편향 완화 기술

적용 등 완화 조치 관련하여 , 지역별로는 유럽(34%) 에서 가장 많이 공정성 위험을 고

려하는 조치를 취했다고 응답하지만 , 북미(20%) 에서 가장 낮게 응답하였다 .

- 33 -

그림

3-9>

글로벌 지역별 공정성 조치 비율

한편, AI 모델 및 거대언어모델 (LLM) 평가 플랫폼을 운영하는 Arize 는 기업의 연례

사업 보고서를 분석하여 AI 안전 인식을 조사하였다 . 이 보고서

48)

에 의하면 , Fortune

500 기업 중 절반 이상인 약 56.2% 의 기업이 AI를 위험 요소로 인식하고 있다. 이들

기업은 AI와 관련된 위험 요소로 타사와 경쟁에서 뒤처질 가능성 , 기술 발전에 적응하

지 못할 가능성 , AI가 제공하는 정보의 정확성이 낮은 문제, 데이터 유출, 그리고 규제

변화에 따른 리스크 등 다양한 범주에 걸쳐 언급하고 있다.

그림

3-10>

산업별

위험 비율

(Arize Inc., 2024)

48) Arize Inc., The Rise of Generative AI In SEC Filings.

https://arize.com/wp-content/uploads/2024/07/The-Rise-of-Generative-AI-In-SEC-Filings-Arize-AI-

Report-2024.pdf

- 34 -

특히, <그림 3-10> 과 같이 산업 도메인별 분석에서는 광고, 미디어 및 엔터테인먼트

업계의 90% 이상이 AI의 사용에 따른 위험을 가장 많이 언급하고 있으며 , 다음으로는

소프트웨어 기술(86.4%), 통신(70.0%), 헬스케어 (65.1%), 금융(62.7%) 등의 산업에서 AI

위험성을 체감한다는 비중이 높았다 . 이들 산업에서는 AI가 조직 내 기술적 경쟁력을

유지하는 데 중요한 요소로 간주되고 있다.

AI 위험 중에서도 경쟁사와의 경쟁에 의한 비즈니스 위험성에 대한 언급이 있었다 .

예를 들어, 글로벌 스트리밍 플랫폼 운영 업체인 넷플릭스는 경쟁사가 AI를 적극적으

로 활용할 시 넷플릭스 자사의 경쟁력 저하가 예상되어 경쟁사와의 AI 발전 속도에

맞추지 못하고 AI 목표를 달성하지 못할 가능성에 대해 언급("New technological

developments, including the development and use of generative artificial intelligence,

are rapidly evolving. If our competitors gain an advantage by using such technologies,

our ability to compete effectively and our results of operations could be adversely

impacted.") 하였다 . 리서치 업체인 S&P글로벌은 생성형 AI에 의한 무료 또는 저렴한

정보 접근성에 의해 보고서 등 자사의 제품과 서비스에 대한 수요 감소로 이어질 가

능성에 대해 우려(“In recent years, more public sources of free or relatively

inexpensive information have become available, particularly through the Internet, and

advances in public cloud computing and open source software is expected to

continue. Moreover, generative artificial intelligence may be used in a way that

significantly increases access to publicly available free or relatively inexpensive

information. Public sources of free or relatively inexpensive information can reduce

demand for our products and services.”) 하였다 .

다른 한편으로는 AI에 의한 일반적이고 광범위한 피해에 대한 우려도 있었다 . 모토

로라는 생성형 AI가 포함된 제품의 출시에 따른 사회적 , 윤리적 문제로 논란이 야기될

수 있으며 , AI가 항상 의도한 대로 작동하지 않을 수 있으며 데이터 세트가 부족하거

나 불법적 , 편향적 , 유해하거나 불쾌한 정보를 포함하여 고객의 AI 사용에 부정적인

영향을 끼칠 수 있음을 언급("As we increasingly build AI, including generative AI,

into our offerings, we may enable or offer solutions that draw controversy due to

their actual or perceived impact on social and ethical issues resulting from the use of

new and evolving AI in such offerings. AI may not always operate as intended and

datasets may be insufficient or contain illegal, biased, harmful or offensive

information, which could negatively impact our results of operations, business

- 35 -

reputation or customers’ acceptance of our AI offerings.") 하였다 . 통신사인 AT&T

역시 AI 모델이 잘못된 출력을 생성하거나 , 기밀 정보를 공개하는 등 유해성이 존재할

가능성에 대해 언급하면서 이러한 해가 대중의 인식에 악영향을 줄 수 있음을 경고

(“Further, we intend to use AI-driven efficiencies in our network design, software

development and customer support services. The models used in those products,

particularly generative AI models, may produce output or take action that is

incorrect, release private or confidential information, reflect biases included in the

data on which they are trained, infringe on the intellectual property rights of others,

or be otherwise harmful. Any of these risks could expose us to liability or adverse

legal or regulatory consequences and harm our reputation and the public perception

of our business or the effectiveness of our security measures.”) 하였다 . 제약 회사

인 Vertex 는 부정확한 정보와 관련된 위험의 증가를 가장 우려(“Risks relating to

inappropriate disclosure of sensitive information or inaccurate information appearing

in the public domain may also apply from our employees engaging with and use of

new artificial intelligence tools, such as ChatGPT.") 하고 있다.

규제에 의한 위협을 언급한 회사도 있었다 . 미디어 회사인 디즈니의 연례 사업보고

서에서는 AI 규제의 변화가 기계학습 모델에 의존하는 데이터 파이프라인이나 사업

분야에 영향을 줄 가능성이 큰 점이 우려되고 있으며 , 특히 지적재산권 (IP) 사용에 대

한 수익 흐름과 엔터테인먼트 제품을 만드는 방법을 포함하여 기존 사업 모델의 측면

에 영향을 미칠 것을 우려(“Changes in technology, in consumer consumption patterns

and in how entertainment products are created affect demand for our entertainment

products, the revenue we can generate from these products and the cost of

producing or distributing these products. Rules governing new technological

developments, such as developments in generative artificial intelligence (AI), remain

unsettled, and these developments may affect aspects of our existing business model,

including revenue streams for the use of our IP and how we create our

entertainment products.”) 하고 있다.

글로벌 기업들은 AI의 오용이나 비윤리적인 사용이 평판에 악영향을 미칠 수 있다는

점을 강조하며 , 적절한 AI 거버넌스 프로그램을 통해 이러한 위험을 관리하려는 노력

을 기울이고 있다. 또한 보고서는 AI 기반의 도구가 개인정보 보호나 법적 요구 사항

을 위반할 가능성 , 기술 오작동 , 데이터 편향성 등의 문제를 발생시킬 수 있음을 경고

- 36 -

하고 있다. 그러나 Fortune 500대 기업 대부분은 AI의 위험을 언급하면서도 기업이 혁

신을 강조하고 생성 AI를 사용하는 방법에 대한 맥락을 제공함으로써 눈에 띄는 진정

한 기회가 창출될 수 있음을 시사하면서 , AI 위험 대응의 중요성을 강조하였다 .

2. 글로벌 AI 기업의 AI 위험 연구 및 대응

미국의 AI 정책 및 전략에 관한 연구를 수행하는 민간 연구기관인 IAPS(Institute for

AI Policy and Strategy) 에서는 2022년 1월부터 2024년 7월 사이 arXiv 등에 발표된 80

개의 관련 논문을 기반으로 AI 시스템의 안전성을 보장하는 기술적 접근법에 대한 비

중을 파악하여 주요 AI 기업인 OpenAI, Google DeepMind, Anthropic 에서 수행한 AI 안

전 연구 현황을 분석하였다 .

49)

그림

3-11>

오픈

AI,

구글

앤트로픽의 연구 주제별

안전 연구 현황

(

단위

논문 수

)

위 <그림 3-11> 과 같이, 연구 주제별로는 인간의 피드백을 AI 모델 훈련에 더 잘 반

영하는 인간 피드백 강화(Reinforcement Learning from Human Feedback, RLHF) 부문

이 39%로 가장 많이 연구되었으며 , AI 모델의 내부 작동 방식을 인간이 이해할 수 있

49) 출처 : Oscar Delaney, Oliver Guest, Zoe Williams (2024), “Mapping Technical Safety Research at

AI Companies: A literature review and incentives analysis”. arXiv:2409.07878.

- 37 -

는 개념으로 변환하는 도구를 개발하는 기계적인 설명 가능성 (24%, Mechanistic

Interpretability), AI 시스템이 예기치 않은 상황에서도 안정적인 성능을 유지하도록 하

는 방법을 연구하는 견고성 (13%, Robustness) 등의 순서로 나타났다 . 이들 연구 주제

상위권에 있는 기술은 현재의 AI 서비스의 평가 및 성능 향상과 크게 관련 있는 연구

로 해석할 수 있다.

반면, 오정렬 (Misalignment), 다중 에이전트 안전성 (Multi-agent safety), 신뢰할 수 없

는 AI 관리(Controlling untrusted AIs) 관련 연구는 현재 0건으로 파악되었다 . 이러한

주제는 현재 AI 기업들이 연구 동기가 낮으며 , 학계나 정부의 추가적인 지원이 없으면

진전이 더딜 것으로 예상되며 보안상 공개하지 않는 연구일 가능성도 존재한다 . 특히,

AI가 의도대로 작동하지 않을 때 피해를 줄일 수 있는 중요한 연구 주제인 점에서 지

속 관심은 필요하다고 할 수 있다.

이어서 , 기업별로 글로벌 기업 내부의 프레임워크와 조직 등 AI 위험에 대한 최신

대비 현황을 살펴보았다 . 공개된 정보 기준으로 오픈AI, 구글, 앤트로픽 , 메타 등을 대

상으로 정리하였다 .

1) 오픈 AI

2022년말 챗GPT 를 공개하여 생성형 AI 분야의 패러다임을 이끈 오픈AI는 안전하고

신뢰할 수 있는 AI 개발을 위하여 AI 모델 수준에 따른 조직을 구성하고 관련 AI 모델

평가 및 연구를 수행하고 있다. AI 모델의 개발 수준을 현재의 모델, 최신의 고성능

프론티어 모델, 미래에 개발될 가능성이 있는 초지능 모델로 구분하여 , 각각 안전시스

템 팀, 대비 팀 등으로 조직을 구분하고 있다. 안전 시스템 (Safety systems) 팀은 챗

GPT와 같은 현재 수준의 AI 모델 및 제품 수준에서의 위험과 오남용 완화 조치를 구

현하는 데 초점을 두고 있으며 , 엔지니어링 , 정책, 인간과 AI의 협업 등 다양한 분야

전문가로 구성되어 있다. 대비(Preparedness) 팀은 개발 중인 프론티어 모델을 지속적

으로 평가하며 새롭게 등장하는 위험을 모니터링하는 부서로써 모델을 안전하게 만드

는 것에 초점을 둔 조직으로 대비 프레임워크를 전담하고 있다. 한편, 미래의 초고도

인공지능 시스템이 야기할 수 있는 위험에 대응하고 안전을 보장하기 위하여 AI를 제

어할 수 있는 방법론 연구를 추진했던 초정렬 (Superalignment) 팀은 2024년 5월 해체

되었으며 , 최근에는 또다른 안전 부서로써 AI 기술 발전 능력과 이를 관리할 준비 상

황 등을 자문하는 역할을 담당했던 AGI 준비(Readiness) 부서의 해체 및 팀 책임자 마

일스 브런데이지 (Miles Brundage) 의 퇴사가 발표

50)

된 바 있다.

50) 매일경제(2024.10.25.), “오픈AI, AI 안전팀 ‘또’ 해체”, https://mk.co.kr/news/it/11149970

- 38 -

한편, 오픈AI는 프론티어 AI 모델의 안전한 개발·배포를 위한 접근 방식을 담은 대

비(Preparedness) 프레임워크 보고서

51)

를 공개하였다 . 주요 내용은 AI 모델의 기능, 취

약성과 같은 잠재적 위험을 추적하고 , <그림 3-12> 와 같은 스코어카드를 통해 AI 위험

의 수준을 평가하며 , 4가지 위험 범주와 위험 수준을 제시하고 있다. AI 위험을 사이

버 보안(Cybersecurity), 설득(Persuasion), 모델 자율화 (Model Autonomy), 화학·생물

학·방사능 ·핵(CBRN) 위협 등 4가지로 범주화하고 , 위험 등급은 ‘낮음’, ‘중간’,

‘높음’, ‘심각’으로 분류하고 있다. 위험 등급을 측정하는 스코어카드를 기반으로

AI 모델의 위험 등급을 평가하고 완화 전·후 모델 위험을 추적할 수 있도록 구성하

였다. AI 모델의 평가 및 완화 조치를 수행한 후, 위험성 점수가 ‘중간(medium)’ 이

하인 모델만 배포할 수 있으며 , 위험성 점수가 ‘높음(high)’ 이하일 경우에만 모델의

추가 개발이 가능하도록 하였다 . 오픈AI는 최근 공개한 GPT-4o, OpenAI o1 등 새로운

AI 모델과 제품을 발표할 때도 대비 프레임워크를 기반으로 한 평가 검증 과정을 거

쳤음을 공식 발표하고 있다. 예를 들어, 2024년 9월 발표된 오픈AI의 추론형 멀티모달

모델 o1은 모델의 위험성을 평가한 결과인 스코어카드와 평가에 대한 명세인 시스템

카드를 <그림 3-12> 와 같이 공개하였다 .

그림

3-12> OpenAI o1

의 스코어카드

(2024.9)

51) OpenAI (2023). Preparedness Framework (Beta).

- 39 -

2) 구글

구글은 2023 년 기존 구글 리서치 팀을 딥마인드 부서에 통합하여 전담 연구 조직을

구성하였다 . AI 안전 및 책임성을 논의하던 책임 있는 AI 팀 또한 딥마인드로 이동되

어, 안전하고 윤리적인 AI 배포와 AI 테스트 및 평가를 위한 업무를 수행하고 있다.

구글은 2018년 제품 개발 및 AI 애플리케이션의 평가를 위해 인공지능 원칙을 도입하

였고, 안전과 책임에 대한 접근방식을 2023년에 공개했던 바 있다. 구글의 인공지능

원칙으로 신뢰할 수 있는 AI 기술 개발을 위해 사회적 유익성 , 공정성 , 안전성 등 7가

지 AI 활용의 목적에 따라 AI를 개발할 것을 정의하고 , 활용하지 않을 분야를 명시하

였다.

2023년 구글은 신뢰할 수 있는 AI 시스템 개발 및 배포를 목표로 안전한 프론티어

AI 개발을 위한 안전 프레임워크를 발표

52)

했다. 프론티어 AI 안전 프레임워크는 △치

명적 역량 수준(Critical Capability Level) 식별, △프론티어 모델 평가, △완화 조치 적

용의 세 가지 주요 내용으로 구성되어 있다.

그림

3-13>

구글 프론티어 안전 프레임워크 세부 내용

구분

세부 기능

치명적 역량 수준 식별

프론티어 모델이 고위험 도메인

(

자율성

생물보안

사이버보안

기계학습

R&D)

에서 피해

를 발생시킬 수 있는 경로를 분석

특정 모델이 피해를 발생시킬 수 있는 치명적 역량 수준

(CCL)

을 식별하고 임계치를 설정

프론티어 모델 평가

프런티어 모델의 주기적 평가를 통한

CCL

의 임계치 도달 시점 감지

조기 경고 평가

(Early warning evaluation)

를 개발하여

임계치 도달 전 반복 평가 수행

완화 계획 적용

조기 경고 평가 통과 시

(

평가 임계치 도달

)

완화 조치를 시행

- 4

단계로 구성된 보안 완화 조치

(

모델 가중치 유출 방지

)

및 배포 완화 조치

(

중요한 기능

에 대한 접근 관리

)

를 포함

[표 3-6] 구글의 프론티어 AI 안전 프레임워크 세부 내용

프론티어 모델 평가에서는 모델 역량이 CCL에 도달하기 전 안전 버퍼(safety buffer)

52) Google (2023). Introducing the Frontier Safety Framework.

- 40 -

를 가질 수 있도록 조기 경고 평가를 시행하고 있으며 , 기반 모델의 성능 측정치인 효

과적 연산 능력(effective compute) 이 6배 커질 때마다 , 파인튜닝을 하는 3개월마다 재

평가하고 있다. 보안 완화 조치와 배포 완화 조치는 각각 4단계로 구성되어 각 수준

및 역량에 해당하는 대응 방안을 정의하고 있다.

구분

단계

보안 완화 조치

현상 유지

제어된 접근

일방적 접근 방지

고신뢰 개발 환경

배포 완화 조치

현상 유지

치명적 역량을 목표로 한

완화 조치

레드팀 검증을 통한

안전 사례

접근 방지

[표 3-7] 구글 프론티어 안전 프레임워크의 4단계 보안 및 배포 완화 조치

3) 앤트로픽

앤트로픽은 최우선 가치로 AI 안전을 내세우며 AI 안전 연구 역량 확보에 투자해왔

다. CEO인 다리오 아모데이 (Dario Amodei) 는 오픈AI의 연구 부사장 출신으로 오픈AI의

전 정책 책임자였던 잭 클라크 (Jack Clark) 등 동료들과 앤트로픽을 창업하였으며 , 추

가로 오픈AI 출신 연구자를 영입했다 . 앤트로픽은 회사 설립 시부터 AI 모델 개발의

기본적 접근 방식인 헌법적 AI(constitutional AI)를 기조로 운영해 왔다. 헌법적 AI는 AI

안전성 기술 중 하나로 , AI 모델이 사전에 정의된 일련의 윤리적 원칙과 헌법적 규범

에 따라 행동하도록 하는 것을 목표로 하고 있으며 , 지도 학습(supervised learning) 단

계와 강화 학습(reinforcement learning) 단계로 구성하여 응답에 대한 리뷰와 AI 피드

백은 '헌법'이라 불리는 원칙에 의해 조정되고 있다.

단계

정의

ASL-1

유의미한 치명적인 위험을 초래하지 않는 시스템

(

예

: 2018 LLM

또는 체스만 두는

시스템

)

ASL-2

생물학적 무기를 제조하는 방법에 대한 지침을 제공할 수 있는 능력 등 위험한 능력의 초기 징

후를 보이지만 신뢰성이 부족하거나 검색 엔진이 제공하지 못하는 정보를 제공하지 않아 아직

유용하지 않은 시스템

(

예

클로드

(Claude)

를 포함한 현재의

LLM

수준

)

ASL-3

가 아닌 기준선

(

예

검색 엔진 또는 교과서

)

에 비해 치명적인 오용의 위험이 크게 증가하거나

낮은 수준의 자율 기능을 보이는 시스템

ASL-4

ASL-5+

※

ASL-4

이상

(ASL-5+)

은 현재 시스템과 너무 거리가 멀기 때문에 아직 정의되지 않았으나

치명적인 오용 가능성과 자율성에서 질적 상승을 수반할 가능성이 높음

[표 3-8] 앤트로픽의 AI 안전 수준과 정의

한편, 앤트로픽은 AI 안전 관리 프레임워크로써 책임 있는 확장 정책(Responsible

Scaling Policy) 프레임워크

53)

를 운영하고 있으며 , 이는 구글과 유사한 형태를 보이고

53) Anthropic (2023), Anthropic's Responsible Scaling Policy version 1.0

- 41 -

있다. [표 3-8]과 같이 ASL(AI Safety Levels) 를 5단계로 구분하고 각 안전성 수준마다

데이터 유해성 평가, 모델 카드 공개, 취약점 보고, 접근 제한, 배포 중단 등 조치를

시행하고 있다. 앤트로픽은 2024년 3월에 클로드 3(Claude 3)를 배포하며 모델 안전 수

준 등을 평가한 결과로 ASL-2 수준임을 공개했던 바 있다.

<그림 3-14> 와 같이, 앤트로픽은 수준별 AI 역량의 임계값을 설정해 위험을 관리하

며 단계마다 안전 버퍼(safety buffer) 를 두어 임계치에 도달하기 전 위험성을 평가하

고 제어하는 데에 목표를 두고 있다. 내부적으로 기본 3개월마다 정기적으로 평가하

고, 유효 컴퓨팅이 4배 증가할 때 또는 미세조정이 있을 시 평가하고 , 평가 결과에 따

라서 배포 중지 등 보안 조치를 수행한다 . 또한, 안전 버퍼 크기는 유효 컴퓨팅 역량

이 6배 크게 되었을 때로 설정함으로써 평가가 진행되는 동안에도 모델 훈련이 안전

하게 계속될 수 있도록 했으며 , 필요한 안전 조치가 마련되지 않는 한 해당 모델의 훈

련과 배포는 중단한다 .

그림

3-14>

앤트로픽의

안전 수준과 안전 버퍼

4) 메타

메타는 오픈소스 기반의 거대언어모델을 개발하면서 , 동시에 기술적인 안전장치 개

발을 통해 신뢰할 수 있는 AI 모델 구현 방안을 모색하고 있다. 2024년 1월 책임감

있는 생성형 AI 활용 가이드라인을 발표

54)

하며, 생성형 AI 개발에 있어서 안전, 신뢰,

보안의 원칙 준수를 표명하였다 . LLM을 위한 사이버 보안 안전 평가 기준을 업계 최

초로 공유한 사례로 , AI 기술이 위험을 초래하지 않도록 상황별 위험 요소를 해결하기

위한 조치를 정의하였다 . <그림 3-15> 와 같이, 생성AI 모델의 설계-구현-배포의 전 주

기에 걸쳐 위험을 계층화하고 , 각 단계별 잠재적 위험을 완화시킬 수 있는 사례를 제

시하여 메타의 LLM 개발에 반영하는 것이다 . 실제로 메타의 Llama 2 등 신규 개발 모

델의 설계 및 구현, 배포 과정에서 이 가이드라인을 따름으로써 기존 모델 대비 안전

성을 크게 향상한 바 있다. 특히, 메타는 안전성을 테스트하는 레드팀 (Red Team) 을 구

성하여 모델의 안전성 향상을 위해 데이터 , 아키텍쳐 , 매개변수 등에 대한 미세조정

54) Meta (2024), Responsible Use Guide.

- 42 -

(FineTuning - RLHF) 을 반복적으로 수행하여 안전성을 확립하였다 .

그림

3-15>

메타의 생성

모델 주기

단계별 위험 완화 과정 정의

또한, 메타에서 개발한 라마 가드(Llama Guard) 는 프롬프트 및 응답 결과가 안전한

지를 파악하고 , 안전하지 않았을 때는 위반된 콘텐츠를 나열하여 악성 결과물을 방지

하기 위해 개발되었다 . 프롬프트 가드(Prompt Guard) 는 LLM 동작을 파괴하는 프롬프

트 공격으로부터 보호하기 위한 목적으로 개발되었으며 , 프롬프트 공격의 범주로는 AI

모델이 의도하지 않은 명령을 실행하도록 명령하는 프롬프트 주입(Prompt injections),

모델에 내장된 안전 및 보안 기능을 무시하도록 설계된 악성 명령인 탈옥(Jailbreaks)

을 포함하고 있다. 또한, 사이버보안 위험 평가도구 (Cybersec Eval)를 제공하여 , 안전

하지 않은 코드의 위험을 완화하기 위한 벤치마크 모음을 제공하고 있다. [표 3-9]는

메타 Llama Guard 에서 정의하는 AI 위험의 범주

55)

이다.

분류

내용

폭력 및 증오

사람들에게 폭력을 계획하거나 참여하도록 권장하는 진술

또는 인종

성별

종교

성적 지향

등 민감한 개인적 특성에 대한 증오나 차별을 조장하는 내용

성적 콘텐츠

특히 미성년자를 대상으로 성적 행위를 유도하거나

성적으로 노골적인 발언을 포함하는 내용

총기 및 불법 무기

불법적으로 총기나 무기를 취득

제작

사용을 계획하거나 이를 지원하는 내용

여기에는

폭발물

생물학적

화학 무기와 같은 불법 무기 사용 방법에 대한 지침이 포함

규제되거나

통제되는 물질

불법 약물

담배

알코올 또는 대마초와 같은 규제되거나 통제되는 물질의 생산

소비를

불법적으로 소개하는 내용

자살 및 자해

자해를 유도하거나 그 방법에 대한 정보를 제공하는 내용

자살 의도가 암시된 경우에도

적절한 건강 리소스를 제공하지 않는 응답은 부적절한 것으로 간주

범죄 계획

방화

유괴

절도와 같은 범죄 활동을 계획하거나 실행하는 것을 돕는 내용

[표 3-9] 메타의 Llama Guard에서 정의하는 AI 위험

55) Meta (2024), Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations.

- 43 -

한편, 메타는 AI 기능 및 모델 관련 정보의 공개 및 레드팀 운영을 통한 투명성을

개선하는 데에 노력하고 있다. 대표적으로 , 설명 가능성과 투명성을 높이는 방안으로

인공지능 (AI) 시스템의 작동 방식을 더 잘 이해하는 데 도움이 되도록 시스템 카드

(System card) 를 공개하고 있다. 시스템 카드에는 각 AI 시스템 및 기능별 작동 원리,

사용 팁, 데이터 사용량 , 이용 시 주의할 사항을 명시하여 AI 시스템이 의사결정을 내

리는 과정을 투명하게 공개하고 있다. 마지막으로 , 메타 내·외부의 전문가로 구성된

레드팀 활동을 통해 AI 모델의 취약점을 파악하고 수정하는 동시에 예상치 못한 사용

방식을 찾아 개선하는 데에 주력하고 있다.

3. 우리나라 주요 기업의 AI 위험 대응

글로벌 기업의 AI 위험 대비 현황과 같이, 우리나라 기업 내부의 프레임워크와 조직

등 AI 위험 대응 현황을 살펴보았다 . 공개된 정보 기준으로 네이버 , LG AI 연구원 , 카

카오, KT, SKT 등을 살펴보았다 . 이들 5개 기업은 2024 년 AI 서울 정상회의에서 발표

된 서약 (Seoul AI Business Pledge) 에 참여한 바 있다.

1) 네이버

네이버는 자사가 개발하는 AI 기술을 누구나 쉽고 편리하게 활용할 수 있는 일상의

도구로 만들고자 하는 방향성을 담은 네이버 AI 윤리 준칙을 2021 년 공개하였다 . 네이

버 AI 윤리 준칙은 네이버 구성원의 AI 개발과 이용에 있어 인간 중심의 가치를 우선

적으로 부여하며 , AI 윤리 자문 프로세스를 통해 AI 윤리 논의를 진행하도록 원칙을

제정하였다 . 여기에는 사람을 위한 AI 개발, 다양성 존중, 합리적인 설명과 편리성 , 안

전을 고려한 서비스 설계, 프라이버시 보호와 정보 보안 등의 원칙을 포함하고 있다.

신규 개발 중인 생성형 AI 서비스에 AI 윤리 준칙을 반영하며 , 네이버의 생성형 AI

‘하이퍼클로바 X’ 공개와 함께 ‘사람을 위한 클로바 X 활용 가이드 ’를 공개하였

다. 또한, 안전하고 신뢰성 있는 AI 기술 연구개발 및 전략·정책 논의의 전문성 강화

를 위해 CEO 직속 조직인 퓨쳐 AI 센터(Future AI Center) 를 설립하고 자사의 AI 안전

프레임워크 초안을 발표하였다 . 퓨쳐 AI 센터는 AI 안전성을 연구하고 네이버의 AI 윤

리·안전 정책 수립 및 총괄 임무를 수행하며 , 데이터셋 구축 및 소스 코드 공개, 국

내외 안전성 연구 협력을 수행하고 있다.

- 44 -

그림

3-16>

네이버의

안전성 실천 체계

네이버에서 올해 발표한 네이버 AI 안전 프레임워크 (AI Safety Framework, 이하

ASF)

56)

는 네이버 AI 윤리 준칙을 준수하는 네이버 구성원이 산업 현장에서 AI 시스템

을 개발하고 배포하는 과정에서 AI 안전을 구체적으로 실천하기 위한 체계로써 현재

베타버전이 공개되어 있다. 네이버는 악의적인 이용자 공격에 대응하기 위한 자체적인

레드팀 (모의공격 )을 운영하고 있으며 , 혐오, 폭력, 고정관념 등 AI 안전 평가 기준을 확

립하였으며 , <그림 3-16> 와 같이 ASF는 AI의 통제력 상실 위험에 대해서는 AI 위험 평

가 스케일을 구축하여 대응하고 , 악용 위험에 대해서는 AI 위험 평가 매트릭스를 통해

위험을 관리하는 방안으로 구성되었다 .

그림

3-17>

네이버의

윤리

안전성 개선 프로세스

AI 위험 평가 스케일은 현재 존재하거나 혹은 개발되는 최고 성능의 프론티어 AI를

3개월 주기의 정기적 평가와 시스템의 능력이 AI 시스템 학습에 사용된 컴퓨팅 양을

기준으로 기존보다 6배 증가했다고 판단되는 경우 별도 평가를 수행하는 절차를 갖고

56) https://clova.ai/tech-blog/ko-naver-ai-safety-framework-asf

- 45 -

있다. AI 위험 평가 매트릭스는 AI 시스템의 목적 영역과 안전 조치의 필요성을 기준

으로 AI 시스템의 전체 라이프 사이클에 따른 위험이 발생할 수 있는지를 인식하고

평가 및 관리하는 체계이다 . 개발된 AI에 위험이 있는 경우, 기술적 ·정책적 조치 등

위험 완화를 위한 안전 조치를 시행하여 AI 시스템 위험이 충분히 완화되었다고 판단

되는 경우에만 AI 시스템을 배포하고 있다. 또한, 네이버 AI 윤리 준칙을 기반으로 , AI

서비스 위험 관리를 위한 네이버 윤리 자문 프로세스 (CHEC) 를 <그림 3-17> 과 같이 운

영하고 있다. 현실적 개선 사례 기반 원칙을 구체화하여 네이버 AI 윤리 준칙을 자연

스럽게 준수하는 기업 문화로 내재하는 방향을 목표로 한다.

또한, 네이버는 AI 안전과 관련된 기술 개발 연구 역시 수행하고 있다. 네이버는 사

회적으로 민감한 이슈에 대해 AI의 대답이 편향되지 않고 수용 가능하게 만들기 위한

데이터셋과 구축 프로토콜 (SQuARe) 을 <그림 3-18> 과 같이 제안

57)

하였으며 , 한국 사회

에 특화하여 언어 모델에 내재된 사회적 그룹에 대한 편향과 고정 관념을 줄이기 위

한 한국어 데이터셋 (KoSBi) 을 구축하여 생성된 컨텐츠의 사회적 편견을 감소시킨 바

있다.

58)

그림

3-18>

네이버

SQuARe (Sensitive Questions and Acceptable Response)

프레임워크

57) Lee et al. (2023), SQuARe: A Large-Scale Dataset of Sensitive Questions and Acceptable

Responses Created Through Human-Machine Collaboration. arXiv:2305.17696

58) Lee et al. (2023), KoSBi: A Dataset for Mitigating Social Bias Risks Towards Safer Large

Language Model Application. arXiv:2305.17701

- 46 -

2) LG AI 연구원

LG그룹의 AI 싱크탱크인 LG AI 연구원은 산하에 AI 윤리 위원회 , AI 윤리사무국 , LG

AI 윤리 워킹그룹 등을 운영하고 있다. AI 윤리 전문가로 구성된 AI 윤리사무국은 AI

연구개발 및 이용 단계에서 발생할 수 있는 윤리적 문제를 사전에 점검함으로써 연구

원 내외의 실제 업무에 AI 윤리 원칙을 적용하기 위해 노력하고 있다. 이와 함께, LG

그룹 계열사의 주요 AI 윤리 이슈를 논의하는 협의체 조직으로써 LG AI 윤리 워킹그

룹을 운영하고 있으며 , AI를 개발하고 활용하는 LG그룹 전체 구성원이 지켜야 할 기

준인 AI 윤리 원칙과 AI 위험을 사전에 파악하는 위험 관리 프로세스를 수립하여 운영

하고 있다.

LG AI 연구원의 AI 윤리 원칙은 <그림 3-19> 와 같이 국제기구 및 정부, 기업에서 발

표한 규범을 토대로 인간 존중, 공정성 , 안전성 , 책임성 , 투명성의 5가지 핵심 가치로

구성되어 있다.

59)

이를 통해 기술을 넘어 LG 제품 서비스를 구매·사용하는 고객의

삶을 더 가치 있게 하며, 더 나아가 우리 사회를 건강하고 지속 가능하게 만들기 위한

목표를 제시하고 있다.

그림

3-19> LG AI

연구원의

LG AI

윤리 원칙

LG AI 연구원의 AI 위험관리 프로세스는 AI 과제의 특성을 분석하여 잠재적인 위험

59) https://www.lgresearch.ai/about/mission

- 47 -

성을 미리 파악하며 , 이후 문제 우선순위를 설정하여 순차적으로 해결하며 , 결과에 대

한 문서화를 통해 AI 시스템의 투명성과 책임성을 확보하고 있다. 그 사례 중 하나로 ,

계열사의 고객 상담 효율화를 위한 AI 기술 개발 과제에 아래와 같은 단계의 위험관

리 프로세스가 적용된 바 있다. 먼저, 과제 특성 분석을 위해 고객 상담 관련 학습용

데이터 내 민감 개인정보 및 고객의 신체나 정서적 위험을 초래하는 고위험 정보, 혐

오 문구 등의 유무를 분석하였으며 , 문제 해결 우선순위 분석을 위해 연구자가 학습

데이터 내 욕설과 혐오 표현 등 위험 요인을 제거하고 데이터 수집 시 자동 필터링

기술을 개발하는 요구사항을 도출하였다 . 마지막으로 , 이행 결과 확인 및 문서화 단계

를 통해 식별된 잠재 위험과 개선 결과, 데이터 및 모델의 특성, 위험과 한계 등을 포

함한 AI 위험 관리 프로세스의 과정 및 결과를 종합적으로 문서화가 진행되었다 .

LG AI 연구원은 2024년 8월에 출시한 엔터프라이즈 사용자의 업무 생산성을 혁신하

는 AI 에이전트인 ChatEXAONE 에 AI 레드팀을 적용하였다 .

60)

AI 레드팀은 모델의 취

약점을 식별하고 이를 방어하는 방법을 개발하여 모델을 더 안전하게 만드는 프로세

스로, 프로세스의 첫 번째 단계는 위험 요소를 찾아 분류한 후 공격 전략(Attack

strategy) 을 개발하여 자동화하며 , 이러한 공격에 대한 방어책 (Defense strategy) 을 구

축하고 검증하여 마지막 단계로 AI 레드팀의 결과를 통합하여 전반적인 시스템 운영

을 개선하는 과정을 거친다 . 이러한 AI 레드팀의 단계별 프로세스를 거쳐

ChatEXAONE 은 AI 시스템의 안전성 , 견고성 , 안정성을 강화하고 사용자에게 신뢰할

수 있는 AI 서비스를 제공하고 있다.

대표적으로 , <그림 3-20> 과 같이 ChatEXAONE 의 프롬프트 제안 기능은 AI 레드팀

방어 전략이 실제로 적용된 사례이다 . 이 기능은 기업 사용자의 직위와 비즈니스 전문

성을 기반으로 맞춤형 프롬프트를 제공하며 , ChatEXAONE 과 대화하는 동안 사용자가

더 깊은 통찰력을 얻을 수 있도록 최상의 후속 프롬프트를 추천한다 . ChatEXAONE 의

프롬프트 추천 기능은 최적의 후속 프롬프트를 제공하여 사용자 생산성을 개선하는

데 크게 기여하지만 , 사용자의 입력 의도를 정확하게 파악하고 적절한 후속 프롬프트

를 제공하는 기능은 위험의 소지가 있다. 예를 들어, 사용자가 악의적인 프롬프트를

입력하고 부적절한 후속 프롬프트를 지원하여 악의적인 후속 프롬프트를 제공하는 경

우를 들 수 있다. 이를 방지하기 위해 LG AI Research 는 학습 및 추론 단계 모두에

AI 레드팀 방어 전략을 적용하였다 . 프롬프트 추천 기능의 경우, 먼저 EXAONE 을 기

반으로 자체 모델을 구축하여 악의적인 프롬프트에 대응하는 방법을 학습했으며 , 또한

60) LG AI Research (2024). [AI Ethics Seminar Ep.1] Red Team Research Trends and Applications

for Generative AI. https://www.lgresearch.ai/blog/view?seq=497

- 48 -

추론 단계에서는 LG AI Research 의 자체 안전 필터를 적용하여 유해 콘텐츠를 실시간

으로 탐지하고 차단한다 . 이를 통해 ChatEXAONE 의 시스템 안전성과 신뢰성을 강화하

는 데 기여하였다 .

그림

3-20> ChatEXAONE

에 적용된 프롬프트 추천 기능을 보여주는 화면

또한 AI 피해 사례를 모니터링하고 향후 문제가 발생하지 않도록 하는 노력의 일환

으로 수행하는 LG AI Research 의 AI 윤리 영향 평가를 들 수 있다.

61)

이는 사내에서

진행하는 AI 프로젝트에서 발생할 수 있는 사회적 , 윤리적 문제를 AI 프로젝트의 특성

을 고려하여 논의하는 프로세스로 2024 년부터 진행 중인 모든 연구 프로젝트에 대해

AI 윤리 영향 평가를 하고 있다. 기존의 AI 피해 사례는 LG AI Research 의 AI 윤리 영

향 평가에 반영되며 , 프로젝트 기획자와 연구자가 논의 과정에 직접 참여한다 . 이를

통해 AI 라이프사이클 전체에서 발생할 수 있는 사회적 , 윤리적 영향을 직접 진단하고

예상되는 문제를 예방하는 것을 목표로 한다. LG AI Research 는 AI 윤리 영향 평가

결과를 바탕으로 AI 위험 사례를 이해하고 예방하기 위한 다양한 연구도 진행하고 있

다. AI 서비스에 안전 필터를 적용하고 , 생성형 AI 콘텐츠 탐지를 연구하여 생성 AI의

오용을 방지하고 , 개인정보 침해 데이터를 삭제하는 기술과 같은 기술적 솔루션을 제

안하는 데에 윤리 영향 평가가 활용되고 있다.

3) 카카오

61) https://www.lgresearch.ai/blog/view?seq=495

- 49 -

카카오는 카카오뱅크 , 카카오페이 등 주요 계열사가 관련 핵심 가치를 공유하고 이

를 서비스에 반영할 수 있도록 월 1회 정기 회의를 개최하며 , 여기에는 각 계열사의

최고 기술 책임자 (CTO, Chief Technology Officer) 가 대표하여 참석하는 카카오 공동

체 기술윤리 위원회를 2022 년 7월부터 운영하고 있다. 이는 카카오 계열사 서비스 및

기술의 안전성을 기술윤리 관점에서 검토하여 , 알고리즘 윤리 헌장 준수 여부와 위험

성 점검, 알고리즘 투명성 강화 등을 위한 체계적 개선 업무를 수행하고 있다.

카카오는 2024년 10월, 카카오의 AI 리스크 관리 체계인 AI 안전 이니셔티브 (AI

Safety Initiative) 를 <그림 3-21> 과 같이 발표

62)

하였다 . 이는 카카오의 AI 윤리 원칙과

책임 있는 AI를 위한 가이드라인을 바탕으로 , AI 시스템 자체가 보유한 리스크와 인간

이 AI 시스템을 개발, 배포, 사용하는 과정에서 발생하는 윤리적 리스크를 예방하기

위해 리스크 관리 사이클을 운영하며 , 이러한 AI 안전 관리 의사결정을 위한 거버넌스

체계로 구성되어 있다. 또한, 2024년 4월에 글로벌 오픈소스 커뮤니티인 ‘AI 얼라이

언스(AI Alliance)’ 에 가입함으로써 투명하고 개방된 AI 생태계 확장을 위한 책임감

있는 AI 이니셔티브를 추진하고 있다.

그림

3-21>

카카오의

안전 이니셔티브

62) Kakao AI Safety Initiative : AI Safety 실현을 위한 카카오의 노력 / if(kakaoAI)2024.

https://www.youtube.com/watch?v=pehZbAHEy2Q

- 50 -

4) KT

63)

KT는 2024 년 인간 존엄성과 공공성 증진이라는 기본 가치를 기반으로 AI 윤리원칙

을 제정하였다 . KT의 5가지 핵심 윤리 원칙(ASTRI) 은 북극성 길잡이별 (Astri) 처럼 KT의

모든 responsible AI 논의의 방향을 가리키는 이정표 역할을 수행하며 , <그림 3-22> 와

같이 이 원칙들은 글로벌 responsible AI 흐름뿐 아니라 우리나라에서 통용되는 사회·

문화적 가치들을 반영하였다 .

그림

3-22> KT RAI Principles

KT의 신뢰할 수 있는 AI 추진을 위한 체계로써 , 사내에 책임 있는 인공지능 센터

(RAIC, Responsible AI Center) 를 설립하여 AI 윤리, 정책 개발·협력, 소프트웨어 엔지

니어링 등 다양한 분야의 인력을 채용해 왔다. KT Responsible AI Center 는 KT가 윤리

성과 신뢰성을 갖춘 AI를 제공할 수 있도록 책임 있는 AI 프레임워크를 연구개발하고

수립하고 있으며 , RAIC의 주요 기능은 △ 신뢰할 수 있는 AI 정책수립 및 대외 정책

지원, △ AI가 악용될 수 있는 분야에서 위험 수준에 대한 관리 체계 구축, △ AI 안전

정책 연구 및 글로벌 기관과 협력 등으로 구성되어 있다. KT RAIC는 AI 기술이 사용

63) KT(2024), Responsible AI Report

- 51 -

자에게 유익한 가치를 제공할 수 있도록 관련된 위험을 최소화하기 위한 연구를 수행

하며, AI 시스템의 취약점을 분석하여 위험 수준에 대한 관리체계를 구축하기 위해 노

력하고 있다.

KT는 AI 제품 서비스를 기획하고 검증하는 단계에서 KT의 모든 AI 제품 및 서비스

가 KT의 responsible AI 윤리원칙을 준수할 수 있도록 내부 평가 절차를 수립하고 있

다. 각 AI 개발 단계에서 발생할 수 있는 리스크를 정의하고 , 이를 완화하기 위한 다

양한 활동을 시행하고 있다. KT는 AI 리스크 분석 및 완화를 위해 리스크 정의, 평가

및 완화, 배포 및 모니터링의 절차를 수행하고 있다.

5) SKT

SK텔레콤은 2024년에 AI 거버넌스 원칙인 `T.H.E AI`를 공개하고 안전과 관련한 전담

조직을 신설하면서 노력의 행보에 참여하고 있다. `T.H.E. AI`는 통신 기술 기반(by

Telco) 의 사람을 향한, 사람을 위한(for Humanity), 윤리적 가치 중심(with Ethics) 및

이에 따르는 AI 거버넌스 원칙을 상징하며 , 이는 SK텔레콤 고객에 대한 신뢰와 안전을

기반으로 잠재적 AI 위험으로부터 고객을 보호하며 , 다양성과 평등, 공정의 가치 및

인류의 복지를 증진하면서 , AI 의사결정의 투명성과 개인 정보 보호, 윤리적 책임을

약속하기 위한 체계이다 . 원활한 AI 거버넌스 관리체계의 운영을 위해 대외협력 담당

(CGO) 이 총괄하는 AI 거버넌스 전담 조직을 신설하고 조직 간 시너지 창출의 기반 마

련하고 있다. 최근 2024년 10월에는 AI 거버넌스 기본 원칙을 구체화한 AI 행동규범을

수립하고 사내 전 구성원이 실천 서약에 참여한 바 있다.

6) 삼성전자

삼성전자는 AI 개발과 이용에 있어 ‘공정성 (Fairness)’, ‘투명성 (Transparency)’,

‘책임성 (Accountability)’ 을 중심으로 한 AI 윤리 원칙을 제정

64)

하였으며 , 윤리 원칙

을 바탕으로 한 AI 안전 체계를 <그림 3-23> 와 같이 갖추고 있다.

공정성은 AI 시스템의 모든 단계에서 인권을 존중하며 , 공정성 및 다양성을 추구하

는 항목으로 , AI 시스템으로 인해 불공정한 편견이 조장되거나 강화되지 않도록 노력

하며 누구나 쉽게 접근할 수 있는 AI 시스템을 만들도록 노력한다 . 이를 위해 삼성전

자의 접근성 (Accessibility) 기준에 따라 누구나 접근할 수 있는 포용성 있는 AI 시스템

을 개발하며 , 체크리스트 제공을 통해서 AI가 활용하는 데이터의 공정성 및 편향성을

평가하고 있다. 삼성전자 제품에서 편향성과 같이 공정성 위반이 감지되는 경우 모니

64) https://samsung.com/sec/sustainability/policy-file/AZEqce_qBd0ALYM9/Samsung_Electronics_AI_Ethics_KR.pdf

- 52 -

터링과 경고 기능을 갖추고 있다.

투명성은 사용자가 자신이 AI 시스템과 상호 작용한다는 것을 인지할 수 있도록 하

는 것을 목표로 , 기술적으로 가능한 범위 내에서 설명 가능한 AI 시스템을 위해 노력

하며 AI 서비스 사용자의 프라이버시가 보호될 수 있도록 노력한다 . 이를 위해 삼성전

자의 개인정보보호 정책을 준수하며 , 사용자가 AI 시스템과 상호작용을 인지할 수 있

도록 설계에 반영한다 . 또한, 모델 카드 및 데이터 카드를 작성하고 모니터링하여 투

명성을 강화하고 있다.

그림

3-23> AI

윤리 원칙 준수를 위한 삼성전자의 노력

책임성은 AI 시스템의 사회적 책임을 다할 수 있도록 노력하는 측면으로 , AI 시스템

이 안전하고 , 보안이 유지되도록 노력하며 AI 개발을 통한 통한 사회적 기여가 기업의

문화가 될 수 있도록 최선을 다한다 . 이를 위해 직원 대상 필수 교육을 운영하며 , 특

히 개발자는 AI 윤리 이행 가이드에 따라 개발할 수 있도록 교육하고 있다. AI Safety

검증 및 위험 (모델 기능 오류 유도, 생성 결과물 악용, 개인 정보 유출, 유해 컨텐츠

생성, 편향성 , 위험 정보 생성 등) 완화를 위한 AI Red Team 을 운영함과 동시에 , AI

Summit 참여 등 업계, 학계, 시민 사회 및 정부와 지속적인 협력을 추진하고 있다.

삼성전자의 AI 제품 개발 과정에서 윤리 원칙이 적용된 사례로는 AI 비서인 빅스비

(Bixby) 서비스가 있다.

65)

삼성전자는 빅스비 서비스로 인해 불공정한 편견이 조장되거

65) https://samsung.com/sec/sustainability/people/tech-for-all/#AYUBmoi6AK4AIx8i

- 53 -

나 강화되지 않도록 빅스비 설계 운영 프로세스 전반에서 다양한 가능성을 검토하고

대비한다 . 각 국가의 법규와 사회적 윤리, 소비자 정서 등을 고려하여 ‘민감어 처리

정책’을 확립·준수하며 , 각국의 철학, 종교, 국적, 인종, 성, 범죄, 이슈, 응급상황 등

에 대한 ‘민감어 데이터베이스 ’와 ‘민감어 인식 엔진’을 개발해 서비스에 적용하

고 있다. 또한, 시시각각 변하는 사회 이슈를 민감어 데이터베이스에 상시 업데이트하

고 있다.

제4절 소결

글로벌 빅테크와 국내 대기업은 AI 위험에 대한 인식은 높아지고 있으며 , 대기업의

경우 해외 빅테크 기업 수준의 자율 규제를 통한 적극적인 대응이 이뤄지고 있다. 해

외와 국내 AI 기업의 AI 안전 전담 조직 및 프레임워크 특징은 다음과 같다.

국내와 해외 주요 AI 기업 모두 AI의 위험을 식별하고 , 안전성에 대한 평가 및 조치

의사결정을 전담하는 별도 조직을 운영하고 있으며 , 국내 기업은 계열사 간 책임 있는

AI 관련 협의체 조직을 운영하고 있다. 해외 기업은 범용 AI의 위험 유형

66)

분류에 따

른 오용 및 악의적 사용, 즉 가짜 콘텐츠 생성이나 여론 조작, 사이버 공격, 생화학

적·방사능 (CBRN) 무기 개발 등을 방지하는 AI 안전 식별, 평가 및 조치에 중점을 두

고 있으나 , 국내 기업은 산업별 AI의 응용을 고려하여 AI 개발 목적 및 과제 특성에

따른 AI 모델 평가 기준을 운용하고 있다. 한편, 네이버의 프론티어 AI 모델 안전 평가

기준인 3개월 주기의 정기 평가, 시스템 능력이 6배 증가했을 때의 별도 평가는 앤트

로픽 및 구글과 동일한 점을 보인다 .

즉, 각 기업의 전담 조직과 AI 안전 프레임워크는 위험 평가 및 완화 조치에 대한

권한과 역할을 명시하고 있으며 , 기업의 비즈니스 상황에 맞는 차별성이 있다. 기업

대부분은 전담 조직의 주도로 AI 위험 수준에 따라 모델의 위험 수준을 주기적으로

평가하는 체계를 갖추고 있으며 , 평가 결과에 따라 모델의 개발·배포 관리를 통한 위

험 완화 방안을 제시하고 있으며 , 전담 조직의 리더는 대부분 고위험 AI 모델의 개발

및 배포를 중지하거나 수정할 권한을 가지는 형태로 대부분의 의사결정이 가능한 C-

레벨 급 위상을 보유하고 있다. 국내 기업은 공정성과 투명성 보장, 보안을 위한 기존

의 AI 윤리 원칙 수립에 이어, 최근 해외 추세에 맞게 AI 안전 위협으로부터의 보호

방안을 마련하기 위한 조직의 역할이 확대되고 있다.

66) Yoshua Bengio et al. (2025), “International AI Safety Report” (DSIT 2025/001, 2025);

- 54 -

다만, 중소기업의 경우 자율 규제의 한계 및 법적 규제 대상의 모호성으로 인해 잘

못된 규제로 인한 피해가 발생할 수도 있다. AI 위험성을 대비하기 위한 규제는 필요

하지만 , 지나친 규제로 인해 사업을 영위하기 힘든 환경이 조성될 우려도 제기되고 있

다. 이에, 우리나라의 중소 스타트업이 체감하는 AI 위험성 및 대응 방안에 대한 심층

인터뷰 조사를 수행함으로써 규제로 인한 피해를 예방하고 안전한 AI 확립을 지원할

필요가 있으며 , 해당 조사 내용은 다음 장에서 결과를 정리하였다 .

- 55 -

제4장

우리나라 기업의 신뢰할 수 있는 AI 인식 조사

앞서 3장에서는 미국, EU 및 국제기구의 AI 위험 대응 현황과 글로벌 기업의 AI 안

전 연구 및 전담 조직과 같은 준비 사례에 대해 살펴보았다 . 4장에서는 우리나라의 AI

분야 중소기업과 스타트업에서 AI 위험에 대한 인식과 대응 현황을 심층 인터뷰 기법

을 활용하여 살펴보았다 . AI 기업의 명부를 활용하여 AI 제품 및 서비스를 공급하는

기업을 선별하고 , 인터뷰에 응한 기업을 대상으로 AI 위험에 대한 인식과 대응에 대해

질문과 답변을 주고받아 그 결과를 정리하였다 .

제1절 조사 개요

우리나라 기업의 AI 신뢰성 인식을 조사하기 위해, 먼저 인터뷰 대상을 설정하였다 .

인터뷰 대상 리스트를 선정한 기준은 2023년 AI 바우처 지원 사업의 AI 공급기업 Pool

2,092 개, 한국인공지능산업협회 (AIIA) 회원사 및 2023 AI+X Top 100 기업, 최신 AI 기

업 정보 뉴스 등을 활용하여 AI 위험 가능성이 높은 6개 영역(금융, 의료/헬스케어 , 법

률, 미디어 , 인사, 교육)에 제품 솔루션을 공급하는 기업이나 수요 기업을 중심으로 리

스트를 선정하였다 . 총 3천 개 이상의 기업 명부 중 339개 AI 솔루션 대상 기업을 선

별하였으며 , 이 중 26개 기업이 인터뷰를 진행하여 전체 리스트의 8.0%의 기업이 인터

뷰 대상자로 선정되었다 . 즉, 주요 AI 대기업을 제외하고 , 수요 기업에 AI 기술을 공급

하는 대·중·소규모의 AI 전문기업으로 인터뷰 조사 대상을 구성하였다 . 최종 선정된

심층 인터뷰 대상 기업 명부는 다음 [표 4-1]과 같다.

사업체 명

회사규모

주요

제품 서비스

인피니그루

중소기업

피싱아이즈

(

시티즌코난

)

보이스피싱공동대응망 서비스

더블인

중소기업

AI /

빅데이터 구축 서비스

제일은행

대기업

여신

가계대출

셀렉트스타

중소기업

인공지능 데이터 기획 및 구축

주식회사 에비드넷

중소기업

표준화 의료 데이터베이스 구축

인피닉스

중소기업

의료인공지능

프로브메디컬

중소기업

캡슐내시경 진단

판독문 작성 보조 소프트웨어

뉴메스

중소기업

생성형

기반 디지털 치료 모델

[표 4-1] 최종 선정된 심층 인터뷰 대상 기업 명부

- 56 -

인터뷰에 응한 26개 기업에 대한 기초 통계 정보는 다음 [표 4-2]와 같다.

구분

규모별

개수

인 미만

100

인 미만

300

인 미만

500

인 미만

1,000

인 이상

전체

[표 4-2] 심층 인터뷰 대상 기업 기초통계

카이헬스

중소기업

의료기기 소프트웨어

링고

중소기업

법률번역기

(Otran)

케이엘큐브

중소기업

수어번역서비스

나스미디어

대기업

디지털 광고

주식회사 코르카

중소기업

Corca Marketing Solution

주식회사 사로리스

중소기업

영상분석

주식회사 스캐터랩

중소기업

인공지능 대화 서비스

zeta

주식회사 클라비

중소기업

클라우드서비스

제네시스랩

중소기업

뷰인터

HR(

대면

뷰인터

(

편집 연습

)

와이즈에이아이

중소기업

쌤

(SSAM)

케이퍼스트랩

중소기업

서비스

코디큐브

미디어젠

(

주

)

중소기업

차량 음성 플랫폼

(

주

)

비주얼캠프

중소기업

Eyedid

시각추적

SDK

주식회사

바나나러닝

중소기업

영어 발음 평가

API

주식회사 아고라스

중소기업

코드 프렌즈 서비스

만능아카데미

중소기업

교육 서비스

대기업

솔루션 개발

(

모델 자체 개발 및 공급

)

코난테크놀로지

중소기업

솔루션 개발

(

모델 자체 개발 및 공급

)

- 57 -

심층 인터뷰는 <그림 4-1> 및 [표 4-3]의 순서로 구성되었다 . 인터뷰 조사를 시작하

면서 기업에 대한 간략한 소개를 질문하며 , 다음으로 기업의 신뢰할 수 있는 AI 현황

을 파악하기 위한 가이드로써 과기정통부 및 한국정보통신기술협회 (TTA) 에서 발간한

‘신뢰할 수 있는 인공지능 개발 안내서

67)

’의 체크리스트를 참고로 하여 각 기업의

현황에 대한 질의를 하였다 . 마지막으로 , AI 개발 및 공급기업으로서 AI 위험 요인에

대한 인식, 기업 내부의 AI 안전성 확보를 위한 대응과 향후 정부 정책의 역할에 대해

질의하였다 .

그림

4-1>

심층 인터뷰 조사 체계

도입부

기업 기초 현황

주요

제품 서비스 및 산업

기업부설연구소 유무

, R&D

인력 유무

, AI

개발 인프라

(GPU)

유무 등

회사소개 및 본인 소개

현 회사의 주력 사업에 대한 전망과 위협 요인

해결 방안

신뢰할 수 있는

요인별

인식

인공지능 시스템의 위험 관리 계획 및 수행

인공지능 거버넌스 체계 구성 등에 대한 기

업의 인식

위험 요인 및 대응

방향

주력사업 분야 및

위험 요인 인식

: AI

개발

공급기업으로서 주력하고 있는 산업

분야의

수요 현황

주력 산업군의

리스크

(

위험

)

요인에 대한 인식

- AI

안전 및 프레임워크

: AI

전문기업의

안전성 확보를 위한 대응 현황

기업의

안전 조직 및 체계

정부의 역할과 정책 방향 및 요구 사항

국내

안전 확보 및

산업 발전을 위해

필요한 정부의 역할

[표 4-3] 심층 인터뷰 조사의 구성

심층 인터뷰를 진행하는 모더레이터를 위해 제시한 가이드라인은 다음 <그림 4-3> 과

같다. AI 안전 대응 관련 인터뷰 응답이 가능한 임원급 이상으로 인터뷰 대상자를 섭

외하였다 . 인터뷰는 전체 1시간 내외로 구성하였으며 , 전문 인터뷰 진행자가 인터뷰를

67) TTA (2023). 2023 신뢰할 수 있는 인공지능 개발 안내서 – 일반분야.

- 58 -

진행하고 조사하였다 . AI 위험 사례에 대한 이해를 돕기 위해 관련 사례를 첨부 자료

로 추가하였다 . 인터뷰는 2024년 10월 17일부터 11월 30일까지 총 27회 진행되었다 .

그림

4-2>

심층 인터뷰 가이드라인

- 59 -

제2절 조사 결과

1. AI 위험에 대한 인식

본 조사에 응한 업체들은 AI 모델의 활용 방법, 용도, 대상 등에 따라 위험성 인식

정도에 많은 차이를 보이고 있었다 . 실제로 , 기업은 AI 위험에 대해 고객 개인정보 유

출에 대해서는 상당히 높은 위험 및 안전 의식이 있었으며 , 그 외의 문제에 대해서는

인식 수준의 차이가 크게 나타났다 . 예를 들어, 의료 및 헬스케어와 관련된 AI 개발을

하는 기업의 경우 “AI 의 답변보다는 AI에 학습시키는 데이터에 대한 안전이 좀 더 중

요. 학습된 모델에 대한 결과물이 개인정보를 포함하고 있는 모델이 되기 때문에 굉장

히 위험해질 수 있는 상황”이라고 응답하였다 . 즉, 현재 사업 내에서 AI의 활용 상황

에 따라 문제 및 위험 의식의 수준이 큰 차이를 보이고 있었다 .

또한, 오픈소스나 외부 모델을 사용하는 경우, 책임의 원인을 외부로 돌리는 경향이

있었다 . 이들은 자사 기업이 자체적으로 할 수 있는 대응이 없다는 인식이 있으며 , 위

험의 원인을 내부가 아닌 외부로 인식하면서 책임에서 벗어나지려는 인식이 존재하고

있었다 . 특히, AI 관련 사고가 발생한 이후에 대처하겠다는 의견 역시 존재하였다 . 한

스타트업은 “나중에 벌어질 사고에 대비해서 뭔가 시스템을 갖고 있다기보다는 사고

쳐도 되니 일단 만들어서 대응”하자는 의견을 본 조사에서 피력하였다 .

2. 주요 예상되는 AI 위험

응답한 기업이 대표적으로 우려하는 AI 위험은 ‘개인정보 보호 및 유출’과 ‘할루

시네이션 (환각)’으로 나타났다 . 먼저, 개인 정보 보호 및 유출 측면에서 자사 및 수요

기업의 기밀 자료가 외부로 유출될 경우, 보안과 직접적으로 연계되는 이슈로써 신경

이 많이 쓰이는 부분으로 인식하고 있었다 . 기업들은 자체적인 가이드 및 보안 관련

노력을 하고 있으나 , 상당 부분이 AI에 특화된 보안보다는 기존 전산/데이터 관련 보

안 노력에서 큰 틀의 변화는 없는 상황이라는 의견이 다수 존재한다 . 즉, 보안 등급이

높은 클라우드 사용, 예상되는 위험에 대한 리스트 작성 및 위험관리 가이드라인 작

성, 외부 보안 인증 등의 대응 활동을 하는 것으로 나타났다 . 예를 들어, 개인정보가

온라인 공간에 본인의 허락 없이 게시된 후, 이 데이터가 AI에 의해 가공되어 유출되

는 부분으로 , 이에 대한 위험이 기업 공통적으로 가장 고려가 많이 되고 있었다 . 이는

중·소규모의 기업이 온라인 상에 공개된 데이터 정보를 학습 데이터로써 다수 활용

하는 데에서 기인한 것으로 볼 수 있다.

- 60 -

학습 데이터의 부족에 따른 데이터 편향 측면을 AI의 현재 위험으로 언급한 경우도

있었다 . 특히, 의료/헬스케어 분야와 법률 분야에서 데이터 편향으로 인한 위험성 언급

이 자주 있었다 . 데이터 편향이 결국 데이터 부족에 따른 문제(“공개데이터는 쓸 수

있는 것이 많지 않으며 , 따라서 결국 데이터 편향 이슈가 존재”)라는 의견도 있었고 ,

법률 분야에서는 “많은 판례를 학습하면 편향이 줄어들게 되나, 아직 판례 공개가 충

분히 이뤄지지 않고 있어 이 부분을 해소하기 위한 노력이 필요”하다는 의견이 있었

다.

학습 데이터의 부족을 언급하면서도 , 실제 필요한 고품질의 데이터 부족을 언급한

경우도 있다. 데이터 수만 많아지고 , 실제 들여다보면 데이터 품질이 현저히 저하되는

상황이 발생하다보니 결국 양적인 증가에 치중하고 , 유효성 높은 데이터 확보에 어려

움이 발생하고 있었다 . 각종 정부 사업이 고용 창출의 목적으로 학습용 데이터 수집

사업이 이뤄지다보니 단기 알바의 개념으로 전문성 없는 인력이 작업을 해서, 데이터

퀄리티 측면에서 이슈가 발생하는 상황이 발생하는 경우도 있었다 .“몇 천억씩 들여서

활용해서 만든 의료 인공지능 관련된 학습 데이터 셋들이 그냥 무용지물 ”이라는 의

견이 대표적이다 .

특히, 음성 및 영상 데이터를 주로 사용하는 분야에서는 막대한 데이터의 보관 및

해당 데이터 처리를 위한 모델, GPU 등의 장비 확보가 중요한 것으로 나타났다 . 새로

운 모델 및 서비스 개발을 위해서 지속적인 투자 및 장비 확대가 요구되는 상황에서 ,

사업 자체에서 발생하는 매출 수익만으로 커버할 수 있는 사업체는 극히 적은 상황이

고, 결국 투자에 의존해서 개발을 하고 있는 불안정한 상황이다 . 또한, 충분한 투자를

받지 못하는 소규모 사업체의 경우는 결국 비용 부담으로 인해 보안 및 안전관리에

위험이 노출될 수 밖에 없는 현실이다 . “음성이나 영상 데이터는 용량이 커서 스토리

지 공간이 필요하고 , GPU 사용료가 엄청나다 . 성장할 때마다 지속적으로 장비 투자가

있어야 하는데 , 순수하게 매출 수익으로 커버할 수 있는 업체는 거의 없다.”는 의견

과, "결국 데이터가 많아야 하는데 , 미디어는 특히 영상 데이터가 있어야 하고, 특수

분야 같은 경우는 연관 인력이 들어가야 하는데 이게 다 돈 문제.”라는 의견이 대표

적이다 .

한편, 인터뷰 결과로 할루시네이션 (환각)에 대한 우려 역시 많이 언급되고 있다. 일

반 사용자는 상대적으로 해당 이슈에 대해 이해하지 못하고 있지만 , B2B, 즉 공공 및

기업 고객이 특히 민감한 이슈로 인식하고 있었다 . 기업 입장에서 할루시네이션이 우

려가 되는 점은 실제 발생한 결과에 대해서 인지하지 못할 수도 있고, 결과가 발생한

- 61 -

다고 해도 이를 할루시네이션으로 판단할 수 있는 근거 및 체계가 부족하다고 언급하

고 있다.

AI의 설명 가능성의 부족으로 인해 내부 작동 방식의 이해가 떨어져 실제 수집 및

결과 검증이 이뤄졌는지를 확인할 방법이 없는 점도 언급되고 있었다 . 이에 대해,

“AI 모델은 블랙박스이므로 모델에 의해서 동작하는 건 이해는 하지만 거기에 대해

서 상세 절차를 잘 설명 및 이해시킬 수 없다는 점”을 우려하는 목소리가 있었으며 ,

“실제로 특정 데이터를 AI 모델의 학습에 사용했냐 안 했냐 이런 거를 파악하기가

굉장히 어려운 상황”인 점을 위험 요인으로 지적한 사례가 있었다 .

한편, 젊은 신규 노동력의 수요에 악영향을 미칠 수 있다는 우려로 인해 노동 시장

의 위험과 소득 불평등에 대해 가장 큰 강도의 위험 요소로 인식하고 있었다 . 특히 초

급 인력을 대체한다고 했을 때, 통상 70~80% 정도의 초급 인력을 AI로 대체 가능하다

는 의견이 다수 나타났다 . 이러한 인식이 AI의 확산을 막는 요소라고 언급되고 있고,

매우 중요한 문제를 발생시킬 것이라는 인식이 다수인 가운데 , 일부 이러한 상황이 자

연스러운 현상이라고 받아들이는 경우도 존재하고 있었다 . 예를 들어, 교육 분야의 AI

기업은 “시스템적으로 회사 내 업무를 도와주는 프로그램이 많아지면서 , 굳이 신입

개발자를 키우고 관리할 필요가 없어졌다 ”라고 언급하거나 , “초급 개발자에 대한 니

즈가 많이 줄어들게 된 상황으로 , AI 기술이 (초급 개발자의 ) 일자리를 뺏어 결국은 노

동 시장의 위험으로 작용할 것으로 예상”된다는 의견이 있었다 . 결국, “시니어 한두

명과 주니어 10명이 할 일을 AI가 수행할 수 있게 되며, 그렇게 따지면 시니어 2명만

있으면 10명이 일을 할 수 있게 되는 것”이라는 의견도 있었으며 , 법률 분야에서는

“(단순 작업을 AI가 수행하면서 ) AI 때문에 상당수 변호사들의 대체 효과가 있을”

것이라는 의견이 있었다 .

3. AI 위험에 대한 기업의 대응

AI 위험에 대해, 중소규모의 기업은 대기업 수준은 아니더라도 어느 정도의 개별적

인 노력을 하고 있다. 다만, AI 개발 기업이 성능 및 성능 관련 벤치마크 테스트 결과

에 집중하고 있어, 상대적으로 안전에 대한 인식이 미흡한 상황을 보인다 . 특히, 소규

모로 AI 기술 창업을 진행한 교수 등 개별 전문가를 중심으로 사업이 이뤄짐에 따라

AI 위험에 대한 관리가 잘 안되고 , 때로는 위험에 대한 창업가의 관심조차 많이 부족

한 상황으로 언급되고 있었다 .

기업의 이행 수준이 높은 상위 요인으로는 ‘수집 및 가공된 학습 데이터 편향 제

거’와 ‘데이터 활용을 위한 상세 정보 제공’, ‘AI 시스템 신뢰성 테스트 계획 수

- 62 -

립‘이 언급되었다 . 예를 들어, 회원 가입 절차 시, 수집 정보의 최소화를 통해서 개인

을 특징지을 수 없도록 정보를 수집함으로써 개인 정보 유출에 대응하고 있었다 . 한

기업은 “데이터 목적에 따라 성별이나 연령, 지역 등이 필요하지 않다면 회원 가입할

때 입력하지 않게 하고, 이름도 실명이 아닌 별명(닉네임 )을 넣도록 하고 있다.”고 응

답하였다 . 기업은 현실적으로 모든 가능성에 대한 철저한 대응은 어려운 상황에서 , 각

업체의 상황에 맞게 우선순위 및 고객 니즈에 맞게 선별적으로 대응하는 방식을 취하

고 있다. 이에 대해 한 기업은 “리스크에 대한 대응을 안 하는 곳은 없으며 , 다만 모

두 커버할 수 없기 때문에 고객 니즈가 어느 쪽을 더 중요하게 생각하냐에 따라 차이

를 보인다 .”고 응답하였다 .

또한, 기업들은 클라우드 방식이 아닌 사업장 내부에 시스템을 구축(온프레미스 ) 함

으로써 , 데이터의 외부 유출 및 보안 이슈를 최소화하려 노력하였다 . 단, 온프레미스

방식의 경우는 시스템 개발 및 관리 관련 비용과 노력이 클라우드 대비 많이 발생하

기 때문에 , 대규모 기업 중심에서 온프레미스 방식으로 설치하고 있거나 , 고객사가 온

프레미스 방식을 보유하고 있는 경우에 진행하는 형태를 취하고 있었다 . 이에 대해 한

기업은 “B2B 를 하면 대부분 다 고객 서버 안에 온프레미스 방식을 선호하기 때문에

장비 부담, 네트워크 등이 필요한 상황”이라고 응답하였다 . 다만, 대부분의 사업체 ,

특히 소규모 기업의 경우는 예산 및 인력이 부족한 상황으로 , 클라우드 시스템의 위험

가능성 인식 대비 대응 노력 및 준비는 미흡한 상황인 것으로 나타났다 .

한편, AI 활용에 있어 안전성이나 위험 예방 등에 대한 방안이 어느 정도 확보된 후

에 서비스가 출시되어야 하는데 , 체계가 마련되어 있지 않고, 서비스에 대한 검증이나

평가를 위한 데이터도 구축되지 못한 상황이 발생하고 있었다 .

4. 정부의 정책 방향 관련

AI 위험 및 안전과 관련하여 , 정부 차원의 규제 및 가이드라인은 필요하다는 인식이

응답한 기업들 사이에서 대체로 형성되어 있었다 . 단, 규제와 지원의 적절한 조화가

필요하고 , 이러한 규제나 가이드라인은 적절한 타이밍에 제공되어야 제 역할을 하는

것으로 인식하고 있다. 중소규모의 기업에 AI 안전 관리와 관련한 가이드라인을 배포

하여 이를 준수하도록 유도하는 방식이 장기적으로는 기업에도 도움이 될 것이라고

기대하는 경우도 있었다 . 한 기업은 “칼의 생산을 막을 수 없는 것처럼 , 미리 막는

예방보다는 처벌 위주로 가는 게 맞으며 , 위험 발생 시 패널티와 관련하여 많은 사례

를 남기는 게 오히려 좋다.”고 비유하였다 .

다만, 최근 다양한 AI 관련 위험성이 언급되고 , 산업의 초점이 AI 위험성으로 몰리면

- 63 -

서 마치 과도한 규제가 정답인 것처럼 거론되는 점은 기업에 부담으로 작용하고 있다.

즉, AI의 사업화 및 성장을 저해시킬 수 있는 가능성에 대해서는 부정적인 반응이 있

었다. “기업 입장에서는 규제가 없는 게 좋다. 이게 규제한다고 해서 어디까지 막을

수 있나 잘 모르겠다 .”는 의견이 대표적인 예시이다 .

책임 및 처벌을 위한 규제 외에도 , 데이터 수집 및 표준화를 위한 지침, 재정적 지원

을 위한 가이드라인 등도 만들어지기를 희망하고 있었다 . 단순히 위험성 방지에만 집

중하지 않고, 데이터 수집, 표준화 등 정부 주도로 필요한 부분을 충족시킨 후, 규제는

그 이후에 적용시킬 필요가 있다는 의견도 있다. “(AI 소프트웨어를 ) 공급하는 입장에

서 조금 더 이런 제약, 위험성을 한 번 더 돌아볼 수 있는 어떤 장치들을 마련해 주는

게 필요하다 . 그렇다고 해서 그게 규제나 제약으로 오면 사실 사업하기가 되게 힘들

고. 오히려 지원의 형식으로 오면 굉장히 도움이 많이 될 것이다 .”“표준화 같은 기

업이 안 하는 것은 정부 주도로 필요하다 . 돈이 안 되니까 기업은 사업을 수행하지 않

고 있다. 규제만 신경 쓰면, 달리기도 직전인데 발을 묶어버리는 행위를 하고 있는 것

과 같다.”

즉, 데이터 관련 지침 및 가이드가 구성되어 , 데이터의 가치를 높일 방안이 충분히

마련되어야 한다. 현재 AI 허브에 있는 데이터는 대부분 익명 데이터라서 효용가치가

많이 떨어져 있다는 의견이 존재하였다 . 다만, 국가 주도로 이뤄진 데이터 구축 사업

에 대해 긍정적인 인식도 존재하고 있는 반면, 구축된 데이터의 접근성 및 사용 용이

성 측면에서 불편함을 호소하는 경우도 발생하고 있으며 , 나아가 이러한 데이터 활용

의 제약으로 인해 경쟁국 대비 뒤쳐질 수밖에 없다는 의견도 있었다 .

5. 키워드 분석 결과

심층인터뷰 데이터의 키워드 분석을 위해 인터뷰 녹취 문서를 불러온 후 TF-IDF

(Term Frequency-Inverse Document Frequency)

68)

로 키워드의 가중치를 정렬하는

Python 코드를 작성하였다 . TF-IDF 는 텍스트 데이터에서 단어의 중요도를 평가하는

통계적 방법으로 , 주로 정보 검색, 텍스트 마이닝 , 자연어 처리에서 단어의 가중치를

계산하는 데 사용된다 . TF-IDF 값은 한 문서에서 단어가 등장하는 빈도가 높을수록

커지고 , 반대로 해당 단어를 포함하는 문서가 많을수록 반비례해서 작아진다 . 데이터

입력은 인터뷰 데이터 중 인터뷰 대상자가 응답한 데이터만을 활용하였다 . 불용어

(Stopword) 는 836개의 주요 키워드 (가령, 그래서 , 너무 등)를 활용하였다 . 스코어 값은

68) Salton G. and McGill, M. J. 1983 Introduction to modern information retrieval. McGraw-Hill,

ISBN 0-07-054484-0.

- 64 -

문서별 TF-IDF 결과의 합산값을 활용하였다 .

순위

키워드

Score

데이터

6.1296

5.8891

생각

2.8204

모델

2.791

사람

2.171

서비스

1.9289

회사

1.8839

병원

1.8187

문제

1.7531

학습

1.6358

기술

1.5519

고객

1.3568

기업

1.3549

llm

1.3432

의료

1.2311

사업

1.1843

법률

1.1265

상황

1.0939

위험

1.0783

사용

1.0455

[표 4-4] 심층 인터뷰 데이터 TF-IDF 분석 결과

분석 결과는 [표 4-4]와 같다. 데이터 , AI, 모델, 사람, 서비스 등의 키워드의 순위가

높게 나타났다 . 특히, 데이터는 학습 데이터의 편향이나 개인 정보 보호 등의 언급이

상대적으로 높게 나왔기 때문으로 추정된다 . 그 밖에, 병원, 의료, 법률 등 AI가 적용

되는 수요 도메인 관련 키워드 역시 상위 20위 내에 포함되었다 .

6. 신뢰할 수 있는 AI 요인별 인식

TTA의 신뢰할 수 있는 인공지능 개발 안내서의 체크리스트를 참고한 ‘책임있는 AI

요인별 인식’ 질문의 전체 결과는 다음 [표 4-5]와 같다.

응답 기업이 잘 하고 있는 요인으로는 ‘수집 및 가공된 학습 데이터 편향 제거’와

‘데이터 활용을 위한 상세 정보 제공’, ‘AI 시스템 신뢰성 테스트 계획 수립’이

언급되었다 . 기업은 데이터의 편향 방지를 위한 샘플링 , 중복 제거 과정을 많이 이루

어지게 구성하고 있으며 통계적 검증 및 여러 기관을 통한 검증 방법을 사용하기도

하며, 매뉴얼이나 가이드 북으로 제시하여 사용자에게 데이터의 특성, 용도를 정리하

- 65 -

여 제공함으로서 누구나 참조할 수 있게 하였다 . 지속적인 평가 및 다양한 테스트 환

경 구축하고 있으며 , 일부 온프라미스 통해 다양한 환경 속에 맞추어서 테스트를 실행

하며, 규제를 받아 대부분 당연히 준수하고 있다는 반응을 보였다 .

응답 기업 입장에서 장애가 있는 요인으로는 ‘인공지능 거버넌스 체계 구성’과

‘인공지능 모델 명세 및 추론 결과에 대한 설명 제공’, ‘인공지능 모델 시스템 안

전모드 구현 및 알림 절차 수립’이 언급되고 있었다 . 소규모 기업 및 스타트업의 경

우 인력 부족의 한계가 대표적인 장애 요인으로 언급되었다 . 아직 시장이 초기 시장이

라는 점에서 성능에 집중하는 실태를 보이고 있어 안전에 대한 인식이 미흡한 상황이

며, 대형언어모델 (LLM) 을 활용하는 경우 추론 결과에 대한 근거가 과적합되는 경우도

있었다 .

질문

잘하고 있음

(444

개 응답

)

잘 안되고 있음

(195

개 응답

)

수집 및 가공된 학습 데이터의 편향 제거

15.8%

7.7%

데이터 활용을 위한 상세 정보 제공

8.3%

2.6%

시스템의 신뢰성 테스트 계획 수립

8.1%

2.6%

데이터 견고성 확보를 위한 이상 데이터 점검

8.1%

4.1%

인공지능 거버넌스 체계 구성

7.0%

24.6%

인공지능 시스템의 추적 가능성 및 변경이력 확보

6.8%

3.6%

서비스 제공 범위 및 상호작용 대상에 대한 설명 제공

6.5%

5.6%

인공지능 시스템의 위험 관리 계획 및 수행

6.3%

5.1%

인공지능 모델 명세 및 추론 결과에 대한 설명 제공

6.1%

12.8%

오픈소스 라이브러리의 보안성 및 호환성 점검

5.9%

4.1%

인공지능 시스템의 설명에 대한 사용자의 이해도 제고

5.9%

6.2%

인공지능 모델 공격에 대한 방어 대책 수립

5.4%

7.2%

인공지능 시스템의 안전모드 구현 및 문제발생 알림 절차 수립

4.1%

8.2%

인공지능 모델의 편향 제거

2.9%

3.1%

인공지능 시스템 구현 시 발생 가능한 편향 제거

2.9%

2.6%

[표 4-5] 심층 인터뷰 응답 기업의 신뢰할 수 있는 AI 요인별 인식

다만, 본 ‘책임있는 AI 요인별 인식’문항은 인터뷰 답변을 용이하게 하기 위한 가

이드라인 성격의 질문으로써 , 통계를 내는 목적으로 질문한 항목은 아님을 밝혀둔다 .

즉, 응답 기업의 전반적인 동향과 추세를 살피는 데에 활용할 수는 있으나 , 응답 비율

- 66 -

자체에 의미를 두기는 어렵다 .

제3절 소결

본 심층 인터뷰 조사에서 중소기업 및 스타트업은 AI 위험에 대한 명확한 이해가 부

족하며 기업별 인식의 차이가 존재하고 있었다 . 대기업이나 초거대 AI 모델을 개발하

는 기업은 AI 위험에 대해 어느 정도의 인식을 갖고 위험에 대한 거버넌스 체계를 마

련하거나 , 관련 연구개발을 진행하고 있으나 , 중소기업 특히 자체 모델을 사용하지 않

고 오픈소스를 사용하는 기업에서는 모델의 위험과 관련해서는 책임에서 자유롭게 인

식하면서 , 많은 위험에 노출될 가능성이 있었다 .

[표 2-1]에서 설명한 AI 윤리 및 신뢰성에 관한 개념인 프라이버시 보호, 견고성 , 공

정성, 투명성 , 책임성 , 인류 가치 증진의 여섯 가지 차원에서 본 심층인터뷰 결과를 정

리하면 [표 4-6]과 같다.

신뢰성 요인

주요 내용

프라이버시 보호

Ÿ고객 개인정보 유출에 대한 우려로 인해 필요한 데이터만을 수집

Ÿ웹 공개 데이터 수집 시 저작권 문제나 데이터의 정확성을 고려할 필요

견고성

Ÿ보안 사고 예방을 위해 온프레미스 환경의 구축을 고려하고 있으나

중소기업의 경우

시스템 개발 및 관리 관련 비용과 노력이 클라우드 대비 많이 발생

공정성

Ÿ수집 및 가공된 학습 데이터 편향 제거를 위한 노력

Ÿ해외 진출을 고려하지 않는 경우가 많아 다양성 존중이나 차별금지 측면은 아직 부족

투명성

모델이 생성한 결과에 대해 명확한 설명이 이뤄지지 않고 있음

Ÿ소규모 기업에서는 위험 관리를 위한 문서화와 같은 프로세스가 부족한 어려움

책임성

사고 발생 시 구체적인 책임과 사고 해결을 위한 거버넌스 체계의 필요성

Ÿ오픈소스 모델을 사용하는 기업에서는

모델에 의한 사고 발생 시 불분명한 책임 문

제의 소지

인류 가치 증진

로 인한 인력 대체 효과로 인해 향후 노동 인력의 감소를 우려하는 언급

Ÿ각 분야별 초급 인력은

로 대체될 상황이 높음

[표 4-6] AI 신뢰성 요인별 심층 인터뷰 내용 요약

프라이버시 보호 측면에서는 기업이 고객 개인정보 유출에 대한 우려가 높고, 개인

정보 수집을 최소화하고 필요한 데이터만을 저장하여 학습에 활용하는 등의 노력을

하고 있으나 , 공개 데이터 수집 시 저작권 문제나 데이터의 정확성을 고려할 필요성이

있었다 . 견고성 측면에서는 보안 사고 예방을 위해 온프레미스 환경의 구축을 고려하

고 있으나 , 중소기업의 경우 과도한 비용이 발생하는 어려움이 있는 것으로 나타났다 .

공정성 측면에서는 수집 및 가공된 학습 데이터 편향 제거에 대한 언급이 있었다 . 다

- 67 -

만, 기업이 해외 진출 및 수출을 아직 고려하지 않는 경우가 많아 다양성 존중이나 차

별금지 측면은 아직 부족하다고 볼 수 있었다 . 투명성 측면에서는 AI 모델이 생성한

결과에 대해 명확한 설명이 이뤄지지 않고 있으며 , 소규모 기업에서는 위험 관리를 위

한 문서화와 같은 프로세스가 부족한 어려움이 있었다 . 책임성에서는 AI 사고 발생 시

구체적인 책임과 사고 해결을 위한 거버넌스 체계의 필요성이 있으며 , 오픈소스 모델

을 사용하는 기업에서는 AI 모델에 의한 사고 발생 시 불분명한 책임 문제의 소지가

있었다 . 인류 가치 증진 측면에서는 AI로 인한 인력 대체 효과로 인해 향후 노동 인력

의 감소를 우려하는 언급이 있었다 .

정부 차원의 규제 및 가이드라인은 필요하다는 인식이 대체로 형성되어 있었다 . 다

만, AI 사고가 발생했을 때 처벌은 필요하지만 , AI 위험의 가이드라인이 규제로 작용하

기 보다는 규제와 지원 사이에서 적절한 균형이 필요하다는 의견이 많았다 . 중소 및

스타트업을 대상으로 AI 안전을 확립하기 위한 정책적 방안에 대해서는 이후에 시사

점으로 논의하고자 한다.

- 68 -

제5장

결론 및 시사점

지금까지 , AI 신뢰성과 관련된 개념 정의에 기반하여 기업의 신뢰할 수 있는 AI와 관

련한 제도의 현황을 살펴보고 중소기업의 AI 신뢰성 기반을 마련하기 위한 여러 가지

방안을 사례 조사와 심층 인터뷰를 통해 살펴보았다 . 본 장에서는 지금까지의 결과를

바탕으로 한 정책적 시사점을 제안하고자 한다.

제1절 시사점

Gartner

69)

는 기업이 신뢰할 수 있는 AI에 대한 지속적인 관심을 불러일으키는 규제

및 시장 요인에 대처하기 위해 계속된 투자가 필요함을 강조하고 있다. 최근 LLM( 대

형 언어 모델)을 활용하는 AI 솔루션의 발전으로 인한 관심은 딥페이크에 대한 우려,

잘못된 정보가 쉽게 확산될 수 있는 가능성 , 회사의 지적재산권 (IP)에 해를 끼칠 가능

성으로 인해 AI 신뢰성 확보 추세를 가속화하고 있다. 기업에 AI 안전에 영향을 미치

는 네 가지 주요 요인에 대해서 강조하고 있다. Gartner(2023) 는 보고서에서 기업에 AI

신뢰성에 영향을 미치는 네 가지 주요 요인으로 개인정보 보호, 데이터 및 지적 재산

보호, 정부 규제, 상업적인 필요성 등을 언급하고 있으며 , 이는 심층 인터뷰에서도 다

수의 기업이 언급한 내용과 유사한 방향을 보이고 있다.

△ 데이터 보호 : 최근의 AI는 개인행동에 대한 패턴을 식별하고 예측하거나 얼굴

인식 시스템을 통한 개인 이미지 식별 등의 뛰어난 기술을 선보이고 있다. 이러한 사

용을 통해 편의성과 개인화가 향상될 수 있지만 , 이러한 방식으로 개인 데이터를 사용

하면 악의적인 목적으로 쉽게 조작될 수 있다는 상당한 우려도 있다. 사용자 계약에는

최종 사용자 데이터가 사용되는 방식과 명시적인 권한 획득 방법이 반영될 필요가 있

다.

△ 개인 정보 보호 : 특정 AI 모델은 웹 스크래핑과 같은 기술을 사용하여 원본 데

이터 소스의 명시적인 동의 없이 훈련되었다 . 기업은 데이터에 대한 협상을 통해 지적

재산권 (IP)을 보호하기 위한 전략을 개발하고 있으며 , 법적 대응을 모색하고 있다. 또

한 기업은 공개 도메인으로 유출될 수 없는 독점적인 학습 데이터를 사용하여 AI 모

델을 구축해야 한다.

△ 정부 규제 : 전 세계 정부 지도자들은 AI의 혁신적인 특성을 인식하고 혁신이나

69) Gartner (2023). 2024 Tech Provider Top Trends: AI Safety. ID G00804240.

- 69 -

잠재적인 사회적 이익을 저해하지 않으면서 안전장치를 마련하기를 원한다 . 소스 코드

에 정의된 차원 집합 내에서 작동하는 다른 기술과 달리 AI 출력은 사전 정의되고 예

상되는 결과를 제공하지 않을 수 있다. AI가 보유한 자율성과 모델 및 알고리즘의 블

랙박스 특성으로 인해 규제의 필요성이 높아질 수 있다.

△ 상업적인 필요성 : 최근의 기업은 AI 기반 제품을 다수 도입하고 있다. 이 혁신적

인 기술은 기업 내부의 다양한 기능에 적용되어 새로운 수익 기회와 생산성 향상을

창출한다 . AI 제품에 대한 상업적 관심을 나타내는 또 다른 지표는 벤처캐피털 (VC) 시

장의 활동이 활발하다는 점으로 , 2020년 이후 생성형 AI에 대한 VC 투자가 425% 증가

했다.

그림

6-1>

기업의

신뢰성 동향과 관련된 네 가지 주요 요인

(

출처

: Gartner,

저자 재구성

)

다음은 , 본 연구를 통해 도출한 주요 정책적 시사점을 요약한 내용이다 . 중소기업의

AI 신뢰성 체계 마련에 대해 현장 전문가의 의견을 바탕으로 시사를 도출하였으며 , 영

국의 중소기업 AI 보증 체계 사례를 참고하여 국내 중소기업의 AI 신뢰성 보증 방안

마련에 대해 벤치마킹 의견을 서술하였다 . 또한, 글로벌 거버넌스 구축, 공정성 요인

향상을 위한 방안에 대해서도 언급하였다 .

1. 중소기업의 AI 신뢰성 체계 마련 방안

본 연구에서 중소기업 및 스타트업을 대상으로 진행한 심층 인터뷰 조사에서 기업은

AI 거버넌스 구축의 어려움에 대해 가장 많은 애로 사항을 표명하였다 . 대기업의 경우

- 70 -

내부 인프라 및 인력을 활용한 거버넌스 구축이 가능하지만 , 중소 및 스타트업은 기업

의 내부 사정으로 인해 충분한 여력이 확보되지 않는 경우가 많다. 우리나라에서 준비

하고 있는 AI 기본법에서도 AI 기술 및 산업과 관련한 시책을 통해 중소기업을 우선

고려하도록 하고 있다. 이에 전문가 의견

70)

을 통한 거버넌스 체계 마련 방안을 살펴보

았다.

먼저, 회사 사규에 AI 정책 관련 사항을 명문화하고 내부 승인을 받는 과정이 필요

하다. 우리나라의 법률 체계는 최상위의 헌법부터 법률, 대통령령 등의 순서로 위계가

구성되어 있듯, 기업 내 AI 정책 역시 대표이사가 직접 승인하는 AI 정책 체계, 그리고

AI 관련 책임자가 관리하는 업무서 , 그리고 각 부서 레벨에서 관리하는 세부 업무 기

준과 관련 자료를 갖추는 것이 중요하다 . 여기에는 부서별 예상되는 AI 위험과 해당

위험에 대한 관리 업무의 체계를 갖출 필요가 있다.

여기에는 거버넌스의 대상이 데이터인지 , AI 모델인지 , AI 모델이 통합된 시스템 및

서비스인지를 명확히 해둘 필요가 있다. AI 모델을 구축하는 회사나 부서와 AI 서비스

를 운영하는 회사는 거버넌스 체계에 차이가 있어야 한다. 모델은 좀 더 개발 과정과

데이터 측면의 거버넌스를 , 서비스를 운영하는 회사에서는 실제 사용자의 위험에 대한

영역으로 거버넌스가 명확히 정의되어야 한다.

다음으로 , 데이터 관련 위험 측면에서는 거버넌스의 중요성을 강조할 필요가 있다.

AI Hub와 같이 학습용 데이터로 활용할 수 있는 공개 데이터를 이용한다면 데이터 관

리 관련 업무를 줄일 수 있지만 , 다수의 기업이 활용하는 수집(Crawl) 된 데이터를 활

용할 경우에는 프라이버시 , 저작권 , 유해 정보 등을 철저하게 관리할 필요가 있다.

모델의 성능 테스트를 지속적으로 추진할 필요가 있다. 학습 모델에 포함되는 데이

터와 AI 서비스에 활용되는 데이터를 구분하고 관리해야 하며, 각각의 경우에 맞는 데

이터 관리 기준과 모델 테스트 기준, 학습 기준, 모델을 설명하는 모델 카드에 대한

준비가 필요하다 . AI 모델에 적용하는 기준과 서비스에 적용하는 기준은 달라야 하며

별도의 내부 업무 절차와 기준을 갖출 필요가 있다.

기업에서는 AI 모델 및 서비스를 개발하고 운영할 때 증거가 될 자료를 충분히 남겨

둘 필요가 있다. 이는 위험이 초래된 상황에서 추적 가능성을 담보하기 위함이다 . 즉,

AI 모델 및 서비스에 대해 내부적으로 지속적인 관리와 모니터링이 필요하다 . AI 모델

을 설명하는 모델 카드는 제대로 관리되고 있는지 , 학습에 사용된 데이터의 목록은 관

70) 국내의 AI 신뢰성 관련 업계 전문가인 정휘웅 포티투마루 소장 서면 자문 내용을 참고함

- 71 -

리되고 있는지 , 학습에 사용된 데이터의 라이센스 문제에 대해 확인하였는지 , 적대적

공격에 대해 테스트하였는지 등을 지속적으로 모니터링해야 한다.

AI 모델을 구축하고 사용하는 주체는 최종적으로 기업과 인간의 권리이므로 , 책임

역시 기업 조직과 사람이 가져가야 할 필요가 있다. 조직 내부의 지속적인 교육과 내

부 조직원에 대한 인식 제고가 필요하며 , 여기에는 이를 뒷받침할 사내 규정과 제도를

갖추어야 한다. 예를 들어, 레드티밍 등 모델 공격 해커톤을 기업 내에 상시화하고

내·외부로부터의 수상 제도를 마련하여 화이트 해커 개념의 연구자 저변을 확대하고

신뢰성 테스트 관련 기업들을 육성해 나가는 방안이 될 수 있다.

정부 입장에서는 신뢰성을 훼손할 수 있는 공격형 데이터세트를 구축하고 이를 배포

하는 방안이 필요하며 , AI 신뢰성 인증 바우처 제공 제도를 통해 초기 시장 정착을 위

하여 AI 솔루션 보유 기업들에 대한 바우처를 제공하거나 , 레드티밍 및 신뢰성 인증

확보 활동에 대한 바우처를 제공하는 방안이 필요할 수 있다. 마지막으로 , 공공조달

인센티브 제도를 통해 AI 신뢰성 인증을 받은 솔루션에 대한 조달 가점 부여하는 방

안이 필요하다 . 특히 본 제도는 예산 투입 없이 자연스럽게 민간 노력을 가속화할 수

있으므로 민간의 신뢰성 인증 노력을 가속화시킬 핵심 사항이 될 수 있다.

1) 영국의 사례 – 중소기업을 위한 AI 보증 플랫폼

중소기업의 AI 신뢰성을 확보하기 위한 정책적 지원방안으로는 영국의 사례를 참고

할 수 있다. 영국 정부 과학기술혁신부 (Department for Science, Innovation and

Technology) 는 2024년 11월 영국 내 기업이 안전하고 신뢰할 수 있는 AI를 개발하고

배포하여 성장을 촉진하고 생산성을 개선할 수 있도록 돕기 위한 지원 계획을 발표하

였다.

71)

핵심은 <그림 6-2> 와 같이

72)

AI의 신뢰할 수 있는 개발 및 사용 원칙 아래에

AI 개발자와 배포자가 도움이 되는 AI 안전 보증 플랫폼 (AI assurance platform) 을 개

발하는 것으로 , 영국 기업이 AI로 인한 잠재적 위험과 피해를 식별하고 완화하기 위해

취할 수 있는 보증 도구, 서비스 , 프레임워크 등 정보를 모아 AI 보증을 위한 원스톱

상점 역할을 하는 것을 목표로 한다. 이는 영국 내 AI 보증과 관련된 기업 중 60%에

달하는 중소기업을 위한 정책이 될 것으로 보인다 .

이 플랫폼은 기업이 AI 영향평가를 수행하는 방법, 편향 여부를 확인하기 위해 AI 시

스템에서 사용되는 학습 데이터를 검토하는 방법, 일상 운영에 사용되는 AI에 대한 신

71) https://gov.uk/government/publications/assuring-a-responsible-future-for-ai

72) https://gov.uk/government/publications/introduction-to-ai-assurance

- 72 -

뢰를 보장하는 방법 등의 명확한 단계를 제시하는 지침을 모았으며 , 중소기업들이 평

가도구를 활용하여 조직에서 신뢰할 수 있는 AI 관리 관행을 구현하고 AI 시스템을 개

발하고 사용하면서 더 나은 결정을 내릴 수 있도록 돕는다 . 예를 들어, AI 보증 소개

및 AI 보증 기술 포트폴리오와 같은 기존 영국 과학혁신기술부 (Department for

Science, Innovation and Technology) 의 지침 및 도구, ISO/IEC 42001 표준(인공지능 -

관리 시스템 ), EU AI 법, 미국 NIST AI 위험 관리 프레임워크 등 기존 AI 관련 표준

및 프레임워크의 핵심 원칙 등의 AI 관리 필수 사항(essentials) 이 포함된다 . 이를 통해

중소기업 조직이 적은 노력으로 윤리적이고 견고하며 신뢰할 수 있는 AI 개발에 참여

할 수 있도록 AI 거버넌스 요구사항을 지원할 것으로 보인다 .

그림

6-2>

영국의

안전 보증 프레임워크 구조

(

출처

: gov.uk)

다만, 이 플랫폼은 아직 초기 단계로 , 핵심 도구가 개발되지 않은 상태이며 AI 시스

템과의 직접적인 연동이 아니라 사용자의 응답에 의존하며 정량화하기 어려운 단점이

있어 향후 지속적인 개선이 필요할 수 있다. 향후 정부 조달 정책과 프레임워크에 포

함시켜 민간 부문에서 AI 보증 기법과 표준을 채택하도록 유도하며 , 이 자체 평가 도

구를 통해 공공 부문 구매자가 AI와 관련하여 더 나은 정보에 입각한 조달 결정을 내

- 73 -

리는 데 도움이 될 것으로 전망된다 .

2) 기업 내 신뢰할 수 있는 거버넌스 구축 방안

Gartner 의 보고서

73)

에 따르면 , AI 기술 사용과 관련된 복잡성이 증가함에 따라 전통

적인 거버넌스 방식인 정책, 규제, 법률 등은 물론 기업 거버넌스와 책임뿐 아니라 데

이터 거버넌스와 책임 등 새로운 방식의 AI 거버넌스 체계에 대한 도전이 요구되고

있다. 이러한 이유로 , 아래와 같이 기업 조직 내 AI 거버넌스에 대한 세 가지 접근 방

식을 평가하고 있다.

① AI 위험 정보를 바탕으로 AI 거버넌스 프레임워크를 정의한다 . 예를 들어 위험

요소는 기술적인 영향(예: 알고리즘의 설명 가능성 )은 물론 사회적 영향(예: 미성년자

나 기타 취약 계층을 표적으로 삼으려는 의도나 목적), 기업의 가치사슬 체계(예: 공급

자의 집중 위험과 중요 인프라를 뒷받침하는 부문에서 자동화된 의사결정의 불투명성 )

등 윤리적 , 문화적 , 헌법적 , 정치적 , 경제적 또는 사회적 맥락을 기반으로 AI 배포의

의도와 목적을 구성해 나가야 한다.

② 기업의 AI 개발·활용 의도와 목적에 따라 AI 위험 관리 프레임워크를 기반으로

기업의 활동 범위에 따른 책임을 설정한다 . 활동 범위의 예시는 다음과 같다.

△ 금지된 활동 : 거버넌스는 법률이나 내부 정책에 따라 사회적으로 바람직하지 않

은 특정 목적으로 AI를 사용하는 것을 금지하며 책임에는 형사 처벌을 포함한 엄중한

처벌이 따를 수 있다. 예로는 인간에게 해를 끼치거나 , 사회 전체를 혼란시키거나 , 대

규모로 차별하도록 설계된 상업용 AI 애플리케이션은 물론, 법으로 금지된 기타 애플

리케이션이 포함될 수 있다.

△ 통제 기반 거버넌스 및 책임 : 법률 또는 규정 준수 요구 사항(예: 안전 또는 개

인 정보 보호 의무 지원)에 의해 통제되는 활동에는 규칙, 정책, 표준 및 지침에 따른

의사결정이 이뤄지도록 통제 기반 거버넌스 및 책임이 이뤄져야 한다.

△ 조직의 민첩성 기반 거버넌스 및 책임 : 상부의 권위나 규칙보다는 사람들의 역

량, 원칙, 태도, 업무 방식에 더 많이 의존하는 윤리적으로 성숙한 연구소 등의 조직에

서는, 조직의 가치를 창출하는 분산 및/또는 의무적인 결정을 내릴 수 있는 권한을 역

할과 팀에 부여할 수 있다.

73) Gartner(2023). Top Trends in AI Public Policy and Regulations for 2024. ID G00805314.

- 74 -

△ 자율적인 거버넌스 및 책임 : 일부 AI 시나리오에서는 의사 결정에 인간의 개입

이 비즈니스 가치 또는 임무결과의 실현을 방해할 수 있다. 예를 들어 사기 탐지 AI

알고리즘은 분산 데이터 소스와 실시간 위협 인텔리전스를 사용하여 자율적인 결정을

린다. 사람과 "사물"이 실시간으로 내린 결정을 통해 가치를 창출하고 위험을 관리하

는 방식도 가능하다 .

③ 역할과 책임/결정권을 정의한다 . 사용자 , 개발자 , 제공자 (내부 및 외부), 감독자 등

AI의 이해관계자를 정의하고 , 역할별 책임을 정의해야 한다. 이러한 모든 역할에는 책

임/결정권과 책임이 따라야 한다. 예를 들어, AI 개발자는 자신의 작업이 인간에게 미

칠 수 있는 잠재적 영향과 실제 영향을 명확하게 설명할 책임이 있어야 한다. 사용자

는 자신의 민감한 데이터와 IP를 보호할 책임이 있다. AI 공급자는 데이터 드리프트 ,

모델 드리프트 또는 의도하지 않은 결과가 발생하는 경우 이를 즉시 감지하고 개입하

기 위한 모니터링 기능을 배포할 책임이 있다.

3) EU AI Act 등 글로벌 규제 대응 지원

EU의 AI 법은 AI 지원 기능을 시장에 출시하거나 서비스를 제공하는 조직이 각 기

능에 적절한 위험 수준을 평가하도록 요구하고 있다. 이에, 기업의 보안 및 위험 관리

리더는 조직의 AI 사용 사례가 AI 법에서 정의한 4가지 위험 계층 (저위험 AI 시스템 ,

고위험 AI 시스템 , 범용 AI 시스템 및 금지된 AI 시스템 ) 중 하나로 분류되도록 해야

한다. Gartner 의 보고서

74)

는 기업의 AI 위험 수준을 어떻게 분류하고 대응할지에 대한

리트머스 테스트 방안에 대해서 서술하고 있다.

그림

6-3> AI

시스템 분류 및 조치를 위한 의사결정 트리

(

출처

: Gartner,

저자 재구성

)

AI 사용 사례에 대한 위험 분류는 <그림 5-3>과 같으며 , 금지된 AI 시스템과 고위험

74) Gartner(2024). Getting Ready for the EU AI Act, Phase 2: Risk-Assess & Categorize. ID

G00811796.

- 75 -

AI 시스템이라는 두 가지 계층 평가에 중점을 두었다 .

AI법은 금지된 AI 관행을 정의하고 있다(EU AI법 5조/2장의 세부 내용 참조). 이는

그 영향이 개인의 안전과 기본권에 용납할 수 없는 위협을 나타내는 사용 사례이다 .

AI법의 시행 일정에 시간 차가 있으므로 , 이 조항은 EU AI 법이 발효된 지 6개월 후

에 적용된다 . 조직 대부분에서 금지된 AI 시스템을 사용할 것으로 예상하지는 않지만 ,

조직에서는 일정 기간 동안 중요한 데이터가 수집되어 데이터 저장소에서 데이터 저

장소로 마이그레이션된 다음 AI 지원 시스템을 통해 처리되거나 , 의도치 않게 금지된

계층의 AI를 활용하는 경우가 발생할 수 있다. 이 경우 조직은 이러한 기능의 사용을

중단하거나 사용 사례를 더 낮은, 허용 가능한 계층으로 다시 분류하도록 일정 수준의

처리를 하는 방식으로 재구성해야 한다. 다음은 AI 기능을 평가할 때 고려해야 할 몇

가지 확인 사항을 나열한 것이다 .

△ 의료 평가나 안전 이외의 목적으로 직장이나 교육 기관에서 감정 인식을 위해 AI

기능을 사용하고 있는가 ? 예를 들어 학생들이 주의를 기울이고 있는지 평가하기 위한

교실 내 CCTV( 폐쇄회로 TV)가 있다.

△ 얼굴 인식 데이터베이스를 구축하거나 보완할 목적으로 AI 기능을 사용하여 인터

넷이나 CCTV 영상에서 무작위로 얼굴 이미지를 스크랩하고 있는가 ?

△ AI 기능을 사용하여 프로파일링이나 성격 특성 및 특성 평가만을 기반으로 개인

이 범죄를 저지를 위험을 예측하는가 ?

△ 개인 데이터의 특별한 범주를 추론하기 위해 생체 인식 분류 목적으로 AI 기능을

사용하고 있는가 ? 예를 들어 통계 또는 마케팅 목적으로 비디오 생체 인식에서 성별/

인종 특성을 추출하는 스포츠 경기장이나 상점의 카메라 등. 즉, 데이터 (인터뷰 녹음의

생체 인식 등)를 사용하고 특정 범주의 개인 데이터 (예: 성별)에 따라 추천을 제공하는

HR 시스템은 금지된 AI로 분류될 수 있다.

△ 개인의 행동을 조작하고 해를 끼칠 수 있는 취약성 (예: 연령, 장애 또는 기타 사

회 경제적 특성)을 활용하는 AI 기능을 사용하고 있는가 ? 예를 들어 이득을 위해 노인

을 재정적으로 파괴적인 행동으로 몰아가거나 겁을 주려는 의도로 노인을 식별하는

기계 학습 모델이 있다.

△ 해롭거나 불리한 대우로 이어질 수 있는 점수를 할당하기 위해 AI 기능을 사용하

여 개인의 사회적 행동이나 특성을 추적하고 있는가 ? 예를 들어, 복권 게임, 담배 제

품 구매 등 사회적으로 바람직하지 않다고 간주되는 부모의 관련 없는 행동을 기반으

- 76 -

로 위험에 처한 어린이를 식별하는 시스템이 있다.

△ AI 기능을 사용하여 사람의 의식적 인식(잠재의식 )을 넘어서는 자극(예: 시청각 메

시지)을 주입하고 , 정보에 근거한 결정을 내릴 수 있는 사람의 능력을 제한하거나 흔

들려는 의도를 가지고 있는가 ?

이러한 질문에 대한 대답이 '예' 인 경우 해당 AI 시스템은 금지된 것으로 간주된다 .

역사적으로 이러한 기술 중 일부는 인적 자원 확보, CCTV 및 마케팅 활동에 사용되었

다. 이에, 기업 조직의 해당 영역에서 AI 사용 사례를 신중하게 평가해야 한다.

이러한 질문에 대한 답변이 모두 해당사항이 없을 경우, 고위험 AI의 리트머스 테스

트를 진행해야 한다. AI법은 고위험 AI 시스템을 정의하고 있으며 , 이는 피해를 입힐

가능성이 높은 사용 사례이다 . 이러한 상황에서 기업은 다음과 같은 조치를 취할 필요

가 있다.

△ GDPR( 일반 데이터 보호 규정)에 정의된 것과 동일한 평가인 데이터 보호 영향

평가(기본권 영향 평가라고도 함)를 수행한다 .

△ 위험을 식별하고 위험 관리 시스템을 유지한다 .

△ 필요한 경우 위험 완화 방안을 도입한다 .

△ 문제의 AI 지원 서비스 사용자에게 알림을 제공하여 데이터가 처리되는 방식을

인식하고 진행 여부를 현명한 결정을 내릴 수 있도록 한다.

△ 문제의 AI 지원 서비스와 이후에 취한 조치를 자세히 문서화한다 .

△ 감독자가 적절히 개입하여 감독한다 .

4) 벤처투자자의 스타트업 AI 윤리 대응

AI 벤처기업을 대상으로 한 투자를 주로 진행하는 캐나다의 Radical Ventures 는 벤처

캐피탈 (VC) 의 투자가 현재의 AI 붐을 촉진하는 데 중요한 역할을 했기 때문에 , AI 기

술의 안전하고 신뢰할 수 있는 미래를 위해서라도 AI 투자를 위한 VC의 신뢰할 수 있

는 AI 프레임워크가 필요하다

75)

고 설명하고 있다. 이에, Radical Ventures 는 자신들이

- 77 -

내부에서 DD와 투자 심사 프로세스에 활용하는 것을 기반으로 Responsible AI for

Startups(RAIS) 프레임워크

76)

를 고안했다 . 이를 통해 투자받은 기업이 AI에서 발생하는

이점을 홍보하고 위험을 완화하며 책임성 있는 기술 개발을 하도록 장려하는 데에 목

적을 두고 있다.

Radical Ventures 의 이 RAIS 프레임워크는 사회적 ·윤리적 (Social & Ethical), 업계

별·규제적 (Industry-Specific & Regulator), 기술적 (Technical) 위험 요인 등 세 가지

주요 영역을 살펴보는 섹션으로 구성되어 있으며 , 각 위험 영역에는 나열될 수 있는

취약성 및 위협 유형에 대한 권장 사항이 명시되어 있다. 이를 통해 이해관계자 및/또

는 자산과 회사에 미칠 수 있는 영향과 가능성에 대한 초기 위험을 평가할 수 있다.

그림

6-4> Responsible AI Startups (RAIS) Framework (

출처

: Radical Ventures)

한편, AI 거버넌스 어드바이저인 Sharma 역시 VC를 위한 AI 윤리 실사(DD, Due

Diligence) 질문지

77)

를 제공하고 있다. AI 윤리 문제는 차별, 개인정보 침해 등 알려진

문제를 넘어 AI 모델의 결과에 대한 책임, 사회적 가치와의 일치, 유해 콘텐츠 생성,

데이터 사용에 대한 투명성 등 광범위한 스펙트럼이 포함되며 , 이에 질문지는 여러 차

원을 포괄하고 있다. 예를 들어, 데이터 및 개인정보 보호 측면에서 데이터 수집 및

사용, 보안, 데이터 편향 및 공정성 , 데이터 소유권 및 투명성을 , 알고리즘 설계 및 사

75) https://radical.vc/underwriting-responsible-ai-venture-capital-needs-a-framework-for-ai-investing/

76) https://github.com/radicalventures/RAIS-Framework

77) https://linkedin.com/pulse/ai-ethics-due-diligence-questionnaire-vcs-vidhi-sharma-yr2rc/

- 78 -

용 측면에서 설명 가능성 및 해석 가능성 , 남용 가능성 , 인간의 감독 및 책임을 , 사회

적 영향에서는 사회적 영향 평가와 이해관계자 참여 등을 고려하고 있다.

78)

이렇듯 , AI 위험에 대한 인식 및 신뢰할 수 있는 AI 개발은 글로벌 AI 모델 및 서비

스를 개발하는 기업 뿐 아니라 , 중소규모의 AI 기업 및 스타트업으로까지 그 요구는

확대되고 있는 추세이다 . 이에, 글로벌 AI VC 투자자 및 정부 정책입안가 관점에서 AI

공급 기업의 신뢰할 수 있는 AI 실태에 대한 체크리스트를 마련해야하는 점이 부각되

고 있음을 알 수 있다.

2. 글로벌 거버넌스 구축을 통한 가이드라인 확립 - 휴머노이드 로봇의 사례

인간의 안전을 보장하는 로봇 설계와 제조에 대한 지대한 관심으로 , 지난 2024 년 7

월 상하이에서 열린 중국 최대 규모의 AI 행사인 2024 세계 인공지능 대회(WAIC) 에서

휴머노이드 로봇 거버넌스 지침이 발표

79)80)

되었다 . 상하이시 법학회의 주도로 개발된

이 지침은 △목표와 비전 △기본 원칙 △혁신 발전 △위험관리 △글로벌 거버넌스로

구성되었다 .

목표와 비전에는 AI와 휴머노이드 로봇의 기술 혁신을 촉진하며 휴머노이드 로봇의

설계와 적용이 인간 윤리에 부합하고 인간의 안전을 위협하지 않도록 보장할 필요성

에 대해 언급하였다 . 즉, 인간과 로봇의 공생 발전을 촉진하고 법치에 따라 인류의 복

지를 보호하며 과학기술의 오용을 효과적으로 방지하는 방향으로의 거버넌스 지침 수

립을 목표로 한다.

기본 원칙으로는 휴머노이드 로봇의 설계와 제조는 인간의 가치와 윤리 원칙을 따라

야 하며 인간의 생명, 존엄성 , 자유를 위협해서는 안 되며, 사용된 AI 알고리즘 모델의

투명성과 설명 가능성을 최적화하여 의사결정과 행동을 이해하고 효과적으로 제어하

며, 기술의 개발과 적용은 사회적 책임과 지속 가능성에 중점을 두고 법규를 준수할

것을 요구하고 있다. 혁신 발전에서는 국가, 업계, 학계 및 연구기관이 휴머노이드 로

봇 산업 투자 및 응용을 늘리고 혁신을 촉진하도록 장려한다는 내용을 담고 있다. 글

로벌 산업 생태계를 구축하고 , 과학기술 및 R&D 인력 투자를 통해 핵심 연구 수행

및 업계의 표준화된 발전을 장려할 것을 담고 있다. 위험관리 관련, 로봇 개발자 , 제조

78) https://leeseungah.com/ 참고

79) 《人形机器人治理导则》解读, CSDN, 2024.7.8.

80) “중국 상하이市 법학회, 세계인공지능대회에서 휴머노이드 로봇 거버넌스 지침 발표”. SPRi AI Brief

.2024년 8월호. https://spri.kr/posts/view/23766

- 79 -

자, 판매자 , 사용자는 법규에 상응하는 의무를 지고, 윤리와 안전 기준 및 윤리적 요구

사항을 준수할 필요를 언급하고 있다. 이들 구성원에 대해 윤리와 안전 표준 및 윤리

적 요구사항을 준수하여 로봇을 개발하고 이용해야 할 것을 요구하고 있다. 마지막으

로, 로봇의 개발 단계에 적용할 글로벌 거버넌스를 구축할 것을 요구하고 있다. 기술

개발 및 적용이 인류 가치에 부합하도록 합의에 기초한 거버넌스 활동을 촉진해야 하

며, 관련한 규칙과 표준, 법률 등 제도적 시스템을 만들어 개발과 적용을 위한 법적

질서를 유지해 나가야 할 것을 요구하고 있다.

중국에서 발표된 이번 지침은 로봇 분야의 안전과 윤리를 보장하고 관련 산업 발전

을 장려하기 위한 글로벌 수준의 지침이라는 점에서 의미를 둘 수 있다. 이러한 가이

드라인에 기반하여 향후 AI 로봇의 위험성을 고려하여 안전하고 윤리적인 제품 및 서

비스를 개발하기 위한 협력과 노력이 이어질 전망이다 .

로봇의 보급에 앞서 우리 사회가 사생활 침해, 오작동 , 일자리 대체 등 AI 로봇이 초

래할 수 있는 위험에 대해 충분히 이해하고 안전장치를 마련했는지에 대한 점검 역시

필수적이다 . 이에, 안전한 로봇의 설계와 이용에 관한 기본 원칙과 위험관리 방안을

마련하고 , 관련하여 여러 국가와 기업의 거버넌스 구축을 통해 질서를 구축해 나가고

있다. 로봇의 사례에서와 같이, 안전한 제품 서비스를 개발하기 위한 기본 원칙과 가

이드라인 , 위험관리 방안, 거버넌스 측면의 논의는 중요하며 , AI 역시 이러한 틀에서

국제적인 논의가 이어진다고 볼 수 있다.

3. 신뢰할 수 있는 AI 시스템 개발 과정에서 공정성 향상 필요

액센츄어와 스탠포드 대학교에서 실시한 책임 있는 AI의 글로벌 현황 조사에서는 기

업들이 공정성 항목이 낮은 요인으로 드러났다 . 인구통계학적인 편향을 제거하기 위한

학습 데이터의 정제나 AI 모델의 편향 예방 기술 등에 대한 적극적인 관심이 필요하

다고 할 수 있다.

최근 연구에서는 AI의 사회 경제적인 격차를 예방하고 개인과 사회의 부정적인 영향

을 감소시키는 방안이 모색되었다 .

81)

본 연구에서는 다양한 이해관계자를 포함한 모든

사람을 위한, 데이터 작성자 및 주석 작성자를 포함한 모든 사람과 함께하는 , 다양한

배경의 개발자 등 모든 사람에 의한 AI 시스템을 개발할 수 있도록 , 시스템 개발자 간

81) Rada Mihalcea et al. (2024), “Why AI Is WEIRD and Should Not Be This Way: Towards AI For

Everyone, With Everyone, By Everyone.” arXiv:2410.16315.

- 80 -

다양한 표현의 필요성과 특정 그룹에 치우치지 않는 편향 예방의 인센티브를 강조하

고 있다. 현재 AI의 데이터 다양성 부족, 모델 성능 편향, 협소한 평가 지표 문제를 예

방하기 위해 AI 개발 파이프라인 전반의 포용성을 개선할 필요가 있다. 이에, 투명하

고 책임감 있는 모델 개발, 데이터 수집 관행의 개선, 다양한 커뮤니티 구성원의 참여,

데이터의 편향 제거, 포괄적인 벤치마크 지표의 제시, 공정성과 이익의 균형 등이 필

요할 것이다 .

한편, Gartner(2023) 는 보고서

82)

를 통해 전 세계의 정책 입안자와 규제 기관이 AI의

영향과 해당 관할권에 기술을 안전하게 배포하는 방법을 고려함에 따라 경영진이 고

려해야 할 AI 관련 동향 중 첫 번째로 인간 중심과 다양성 (Human Centricity and

Diversity) 에 관해 기술하였다 . 인간 중심 AI(Human-centric AI)는 AI가 사람과 사회에

이익이 되도록 요구하는 설계 원칙으로써 , 학습, 의사결정 , 새로운 경험 등 인지적 성

과를 향상시키기 위해 사람과 AI가 협력하는 모델을 의미한다 . 기술은 인간에 의해 만

들어지며 , 이 인간은 해결해야 할 문제를 선택하고 해결책을 평가할 수 있다. 즉, 인간

은 "올바른 " 질문을 하고 "올바른 " 답을 찾아내고 , 인간은 "올바른 " 데이터를 선택하

고 "올바른 " 알고리즘을 적용해야 한다. 결국, 인간은 AI를 테스트하고 검증할 수 있

으며, 적절한 피드백을 제공해야 한다. AI 모델의 편견을 최대한 방지하기 위해, 데이

터 셋의 다양성 , 알고리즘 사용의 다양성 , 지역 언어 및 문화의 다양성 , 기술 세트 및

분야의 다양성 , 심지어 AI로 해결해야 할 문제를 결정하는 데 있어서의 다양성 등 최

대한 AI 모델의 다양성을 보장해 나가야 한다.

제2절 결론

스탠퍼드 대학교의 연구

83)

에 따르면 , AI 기술 기업이 AI 윤리에 있어 진전을 이루지

못하는 여러 장애 요소를 발견하었다 . 첫째로 , AI 윤리는 기업 내에서 정보나 의사결

정 권한이 부족한 직원에 의해 추진되는 경우가 있으며 , 이에 따라 이들 직원은 AI 제

품의 윤리적 평가를 수행하지 못하거나 , 제품에 대한 개선 명령을 내리지 못하는 경우

가 있다. 때로는 기업 내 잦은 인사이동과 조직 개편으로 인해, AI 윤리 담당자가 성

과에 진전을 이루지 못하는 경우도 발생한다 .

82) Gartner(2023). Top Trends in AI Public Policy and Regulations for 2024.

83) Sanna J. Ali et al. (2023), “Walking the Walk of AI Ethics in Technology Companies”, Stanford

HAI Policy Brief.

- 81 -

또한, 기업 내에서 혁신적인 제품을 개발해야 하는 목표가 AI 윤리 의지보다 앞서는

경우가 많다. 기업의 관리자는 AI 윤리 활동이 제품 출시를 지연시키거나 수익 창출을

저해한다고 인식하거나 , 이를 위한 인원과 시간을 배정하지 않기도 한다. 때때로 제품

윤리 검토는 제품 출시 마감일 직전에 수정해야 하는 경우가 있으므로 개발 부서는

윤리 검토에 거부감을 느끼는 경우가 있다. 이를 극복하기 위해서는 학습데이터 수집

단계부터 AI 모델 설계, 개발 및 이용·도입단계 등 AI의 가치사슬 전 단계에 걸쳐 개

발팀과 AI 윤리 팀이 협력함으로써 문제를 해결해나가거나 , 자동화된 윤리 검증 도구

를 사용하도록 장려할 필요가 있다.

아래 [표 6-1]은 본 연구를 통한 정책적 시사점을 각 구성원별로 정리한 결과이다 .

각국의 정부 및 벤처 캐피털 (VC) 등에서 기업에 대한 AI 안전 체계 마련에 대한 요구

가 증가함에 따라 각 기업은 내부 사규에 AI 안전 가이드라인을 명문화할 필요가 잇

으며 모델 카드와 같은 방식을 제공하여 투명성을 확보할 필요가 있다. 또한, 각 부서

별 AI 모델, 데이터 , 시스템 , 서비스 등의 AI 위험을 정의하고 관리 업무 체계를 구축

해 나가야 하며, 학습 데이터 품질을 높이기 위한 데이터 프라이버시 및 저작권 문제

에 대해서도 충분히 관리할 필요가 있다. 정부는 신뢰성 인증을 확산하기 위한 바우처

제공이나 공공 조달 인센티브 제도를 마련할 필요가 있으며 , 연구계에서는 지속적으로

AI 모델의 공정성 향상 방안에 대해 논의할 필요가 있다. 정리하면 , 국내 AI 산업 생태

계를 강화하고 , 글로벌 경쟁력을 확보하며 , AI 기술의 안전성과 윤리성을 높이는 데

기여할 수 있다.

구성원

주요 시사점

기업

Ÿ기업 내부 사규에

안전 체계 가이드라인을 명문화하여 모델 카드와 같은 투명성 확보

Ÿ각 부서별

모델

데이터

시스템

서비스 등의

위험을 정의하고 관리 업무 체계 구축

Ÿ학습 데이터 품질을 높이기 위한 데이터 프라이버시 및 저작권 문제 관리

정부

신뢰성 인증 바우처 제공을 통한 신뢰성 확보 기업의 지원 강화

Ÿ공공 조달 인센티브 제도를 도입하여 신뢰성 인증 업체에 대한 조달 가점 부여

연구

Ÿ신뢰할 수 있는

시스템 개발 과정에서 공정성 향상 방안 연구

[표 6-1] 주요 시사점 및 결론

아직은 기업의 AI 윤리 업무가 많은 제도적 장벽으로 인해 어려움이 있는 경우가 많

다. 이에, 정부 차원의 규제를 통해 AI 윤리 분야가 공식화되는 데에 중요한 역할을

할 수 있다. 다만, 일률적인 AI 윤리의 기준이 모든 상황이나 응용 분야에 적합하지

않을 수 있으므로 일률적인 규제 접근 방식보다는 개별적인 사례를 충분히 확보함으

로써 상황 악화를 방지할 수 있을 것이다 .

- 82 -

2024년 5월, 우리나라에서 열린 AI 서울 정상회의에서는 안전과 혁신, 포용의 3대 AI

규범을 제시하고 , AI 안전 관련 세계적인 노력을 위한 서울 선언문이 채택되었다 . 미

국과 영국, EU 등 주요국에 이어 우리나라 역시 안전하고 신뢰성 있는 AI 정립을 위

한 세계적인 흐름에 동참하게 되면서 , 범국가적인 AI 일상화와 함께 향후 글로벌 AI

시장에서 우리나라의 역할이 중요할 것으로 기대된다 .

본 연구의 향후 방향으로는 , 기업의 AI 안전에 대한 인식과 대비 현황에 대한 정성

적인 심층 인터뷰를 확장하여 정량 조사로써 수행될 필요가 있다. 국내에는 인공지능

공급 기업을 대상으로 한 국가승인통계인 인공지능산업실태조사가 있으며 , 이 실태조

사의 조사 문항을 통해 향후 기업의 AI 안전과 신뢰성에 대한 인식, 대비 현황에 대한

모니터링과 현황 파악을 할 수 있을 것으로 기대된다 .

- 83 -

참고문헌

[

국내 문헌

]

조원영 외(2022), 인공지능 신뢰체계 정립방안 연구. 소프트웨어정책연구소 연구보고

서.

TTA(2024). 2024 신뢰할 수 있는 인공지능 개발안내서 - 일반 분야

최경진 외(2024). EU 인공지능법 . ㈜박영사 .

NIA(2024), 미국의 인공지능 (AI) 정책·전략 현황과 변화 방향

유재흥 외(2024), 2023 년 국내외 인공지능 산업 동향 연구 보고서

유재흥 외(2021), “유럽(EU)의 인공지능 윤리 정책 현황과 시사점 : 원칙에서 실천으

로”, 소프트웨어정책연구소 이슈리포트

유재흥 외(2024). AI 안전의 개념과 범위. 소프트웨어정책연구소 이슈리포트 .

박강민 외(2024). 유럽연합 인공지능법 (EU AI Act)의 주요내용 및 시사점 . 소프트웨어

정책연구소 이슈리포트

NIA (2024), ‘

美

, AI 행정명령 (2023.10.30.) 의 주요 내용 및 이행 현황’

장진철 외(2024). 책임있는 AI를 위한 기업의 노력과 시사점 . SPRi 이슈리포트

(IS-177).

장진철 (2024), 로봇 분야의 AI 안전사고 사례와 시사점 , 정보과학회지 2024 년 10월호.

장진철 (2024), 생성형 AI 시대의 윤리 가이드라인 동향, NRC 데이터 브리프 2024년 2

월호.

장진철 (2024), AI 신뢰성 정립을 위한 위험 요인 정의, TTA저널 2024년 6월호.

이현경 외(2024). AI 윤리 정책 기반 구축 연구. 정보통신정책연구원 연구보고서 .

[국내 사이트 ]

동아일보 (2024.1.29.) “오늘부터 AI 딥페이크 선거운동 금지…선관위 , 62명 전담반

운영” https://www.donga.com/news/Politics/article/all/20240129/123280292/1

- 84 -

과기정통부 (2024.11.), “5월 윤 대통령 주재 ‘인공지능 (AI) 서울정상회의 ’ 후속조

치로 「한국 인공지능 안전연구소 」 출범”,

https://msit.go.kr/bbs/view.do?sCode=user&mPid=238&mId=113&bbsSeqNo=94&nttSeqN

o=3185174

https://www.samsungsds.com/us/blog/ai_governance.html

https://www.hankyung.com/article/202412069644i

[해외 문헌]

Stanford University (2024), AI Index Report 2024. https://aiindex.stanford.edu/

Jobin A. et al. (2019). The global landscape of AI ethics guidelines. Nature Machine

Intelligence volume 1, pp. 389-399.

Dias-Rodriguez et al. (2023), Connecting the dots in trustworthy Artificial

Intelligence: From AI principles, ethics, and key requirements to responsible AI

systems and regulation. Information Fusion. Vol. 99.

https://doi.org/10.1016/j.inffus.2023.101896.

Y. Bengio, S. Mindermann, D. Privitera, T. Besiroglu, R. Bommasani, S. Casper, Y.

Choi, P. Fox, B. Garfinkel, D. Goldfarb, H. Heidari, A. Ho, S. Kapoor, L. Khalatbari,

S. Longpre, S. Manning, V. Mavroudis, M. Mazeika, J. Michael, J. Newman, K. Y. Ng,

C. T. Okolo, D. Raji, G. Sastry, E. Seger, T. Skeadas, T. South, E. Strubell, F.

Tramer, L. Velasco, N. Wheeler, D. Acemoglu, O. Adekanmbi, D. Dalrymple, T. G.

Dietterich, P. Fung, P.-O. Gourinchas, F. Heintz, G. Hinton, N. Jennings, A. Krause,

S. Leavy, P. Liang, T. Ludermir, V. Marda, H. Margetts, J. McDermid, J. Munga, A.

Narayanan, A. Nelson, C. Neppel, A. Oh, G. Ramchurn, S. Russell, M. Schaake, B.

Scholkopf, D. Song, A. Soto, L. Tiedrich, G. Varoquaux, E. W. Felten, A. Yao, Y.-Q.

Zhang, O. Ajala, F. Albalawi, M. Alserkal, G. Avrin, C. Busch, A. C. P. de L. F. de

Carvalho, B. Fox, A. S. Gill, A. H. Hatip, J. Heikkila, C. Johnson, G. Jolly, Z. Katzir,

S. M. Khan, H. Kitano, A. Kruger, K. M. Lee, D. V. Ligot, J. R. Lopez Portillo, D., O.

- 85 -

Molchanovskyi, A. Monti, N. Mwamanzi, M. Nemer, N. Oliver, R. Pezoa Rivera, B.

Ravindran, H. Riza, C. Rugege, C. Seoighe, H. Sheikh, J. Sheehan, D. Wong, Y. Zeng,

“International AI Safety Report” (DSIT 2025/001, 2025);

https://www.gov.uk/government/publications/international-ai-safety-report-2025

NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0).

OECD Artificial Intelligence Papers (2024). Defining AI incidents and related terms.

https://www.oecd.org/en/publications/defining-ai-incidents-and-related-terms_d1a8d96

5-en.html

Wang et al. (2023). Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs.

arXiv:2308.13387

Zeng, et al. (2024) “AI Risk Categorization Decoded (AIR 2024): From Government

Regulations to Corporate Policies”, arXiv:2406.17864

CRS, Highlights of the 2023 Executive Order on Artificial Intelligence for Congress,

2023.11.17.

Arize Inc., The Rise of Generative AI In SEC Filings.

Oscar Delaney, Oliver Guest, Zoe Williams (2024), “Mapping Technical Safety

Research at AI Companies: A literature review and incentives analysis”.

arXiv:2409.07878.

OpenAI (2023). Preparedness Framework (Beta).

Google (2023). Introducing the Frontier Safety Framework.

Anthropic (2023), Anthropic's Responsible Scaling Policy version 1.0

Meta (2024), Llama Guard: LLM-based Input-Output Safeguard for Human-AI

Conversations.

Rada Mihalcea et al. (2024), “Why AI Is WEIRD and Should Not Be This Way:

Towards AI For Everyone, With Everyone, By Everyone.” arXiv:2410.16315.

Salton G. and McGill, M. J. 1983 Introduction to modern information retrieval.

McGraw-Hill, ISBN 0-07-054484-0.

- 86 -

Gartner(2023). Forecast Analysis: Artificial Intelligence Software, 2023-2027,

Worldwide.

Gartner(2023). Forecast Analysis: Artificial Intelligence Services, 2023-2027,

Worldwide.

Gartner(2023). Top Strategic Technology Trends for 2024: AI Trust, Risk and Security

Management. ID G00796422.

Gartner(2023). 2024 Tech Provider Top Trends: AI Safety. ID G00804240.

Gartner(2023). Top Trends in AI Public Policy and Regulations for 2024. ID

G00805314.

Gartner(2024). Getting Ready for the EU AI Act, Phase 2: Risk-Assess & Categorize.

ID G00811796.

[해외 사이트]

OECD AI Incident Monitor. https://oecd.ai/en/incidents

https://www.cbc.ca/news/canada/british-columbia/canlii-lawsuit-caseway-ai-1.7374964

https://indianexpress.com/article/technology/artificial-intelligence/chatgpt-voice-api-fi

nancial-scam-research-finding-9654537/

https://dailystar.co.uk/news/us-news/how-russia-tried-influence-election-34056606

https://mid-day.com/mumbai/mumbai-news/article/mumbai-objections-raised-against-

mandatory-ai-based-cctv-systems-in-hotels-restaurants-23423854

https://newsx.com/us-elections-2024/us-elections-2024-is-your-chat-gpt-biased-to-ka

mala-harris-find-out-here

https://news.abplive.com/technology/french-family-sue-file-lawsuit-against-tiktok-cha

rges-of-exposing- teens-teenage-to-harmful-dangerous-content-1729204

https://indianexpress.com/article/world/tesla-electric-car-crashes-bursts-into-flames-

killing-4-in-france-9620520/

https://www.pbs.org/newshour/politics/the-un-adopts-a-resolution-backing-efforts-to-

- 87 -

ensure-artificial-intelligence-is-safe-secure-and-trustworthy

https://www.globalcompliancenews.com/2024/04/24/https-insightplus-bakermckenzie-c

om-bm-data-technology-international-the-united-nations-adopts-its-first-resolution-

on-ai_04152024-2/

[소프트웨어정책연구소]에 의해 작성된 [SPRI 보고서]는 공공저작물 자유이용허락 표시기준

제 4유형(출처표시-상업적이용금지-변경금지)에 따라 이용할 수 있습니다.

(출처를 밝히면 자유로운 이용이 가능하지만, 영리목적으로 이용할 수 없고, 변경 없이 그대로 이용해야 합니다.)

주 의

1. 이 보고서는 소프트웨어정책연구소에서 수행한 연구보고서입니다.

2. 이 보고서의 내용을 발표할 때에는 반드시 소프트웨어정책연구소에서 수행한

연구결과임을 밝혀야 합니다.

0 views·104 pages

AI 신뢰성 및 윤리 제도 연구 A Study on AI Trustworthiness and Ethics: a Corporate Preparedness Perspective PDF Free Download

AI 신뢰성 및 윤리 제도 연구 A Study on AI Trustworthiness and Ethics: a Corporate Preparedness Perspective PDF free Download. Think more deeply and widely.

Uploaded by holly328521 on 3/4/2026

/104

100%