EU AI Act 이후, 회사 AI 서비스가 먼저 점검해야 할 투명성·딥페이크·저작권 체크리스트

AI 기능을 붙이기 전에 먼저 확인해야 할 것은 “무엇을 만들었는가”보다 “사용자에게 무엇을 알리고, 어떤 데이터를 쓰며, 어떤 위험을 통제할 것인가”입니다.

들어가며 — 독자가 지금 이 문제를 검색하는 이유

회사에서 생성형 AI를 도입하는 속도가 빨라졌습니다.

챗봇, 문서 요약, 마케팅 콘텐츠 생성, 사내 지식 검색, 교육 영상 제작처럼 AI가 들어갈 수 있는 업무도 계속 늘고 있습니다.

하지만 실무자가 실제로 마주하는 질문은 꽤 구체적입니다.

• AI가 만든 콘텐츠라는 사실을 어디까지 알려야 할까?
• 딥페이크나 합성 콘텐츠를 사내 교육·마케팅에 써도 괜찮을까?
• 외부 저작물을 AI 학습이나 프롬프트에 넣어도 되는가?
• AI 에이전트가 사내 시스템에 접근할 때 보안 기준은 어떻게 잡아야 할까?
• 프롬프트 인젝션은 개발팀만 신경 쓰면 되는 문제일까?

최근 EU AI Act, GPAI Code of Practice, OWASP LLM Top 10, NIST GenAI Risk Profile, 미국 Copyright Office의 AI 저작권 보고서가 함께 주목받는 이유도 여기에 있습니다.

이제 AI 도입은 단순한 기술 검토가 아닙니다. 투명성, 보안, 저작권, 내부 통제 기준을 함께 정리해야 하는 업무가 되었습니다.

1. “AI 기능을 넣었다”보다 먼저 정해야 할 투명성 기준

EU는 AI Act 공식 페이지에서 범용 AI 모델, 즉 GPAI 관련 규칙이 2025년 8월부터 적용된다고 설명하고 있습니다. 또한 GPAI Code of Practice는 공식 페이지에서 2025년 7월 10일 공개되었고, 2026년 7월 31일 업데이트된 것으로 확인됩니다.

출처: EU AI Act regulatory framework, GPAI Code of Practice

실무 관점에서 중요한 것은 “우리 서비스가 AI를 쓴다”는 사실 자체보다, 사용자가 어떤 상황에서 AI와 상호작용하는지 분명히 알 수 있어야 한다는 점입니다.

예를 들어 다음과 같은 상황을 생각해볼 수 있습니다.

• 고객 상담 챗봇이 사람 상담원처럼 응답하는 경우
• AI가 작성한 문서를 사람이 검토 없이 외부에 배포하는 경우
• AI가 만든 이미지나 영상을 마케팅 콘텐츠에 사용하는 경우
• 사내 교육 자료에 합성 음성·합성 인물을 사용하는 경우

이때 필요한 것은 추상적인 윤리 선언이 아닙니다.

서비스 화면, 문서 하단, 콘텐츠 설명, 내부 승인 절차에 “AI 사용 사실을 어떻게 표시할 것인가”를 정하는 일입니다.

특히 딥페이크나 합성 콘텐츠는 더 조심해야 합니다.

마케팅, 교육, 사내 커뮤니케이션 목적이라도 실제 인물처럼 보이는 이미지·영상·음성이 포함된다면 표시 기준을 먼저 정해야 합니다.

확인된 리서치 범위 안에서는, EU AI Act와 GPAI Code of Practice가 투명성 및 관련 의무를 강조하고 있다는 점까지 확인할 수 있습니다. 다만 구체적인 적용 여부는 서비스 유형, 배포 지역, 사용 방식에 따라 추가 검토가 필요합니다.

2. 프롬프트 인젝션은 개발 이슈가 아니라 업무 보안 이슈다

OWASP GenAI Security Project는 LLM01:2025 Prompt Injection과 OWASP Top 10 for LLM Applications 2025를 공개했습니다.

출처: OWASP LLM01: Prompt Injection, OWASP Top 10 for LLM Applications 2025

프롬프트 인젝션은 단순히 “프롬프트를 잘 쓰면 해결되는 문제”가 아닙니다.

업무 시스템에 연결된 AI가 외부 입력을 읽고, 사내 문서를 검색하고, 도구를 실행하고, 결과를 다시 출력하는 순간 보안 이슈가 됩니다.

실무적으로는 다음 질문을 던져야 합니다.

• AI가 읽는 입력 중 신뢰할 수 없는 외부 입력은 무엇인가?
• 사용자의 요청과 시스템 지시를 분리해서 처리하고 있는가?
• AI가 호출할 수 있는 도구의 권한은 최소화되어 있는가?
• 민감정보가 응답에 섞여 나가지 않도록 차단하거나 검토하는가?
• AI 응답을 사람이 검토해야 하는 업무와 자동 실행 가능한 업무를 구분했는가?
• 로그에 남겨야 할 것과 남기면 안 되는 민감정보를 구분했는가?

NIST도 GenAI 위험 관리를 위한 AI RMF Generative AI Profile을 공식 발행했습니다.

출처: NIST AI RMF Generative AI Profile

즉, 프롬프트 인젝션 대응은 개발팀만의 입력 필터링 문제가 아닙니다.

업무 담당자, 보안 담당자, 법무·컴플라이언스 담당자가 함께 “AI가 무엇을 읽고, 무엇을 실행하고, 무엇을 외부에 보여줄 수 있는지”를 정해야 하는 문제입니다.

3. AI 저작권 리스크는 “학습 데이터가 합법인가”보다 좁게 봐야 한다

미국 Copyright Office는 AI와 저작권 보고서를 단계적으로 공개했습니다.

2025년 1월 Part 2는 AI 생성물의 저작권성을 다루고, 2025년 5월 Part 3 사전공개본은 생성형 AI 학습을 다룹니다.

출처: U.S. Copyright Office AI 자료, Part 2 Copyrightability Report, Part 3 Generative AI Training Report Pre-Publication Version

실무자가 이 이슈를 다룰 때 “AI 학습은 합법인가?”라는 큰 질문에서 시작하면 실행 기준을 만들기 어렵습니다.

대신 다음처럼 내부 기준으로 좁혀보는 편이 현실적입니다.

• 사내 기밀 자료를 AI 도구에 입력해도 되는가?
• 외부 저작물을 프롬프트나 참고자료로 넣어도 되는가?
• AI가 만든 이미지·문장·코드를 그대로 외부 공개해도 되는가?
• AI 산출물을 사람이 수정했을 때 저작권·표시 기준은 어떻게 볼 것인가?
• 분쟁이 생겼을 때 어떤 사용 기록과 승인 기록을 남길 것인가?

EU GPAI Code of Practice도 투명성과 저작권 준수를 핵심 축으로 제시하고 있습니다.

출처: GPAI Code of Practice

따라서 회사의 AI 저작권 정책은 거창한 법률 해석보다, 업무 현장에서 반복되는 사용 장면을 기준으로 먼저 만들어야 합니다.

예를 들면 다음과 같습니다.

• 공개 블로그 초안 작성에 AI를 쓰는 경우
• 고객 제안서 문구를 AI로 다듬는 경우
• 유료 이미지나 기사 내용을 AI에게 요약시키는 경우
• 사내 회의록을 외부 AI 서비스에 입력하는 경우
• AI가 만든 결과물을 광고·교육·영업 자료에 재사용하는 경우

각 상황마다 “허용, 제한, 금지, 승인 필요”를 나눠두면 실무자가 판단하기 쉬워집니다.

바로 적용하는 체크리스트 또는 비교 기준

아래 항목은 회사 AI 서비스나 사내 AI 도입 전 최소한 점검해볼 수 있는 기준입니다.

1. 투명성 표시

• [ ] 사용자가 AI와 상호작용하고 있다는 사실을 알 수 있는가?
• [ ] AI 생성 콘텐츠임을 표시해야 하는 화면·문서·콘텐츠 유형을 정했는가?
• [ ] 딥페이크·합성 이미지·합성 음성·합성 영상 사용 시 별도 고지 기준이 있는가?
• [ ] 사내 콘텐츠와 외부 공개 콘텐츠의 표시 기준을 구분했는가?

2. 저작권·콘텐츠 사용

• [ ] AI 도구에 입력해도 되는 자료와 금지 자료를 구분했는가?
• [ ] 외부 저작물, 유료 자료, 고객 제공 자료의 사용 기준을 정했는가?
• [ ] AI 산출물을 외부에 공개하기 전 검토 절차가 있는가?
• [ ] AI 산출물의 재사용, 수정, 배포 승인 기준이 있는가?
• [ ] 분쟁 발생 시 확인할 수 있는 사용 기록을 남기는가?

3. 프롬프트 인젝션·보안

• [ ] 외부 입력과 내부 지시를 구분해 처리하는가?
• [ ] AI가 접근할 수 있는 문서·시스템·도구 권한을 최소화했는가?
• [ ] AI가 자동 실행할 수 있는 업무와 사람 승인이 필요한 업무를 구분했는가?
• [ ] 민감정보가 응답에 포함되지 않도록 차단·검토 기준을 마련했는가?
• [ ] 로그에 남길 정보와 남기면 안 되는 정보를 구분했는가?

4. 내부 운영 기준

• [ ] AI 사용 정책을 법무·보안·현업이 함께 검토했는가?
• [ ] 서비스 출시 전 체크리스트가 있는가?
• [ ] 정책 위반이나 사고 발생 시 대응 프로세스가 있는가?
• [ ] 규제·가이드라인 업데이트를 주기적으로 확인하는 담당자가 있는가?

마무리 + 생각해볼 질문 1개

AI 도입의 성패는 모델 성능만으로 결정되지 않습니다.

사용자에게 무엇을 알릴지, 어떤 콘텐츠를 AI로 만들 수 있는지, 어떤 데이터를 넣으면 안 되는지, AI가 어디까지 실행할 수 있는지에 대한 내부 기준이 함께 있어야 합니다.

EU AI Act, GPAI Code of Practice, OWASP LLM Top 10, NIST GenAI Risk Profile, 미국 Copyright Office의 AI 저작권 보고서는 서로 다른 영역을 다루지만, 실무자에게 던지는 메시지는 비슷합니다.

AI를 더 많이 쓰기 전에, AI를 안전하게 쓸 수 있는 기준부터 정해야 한다는 것입니다.

생각해볼 질문은 하나입니다.

우리 회사의 AI 서비스나 업무 자동화는 지금 “기능 목록”보다 “사용자 고지·권한·저작권·보안 기준”이 먼저 정리되어 있는가?