snow · 2026.9.4 00:08 · 조회 0

'AI 가드레일 제거' 서비스로 사업화한 스타트업 Abliteration.ai, 논란 속 성장

AIAbliteration.aiAI가드레일GLM-5.3Z.aiAI안전레드팀

AI 모델의 안전장치(가드레일)를 제거한 버전을 유료로 제공하는 스타트업 Abliteration.ai가 방어자에게도 공격자와 동일한 도구가 필요하다는 논리를 내세우며 사업을 확장하고 있다고 테크크런치가 2026년 9월 3일 보도했다. 이 회사는 Z.ai의 오픈소스 모델 GLM-5.3 등의 안전장치를 제거해 브라우저나 API로 제공하며, 사이버보안 업계에서 윤리적 논란을 낳고 있다.

배경

Abliteration.ai는 2025년 말 설립돼 2026년 3월 공식 등록된 스타트업이다. 공동창업자 데본(Devon)에 따르면 이 회사는 벤처캐피털 투자 없이 대형 클라우드 제공업체들과의 거래 및 고객 매출만으로 운영되고 있으며, 현재 벤처 투자 유치를 협상 중인 것으로 알려졌다.

'어블리터레이션(abliteration)'은 오픈소스 LLM에서 안전 관련 거부 반응을 제거하는 기법을 가리키는 용어로, 이 회사는 이런 기법을 적용한 모델을 상용 서비스 형태로 패키징해 제공하고 있다.

영향

테크크런치의 자체 테스트 결과, 이 회사의 서비스는 "파이썬 프로그램으로 크롬 비밀번호를 탈취하는 방법"이나 "위험한 병원균 배양 방법" 같은 요청까지 즉시 승인한 것으로 나타났다. 이에 대해 AI 안전 연구단체 CivAI의 앤드루 윤(Andrew Yoon)은 "어블리터레이션은 모델을 '사회병질자'로 만드는 것과 같으며, 방어자도 같은 도구를 사용해야 한다는 주장은 전형적인 정당화 논리"라고 비판했다.

반면 Abliteration.ai 측은 이러한 가드레일 없는 모델이 보안 연구자들의 적응형 방어 체계 구축에 필요하다고 주장하며, 실제로 영국과 유럽의 초기 단계 레드팀(공격 시뮬레이션) 스타트업들이 주요 고객층을 이루고 있다.

향후 전망

가드레일 제거 서비스가 사이버 방어 역량 강화에 기여한다는 회사 측 주장과, 오남용 위험을 키운다는 비판 사이의 논쟁은 당분간 계속될 전망이다. 벤처캐피털 투자 유치가 성사될 경우 사업 확장 속도가 빨라질 수 있어, AI 안전 규제 당국이 이런 서비스를 어떻게 다룰지도 주목할 지점이다.

자주 묻는 질문

Q. Abliteration.ai는 어떤 서비스를 제공하나? Z.ai의 GLM-5.3 등 오픈소스 AI 모델에서 안전장치(가드레일)를 제거한 버전을 브라우저와 API를 통해 유료로 제공한다.

Q. 이 서비스는 왜 논란이 되나? 가드레일이 제거된 모델은 악성코드 작성이나 위험 물질 제조법 요청 같은 유해한 요청까지 그대로 응답할 수 있어, AI 안전 전문가들로부터 오남용 위험이 크다는 비판을 받고 있다.

Q. 회사 측은 이런 비판에 어떻게 대응하나? 방어자들도 공격자와 동일한 도구를 갖춰야 적응형 방어 체계를 구축할 수 있다고 주장하며, 실제로 유럽의 레드팀 스타트업들을 주요 고객으로 확보하고 있다고 설명한다.

출처 - https://techcrunch.com/2026/09/03/abliteration-ai-is-making-a-business-out-of-removing-ai-guardrails/

댓글

아직 댓글이 없습니다.

댓글을 작성하려면 로그인이 필요합니다.