로컬 LLM과 공개 AI API를 둘러싼 논쟁은 흔히 지나치게 단순화되는 경향이 있습니다.
한쪽에서는 모든 기업이 모델을 로컬에서 실행해야 한다고 주장합니다. 다른 한쪽에서는 엔터프라이즈용 AI API가 충분히 안전하며 운영하기 훨씬 쉽다고 말합니다.
민감한 엑셀 데이터를 다룰 때의 정답은 더 실질적입니다. 즉, 스프레드시트의 민감도, 보안 프로세스의 성숙도, 그리고 사용자가 실제로 필요로 하는 워크플로우에 맞춰 아키텍처를 구성해야 합니다.
상황에 따라 공개 API, 엔터프라이즈 AI 서비스, 로컬 모델, 프라이빗 VPC 배포, 하이브리드 비식별화(redaction) 워크플로우 모두가 정답이 될 수 있습니다.
엑셀 데이터에 특별한 주의가 필요한 이유
스프레드시트는 과소평가되기 쉽습니다.
하지만 스프레드시트에는 공식적인 BI 시스템에 포함되지 않은 다음과 같은 데이터들이 포함되어 있는 경우가 많습니다.
- 고객별 매출
- 급여 및 수수료
- 실적 전망
- 예산
- 이사회 보고용 수치
- 공급업체 계약 조건
- 고객 지원 데이터 추출본
- 세무 기록
- 운영상의 예외 사항
- 개인정보(PII)
직원이 이러한 파일을 챗봇에 업로드하면, 회사는 데이터가 어디로 가는지, 얼마나 보관되는지, 누가 접근할 수 있는지, 그리고 해당 행위가 정책을 준수하는지에 대한 통제권을 잃게 될 수 있습니다.
위험은 기술적인 부분에만 국한되지 않습니다. 절차상의 문제도 큽니다. 대부분의 스프레드시트 업로드는 일반적인 데이터 거버넌스 경로 밖에서 발생합니다.
다섯 가지 주요 선택지
1. 공개 챗봇 (Public chatbot)
가장 쉬운 방법입니다. 사용자가 챗봇을 열고 파일을 업로드한 뒤 분석을 요청하는 방식입니다.
공개 데이터나 가상 데이터를 다룰 때는 괜찮을 수 있습니다. 하지만 조직에서 해당 도구와 사용 사례를 명시적으로 승인하지 않았다면 기밀 파일을 다루기에는 위험합니다.
주요 장점은 속도이며, 주요 위험은 통제되지 않은 데이터 노출입니다.
2. 공개 API (Public API)
공개 API는 개발자에게 일반 소비자용 챗봇보다 더 많은 통제권을 부여합니다. 내부 앱을 구축하고, 전송되는 데이터를 제한하며, 프롬프트를 더 세밀하게 관리할 수 있습니다.
그러나 데이터는 여전히 회사의 환경을 벗어납니다. 공급업체의 데이터 사용, 보관, 로깅 및 규정 준수 약관이 중요해집니다.
많은 기업에서 공급업체 검토와 적절한 계약 체결 후 이 방식을 사용할 수 있습니다. 다만, 자동으로 안전하다고 간주해서는 안 됩니다.
3. 엔터프라이즈 AI 서비스 (Enterprise AI service)
엔터프라이즈 AI 플랫폼은 대개 더 강력한 개인정보 보호 약속, 관리자 제어, 암호화, 학습 미사용 보장, 데이터 보관 옵션 및 규정 준수 문서를 제공합니다.
OpenAI, Microsoft Azure OpenAI, AWS Bedrock, Google Vertex AI, Anthropic 등의 엔터프라이즈 서비스가 이에 해당합니다.
자체 GPU 인프라를 운영하지 않으면서도 강력한 모델 성능을 원하는 기업에게 가장 적합한 절충안이 되는 경우가 많습니다.
단점은 더 강력한 기업용 제어 하에 있더라도 처리가 여전히 회사 외부 서버에서 이루어진다는 점입니다.
4. 로컬 LLM (Local LLM)
로컬 LLM은 노트북, 워크스테이션, 서버 또는 내부 GPU 장비에서 실행됩니다.
가장 큰 장점은 통제권입니다. 데이터가 기기나 네트워크 내부에 머물 수 있습니다. 이는 프로토타입 제작, 프라이버시에 민감한 실험 또는 오프라인 사용 사례에 유용합니다.
하지만 다음과 같은 실질적인 단점이 있습니다.
- 모델 성능이 최신 고성능 API보다 낮을 수 있음
- 설정 과정이 까다로울 수 있음
- GPU 비용이 많이 들 수 있음
- 직접 구축하지 않는 한 모니터링이 제한됨
- 접근 제어 및 감사 로그 관리가 사용자의 책임임
- '로컬'이라고 해서 자동으로 규정을 준수하는 것은 아님
5. 프라이빗 VPC 또는 온프레미스 배포 (Private VPC or on-prem deployment)
로컬 AI의 엔터프라이즈 버전입니다.
모델은 ID 관리, 네트워킹, 로깅, 스토리지 및 보안 정책이 적용된 통제된 환경에서 실행됩니다. 팀은 내부 API를 노출하고 이를 승인된 애플리케이션에 연결할 수 있습니다.
매우 민감한 스프레드시트 워크플로우를 위한 가장 강력한 경로이지만, 운영 성숙도가 요구됩니다.
실질적인 의사결정 프레임워크
데이터 민감도를 첫 번째 필터로 사용하세요.
| 스프레드시트 유형 | 합리적인 AI 경로 |
|---|---|
| 공개 데이터 또는 예시 | 공개 챗봇 또는 API |
| 내부용이지만 저위험 데이터 | 승인된 엔터프라이즈 AI 서비스 |
| 기밀 비즈니스 데이터 | 계약 제어가 포함된 엔터프라이즈 API, 프라이빗 VPC 또는 승인된 내부 앱 |
| 규제 대상 또는 고도로 민감한 데이터 | 프라이빗 VPC, 온프레미스, 에어갭(Air-gapped) 또는 비식별화 워크플로우 |
| 민감도 미분류 | 분류 전까지 업로드 금지 |
그 다음 운영 측면의 질문을 던져보세요. "누가 시스템을 유지 관리할 것인가?"
회사가 GPU를 운영하고, 모델 서버를 패치하며, 로그를 모니터링하고, 결과물을 평가할 역량이 없다면, 완전한 로컬 배포는 오히려 새로운 위험을 초래할 수 있습니다. 이 경우 강력한 제어 기능을 갖춘 엔터프라이즈 AI 서비스를 사용하는 것이 관리되지 않는 로컬 모델보다 더 안전할 수 있습니다.
로컬이라고 해서 자동으로 안전한 것은 아닙니다
주변 시스템이 취약하다면 로컬 모델이라도 데이터를 유출하거나 잘못 처리할 수 있습니다.
흔히 발생하는 실수는 다음과 같습니다.
- 업로드된 파일을 암호화되지 않은 폴더에 저장
- 민감한 값이 포함된 프롬프트를 로그로 남김
- 모든 사용자에게 모든 파일에 대한 접근 권한 부여
- 생성된 코드가 네트워크에 접근하도록 허용
- 호스트 머신의 패치 업데이트 소홀
- 결과물을 관리되지 않는 도구로 복사
- 신뢰할 수 없는 소스의 모델이나 패키지 사용
프라이버시는 단순히 모델의 위치가 아니라 아키텍처 전체의 속성입니다.
공개 API라고 해서 자동으로 위험한 것도 아닙니다
반대의 경우도 마찬가지입니다.
엔터프라이즈 AI API는 강력한 제어 기능을 제공할 수 있습니다. 일부 제공업체는 비즈니스 또는 API 고객 데이터를 모델 학습에 기본적으로 사용하지 않는다고 명시합니다. 클라우드 제공업체는 프라이빗 네트워킹, IAM, 암호화, 감사 로그 및 데이터 보관 제어 기능을 제공하기도 합니다.
중요한 것은 구체적인 질문을 던지는 것입니다.
- 어떤 요금제인가?
- 어떤 계약 조건인가?
- 데이터 보관 설정은 어떠한가?
- 어느 리전인가?
- 어떤 로그가 남는가?
- 어떤 사용자가 접근하는가?
- 어떤 스프레드시트 데이터인가?
엔터프라이즈 제어가 적용된 공개 API는 많은 워크플로우에서 수용 가능할 수 있습니다. 반면, 무분별한 챗봇 업로드는 그렇지 않을 수 있습니다.
이상적인 민감 엑셀 워크플로우의 모습
민감한 스프레드시트 분석을 위한 좋은 워크플로우는 다음과 같아야 합니다.
- 분석 전 데이터 분류
- 승인된 저장소에 파일 보관
- 사용자 권한 강제 적용
- 계산을 위해 결정론적(deterministic) 도구 사용
- 모델에는 필요한 컨텍스트만 전송
- 도구로부터의 외부 유출 방지
- 소스 행, 시트, 수식 또는 쿼리 인용
- 프롬프트, 도구, 데이터 접근 및 결과물 로깅
- 관리자의 데이터 보관 제어 허용
- 프라이빗 또는 기업 승인 모델 엔드포인트 지원
이를 통해 팀은 통제되지 않은 복사-붙여넣기 행위 없이 AI의 유용성을 활용하는 실질적인 균형을 잡을 수 있습니다.
RowSpeak의 역할
RowSpeak은 스프레드시트 분석을 위한 워크플로우 레이어입니다. 즉, 다양한 모델 선택지 위에서 작동할 수 있습니다.
위험도가 낮은 팀의 경우 모델 엔드포인트는 승인된 엔터프라이즈 API가 될 수 있습니다. 민감한 배포의 경우 고객의 인프라에서 실행되는 프라이빗 LLM이 될 수 있습니다. 두 경우 모두 사용자 경험은 스프레드시트 작업에 집중됩니다. 데이터를 업로드하고, 질문하고, 차트를 생성하고, 근거를 검토하며, Excel-to-dashboard 워크플로우를 통해 엑셀 파일을 대시보드로 변환하는 과정입니다.
모델은 교체 가능합니다. 하지만 거버넌스가 적용된 워크플로우는 지속됩니다. 이것이 바로 이 결정이 단순한 모델 선택이 아니라 더 넓은 의미의 AI 비즈니스 인텔리전스 계획과 함께 다뤄져야 하는 이유입니다.
최종 체크리스트
엑셀 분석을 위해 로컬 LLM이나 공개 API를 선택하기 전에 다음 질문에 답해 보세요.
- 통합 문서에서 가장 민감한 필드는 무엇인가?
- 해당 도구가 그 데이터 등급에 대해 승인되었는가?
- 공급업체가 프롬프트, 파일 또는 결과물을 학습에 사용하는가?
- 데이터가 어디에서 처리되고 보관되는가?
- 대신 비식별화된 샘플을 사용할 수 있는가?
- 사용자에게 행 단위 또는 파일 단위의 권한이 필요한가?
- 계산이 결정론적으로 수행되는가?
- 답변을 감사(audit)할 수 있는가?
- 모델과 인프라를 누가 유지 관리하는가?
- 모델이 틀렸을 때 어떤 일이 발생하는가?
가장 좋은 아키텍처는 이념적으로 완벽한 것이 아닙니다. 스프레드시트의 위험 수준에 맞추면서 사용자에게 실질적인 분석 도움을 주는 아키텍처입니다. 공급업체 적합성이 주요 고민이라면, Copilot in Excel과 같은 익숙한 옵션을 프라이빗 워크플로우 도구와 비교해 보는 것도 도움이 됩니다.
참고 자료 및 추가 읽을거리
- OpenAI 엔터프라이즈 프라이버시: https://openai.com/enterprise-privacy/
- AWS Bedrock FAQ: https://aws.amazon.com/bedrock/faqs/
- Google Vertex AI 데이터 거버넌스 / 제로 데이터 보관: https://docs.cloud.google.com/vertex-ai/generative-ai/docs/vertex-ai-zero-data-retention
- vLLM OpenAI 호환 서버: https://docs.vllm.ai/en/latest/serving/openai_compatible_server/
- Ollama 라이브러리: https://ollama.com/library
