BC카드, AI 경량화 기술 개발… 성능 유지하며 업무 속도 3배 향상

(이코노미뉴스 = 박현우 기자) BC카드(대표이사 사장 김영우)가 AI 모델 크기를 줄이면서 업무 처리 속도는 3배 가까이 향상시킨 기술을 개발 및 적용 완료했다고 19일 밝혔다.

생성형 AI 서비스에 활용되는 대규모언어모델(LLM)은 규모가 커질수록 많은 GPU 메모리와 연산 자원이 필요해 고성능 장비 투자가 필수적이다. BC카드는 추가적인 GPU 투자 없이 기존 AI 인프라의 활용도를 극대화하기 위해 AI 성능은 유지하면서 연산 부담을 줄이는 ‘양자화’ 경량화 기술을 적용했다.

■ 310억 개 파라미터 모델 경량화… 성능은 98.7% 보존

BC카드가 310억 개의 파라미터를 가진 AI 모델(31B)에 구성 숫자의 정밀도를 16비트에서 4비트로 낮추는 기술을 적용한 결과, 모델 용량이 62.5GB에서 19.5GB로 69% 축소됐다. 반면 동일 GPU 환경에서 한국어 생성 처리량은 초당 205토큰에서 530토큰으로 3배 가까이 늘었고 평균 응답 시간은 24초에서 9초로 단축됐다.

용량 감소에도 한국어 이해 및 추론 능력 등 8종 성능 평가에서 원본 대비 98.7%의 성능을 유지했다. 그 결과 과학기술정보통신부 주관 ‘K-AI 리더보드’ 대형 모델 부문 종합 10위를 차지했으며, 등재 모델 중 4비트 양자화를 명시한 모델로는 유일하다. BC카드는 한국어 특성을 반영한 압축 기준 조정 기술 등 2건의 특허 출원도 함께 진행 중이다.

■ 사내 플랫폼 ‘BCGPT’ 적용 및 금융 보안 최적화

이 기술은 지난 7월부터 사내 금융 특화 AI 플랫폼인 ‘BCGPT’와 ‘MOAI’에 실제 적용됐다. 서버용 GPU뿐 아니라 일반 PC급 GPU까지 연산 자원으로 활용할 수 있게 되어 장비 투자 부담을 줄였으며, 자체 인프라 내 처리로 금융 보안 환경에도 최적화됐다.

오성수 BC카드 상무는 “AI 모델의 성능을 유지하면서 비용과 속도를 함께 개선하는 것이 실무 활용의 핵심”이라며 “경량화 기술을 적극 적용해 효율적인 AI 활용 환경을 만드는 데 기여할 것”이라고 전했다.

[이코노미뉴스 View: 비용 효율성과 금융 보안을 동시에 잡은 K-금융 AI의 혁신] BC카드의 4비트 AI 양자화 경량화 기술은 추가적인 인프라 비용 부담 없이 AI 연산 효율성을 극대화한 기술적 전문성(Expertise)의 우수 사례다. 사내 온프레미스 인프라 내 처리 구조를 통해 금융 보안 규제를 준수하는 동시에 중소·스타트업까지 확장 가능한 디지털 브릿지(Digital Bridge) 솔루션을 확보했다. 인프라 운영비 절감과 속도 개선이라는 실질적 결실(Yield)을 거둔 이번 성과는 금융권 생성형 AI 도입의 새로운 기술 표준을 제시할 것으로 평가된다.