Firefox 등의 개발로 알려진 Mozilla가 설립한 오픈소스 AI 생태계 구축을 목표로 하는 스타트업 'Mozilla.ai '은, 2026년 7월 6일, 대규모 언어 모델(LLM)을 효과적으로 운영하기 위한 오픈소스 컨트롤 플레인 'Otari'를 출시했다.
Mozilla.ai는 AI 개발 기업이 데이터를 비공개로 전환하는 흐름이 지속되는 가운데, '개방성과 투명성을 확보하고 설명 책임을 다하면서 AI를 개발하는 기업'을 목표로 설립되었는데, Mozilla.ai 개발자가 개방적이고 유연하며 스스로 제어할 수 있는 AI 시스템을 구축해야 한다고 생각하고 있으며, 그 결과로 Otari가 개발되었다는 것.
Otari는, LLM 인프라를 일원화 관리하는 ‘컨트롤 플레인’으로, 여러 LLM 제공업체에 걸친 요청의 라우팅, 비용 관리, 거버넌스, 배포, 신뢰성 향상 등을 개발자와 엔지니어링 팀이 일원화하여 관리할 수 있도록 지원한다.
개발자는 하나의 플랫폼에서 다음과 같은 기능을 사용할 수 있는데....
· 단일 엔드포인트를 통해 여러 LLM 제공업체에 요청을 라우팅
· 예산 관리 기능, 이용 현황 시각화, 자동 예산 제한을 통해 LLM 이용 비용을 관리
· API 키와 워크스페이스, 접근 권한을 일원화하여 관리하고 거버넌스를 강화
· 클라우드 호스트형과 셀프 호스트형 모두 지원
· 요청을 최적의 LLM으로 자동 분배하는 ‘인텔리전트 루팅’과 장애 발생 시 다른 LLM으로 자동 전환하는 ‘자동 페일오버’를 통해 서비스 신뢰성을 향상
· 도구와 오케스트레이션 기능을 갖춘 AI 에이전트 개발용 ‘Agent Harnesses’를 활용해 AI 에이전트 대응 애플리케이션을 구축
Mozilla.ai 에 따르면, Otari는 LLM 인프라를 일원화해서 관리할 수 있는 환경을 제공함으로써
개발자가 복잡한 인프라 운영에 소요되는 시간을 줄이고, AI 애플리케이션 개발에 집중할 수 있도록 하는 것이 목적이라고 한다.
Otari를 개발한 이유에 대해, Mozilla.ai는 "LLM을 도입하는 개발자와 조직과 협업하면서, 우리는 같은 인프라스트럭처상의 과제가 여러 번 반복되는 모습을 직접 목격했습니다. 각 팀은 자체 라우팅 로직 구축, 프로바이더 키 관리, 사용 현황 추적 및 예산 관리, 그리고 각 애플리케이션의 거버넌스 구현을 각각 독자적으로 수행했습니다. 우리는 그것들이 애플리케이션과 LLM 제공자 사이에 위치한 전용 컨트롤 플레인에서 관리되어야 한다고 생각하며, 개발자가 인프라스트럭처를 관리·운용할 수 있는 단일 공간을 제공하고자 한다"고 설명하고 있다.
Otari는 오픈소스 프로젝트로 공개되었으며, 소스코드는 GitHub 저장소에서 누구나 이용할 수 있다.
