Meta, 개념 기반 분할 모델 SAM 3 공개

Meta AI Research가 2026년 8월 4일, “개념(concept)” 단위로 여러 물체 인스턴스를 한 번에 분할·추적하는 새 모델 SAM 3(SAM3, Segment Anything with Concepts)를 공개했다. 기존 SAM 계열이 점이나 박스로 물체 하나를 지정해 분할하는 방식이었다면, SAM 3는 텍스트나 이미지 예시로 “개념”을 지정하면 그 개념에 해당하는 모든 대상을 이미지·영상 전체에서 찾아 분할·추적한다.

무엇이 달라졌나

Meta의 공식 발표에 따르면 SAM 3는 Promptable Concept Segmentation(PCS)이라는 새로운 과제를 수행한다. 텍스트 프롬프트(“빨간 야구모자를 쓴 사람”처럼 짧은 명사구)나 이미지 예시(exemplar), 또는 둘의 조합을 입력하면, 해당 개념과 일치하는 모든 인스턴스를 이미지 또는 영상 전체에서 탐지·분할·추적한다. 기존 SAM/SAM 2가 “이 지점의 물체를 분할해줘”라는 단일 인스턴스 프롬프트에 초점을 맞췄던 것과 비교하면, 여러 개체를 개념 단위로 동시에 처리할 수 있다는 점이 핵심 차이다.

아래는 같은 사진에 “빨간 야구모자를 쓴 사람”이라는 개념을 적용했을 때 SAM 2와 SAM 3가 어떻게 다르게 동작하는지 보여주는 예시다. SAM 2는 지정한 지점 하나에 해당하는 인스턴스만 분할하는 반면, SAM 3는 개념에 맞는 인스턴스를 이미지 전체에서 모두 찾아 함께 분할한다. 사진 속에는 빨간 야구모자를 쓴 사람이 두 명 있는데, SAM 2는 그중 지정된 한 명만 분할하고, SAM 3는 “빨간 야구모자를 쓴 사람”이라는 개념에 해당하는 두 명 모두를 한 번에 찾아 분할한다.

SAM 3는 아키텍처 면에서도 변화가 있다. 이미지 단위 검출기와 영상 트래킹을 위한 메모리 기반 모듈이 하나의 백본을 공유하는 통합 구조로 설계됐고, “presence head”라는 요소를 통해 “이 개념에 해당하는 대상이 존재하는가”와 “그 대상이 어디에 있는가”라는 두 판단을 분리해 처리한다. Meta에 따르면 이 구조 덕분에 탐지 정확도가 개선됐다.

학습 규모와 성능

Meta는 SAM 3를 이미지와 영상에 걸쳐 400만 개의 고유 개념 라벨로 학습시켰다고 밝혔다. 학습 데이터에는 정답과 헷갈리기 쉬운 hard negative 사례도 포함해 모델의 구분 능력을 강화했으며, 이 데이터는 자체적으로 구축한 확장 가능한 데이터 엔진으로 만들어졌다. 성능 측정을 위해 Meta는 **SA-Co(Segment Anything with Concepts)**라는 새 벤치마크를 함께 공개했고, 이 벤치마크에서 SAM 3는 기존 시스템 대비 이미지·영상 PCS 작업 모두에서 약 2배의 성능 향상을 보였다고 밝혔다. 다만 구체적인 비교 대상 시스템이나 세부 점수는 공식 발표에 명시되지 않아, 정확한 수치가 궁금하다면 원문 확인이 필요하다.

왜 중요한가

• 데이터 라벨링 효율화: 동일 개념의 다수 인스턴스를 한 번의 프롬프트로 처리할 수 있어, 데이터셋 구축·라벨링 작업 시간을 줄일 수 있다.
• 영상 추적과의 결합: 개념 기반 분할이 영상 트래킹과 결합되면, 특정 종류의 객체를 프레임 전체에서 지속적으로 추적하는 응용(스포츠 분석, 매장 내 동선 분석 등)에 활용될 수 있다.
• 생태계 통합: Ultralytics 패키지(8.3.237 버전)에 SAM 3가 통합되어, 기존 SAM 계열 모델을 사용하던 개발 파이프라인에서 상대적으로 쉽게 전환할 수 있다.

참고

이 사이트의 SAM과 YOLO의 차이 글에서 SAM 계열 모델과 YOLO의 근본적인 차이(탐지 vs. 분할)를 다룬다. SAM 3는 이 비교에서 “분할” 쪽 능력이 개념 단위로 확장된 사례로 볼 수 있다. SAM의 인코더-디코더 구조 자체가 궁금하다면 Segment Anything Model(SAM)이란?에서 다룬다. 또한 SAM 3가 실제 과학 연구에 적용된 사례는 버클리랩, SAM 3·DINOv3로 영상 분석 시간 단축에서 볼 수 있다.

정확한 벤치마크 수치, 라이선스 조건, API 세부 사항은 계속 업데이트될 수 있으므로 실제 도입 전 Meta AI Research 공식 발표를 직접 확인하는 것을 권장한다.