SAM2 다양하게 이용해보기!!

🎯 SAM 기반 이미지 및 비디오 추적기 | Image & Video Tracker using SAM

이 프로젝트는 Meta의 Segment Anything Model (SAM)을 기반으로 이미지 및 영상에서 특정 색상을 기준으로 객체를 분할하고 추적하는 Python 스크립트 모음입니다.
This project uses Meta’s Segment Anything Model (SAM) to segment and track objects in images and videos based on color.

Meta에서 공개한 강력한 범용 분할 모델 SAM은 객체의 경계와 형태를 고정된 프롬프트 없이도 정확하게 식별할 수 있습니다. 본 프로젝트는 이 기능을 색상 기반 객체 추적에 응용하여, 다양한 이미지 및 영상 내 응용 가능성을 탐색합니다.
SAM by Meta can detect object boundaries with high precision even without predefined prompts. This project applies SAM for color-based object tracking, showcasing its flexibility in both image and video domains.

---

📁 프로젝트 구성 | Project Structure

파일명 (Filename)	설명 (Description)
image_color_sam2.py	마우스 클릭으로 선택한 색상 영역을 기준으로 이미지에서 객체를 분할합니다. SAM 모델을 활용하여 마스크를 생성하고, 해당 객체에 색상을 입힙니다. Interactive color-based object segmentation on static images using SAM.
video_color_sam2.py	영상 내 특정 색상을 기준으로 SAM을 이용하여 객체를 추적합니다. 마우스로 색상을 선택하면 프레임마다 유사 객체를 추적하며 마스크를 생성합니다. Color-based object tracking in video streams using SAM and mouse-guided selection.
tracking_sam2.py	중복 객체 제거, 중심점 계산, 거리 기반 보정 등 정교한 추적 기능을 포함한 SAM 기반 객체 추적 스크립트입니다. Advanced tracking using SAM with centroid detection, duplicate filtering, and repulsion adjustment.
video_sam2_demo.py	마우스로 클릭한 객체를 SAM으로 추적하는 영상 데모입니다. 단순한 실험용 UI 및 기능 확인용으로 적합합니다. Simple video demonstration of SAM tracking triggered by mouse input.
test_sam2.py	Kalman 필터 생성, 중복 제거, 중심점 계산 등 SAM과 다양한 기능을 테스트하기 위한 종합 테스트용 스크립트입니다. Multi-function test script including SAM, Kalman filter creation, and object duplicate handling.
color_run_sam2.py	다양한 색상을 임의로 생성하고, 클릭 이벤트 기반 객체 추적을 실행합니다. 색상 기반 마스크 저장 기능 포함. Interactive color-triggered segmentation with random color generation and save functionality.
last_test_sam2.py	다양한 기능을 통합한 최종 테스트 스크립트로, 마스크 시각화 및 포인트 기반 추적 확인용입니다. Final integration test script including mask display and point-based interaction.

---

🔧 설치 방법 | Installation

1️⃣ Python 가상환경 생성 | Create a virtual environment

conda create -n sam_env python=3.10 -y
conda activate sam_env

2️⃣ 필수 라이브러리 설치 | Install dependencies

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install opencv-python matplotlib
pip install git+https://github.com/facebookresearch/segment-anything.git

3️⃣ SAM 사전학습 모델 다운로드 | Download SAM pretrained model

Meta의 공식 모델은 아래 경로에서 받을 수 있습니다.
Download the pretrained model from Meta using:

wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_h.pth -P ./checkpoints

SAM의 작동 방식에 대한 자세한 내용은 Segment Anything 논문과 공식 GitHub 문서를 참고하세요.
For more details on how SAM works, refer to the Segment Anything Paper and official GitHub.

---

▶️ 사용 방법 | How to Use

📷 이미지 색상 기반 분할 | Image color-based segmentation

python image_color_sam2.py --image_path path/to/image.jpg

🎥 영상 색상 기반 추적 | Video color-based tracking

python video_color_sam2.py --video_path path/to/video.mp4

🧪 영상 데모 실행 | Run SAM video demo

python video_sam2_demo.py --video_path path/to/sample.mp4

사용자는 영상/이미지 속 객체의 색상을 선택하고 해당 색상과 유사한 픽셀 군집에 대해 SAM을 통해 마스크를 생성합니다. 이를 기반으로 객체를 프레임 단위로 추적합니다.
Users can select object colors in an image/video, and SAM generates masks for clusters of similar pixels to track them frame-by-frame.

---

💡 프로젝트 활용 및 확장 방향 | Notes and Potential Applications

• 본 프로젝트는 실시간 감시 시스템, 자동 로봇 시각 처리, 색상 기반 품질 검사 등의 산업적 응용에 적합합니다.
  This project is suitable for industrial applications like real-time surveillance, robotic vision, and color-based quality inspection.
• SAM은 prompt-free 분할 기능을 통해 영상 내 다양한 사물 인식 및 분리 작업에서 강력한 성능을 보이며, 이 프로젝트는 해당 모델의 유연성을 색상 분석 작업에 접목한 것입니다.
  SAM’s prompt-free segmentation offers high flexibility, and this project integrates it with color analysis for robust tracking.
• 다양한 색상 범위, 해상도, 조명 조건에서도 잘 작동하도록 구성되어 있으며, 코드 일부는 사용자 지정으로 확장 가능합니다.
  It is robust to color variation, resolution, and lighting, and can be easily extended for custom use cases.

✅ 본 프로젝트는 연구 및 프로토타이핑을 위한 시작점으로 활용되며, 향후 다음과 같은 방향으로 확장될 수 있습니다:
This project serves as a prototype and can be extended to:

• 실시간 영상 스트리밍 처리 (Real-time video streaming)
• 사용자 마우스 클릭 기반 객체 추적 (Click-to-track systems)
• 로봇 제어 또는 행동 트리거용 객체 인식 (Object-triggered robotic actions)

🔗 Github

https://github.com/utf-404/sam2_image_video_detection