16정책 학습과 추론

정책(policy)이란#

정책은 "지금 보이는 것(관측)" 을 받아 "다음에 할 행동" 을 내놓는 함수입니다. 모방학습에서는 이 함수를 신경망으로 만들고, 15장에서 모은 시연 데이터로 사람의 행동을 흉내 내도록 학습시킵니다.

입력:  카메라 영상(front, side …) + 팔로워 관절 상태 (+ 작업 문장)
   ↓   [정책 신경망]
출력:  다음 관절 목표값 (action) — 한 개 또는 한 묶음(chunk)

학습이 끝나면 리더 암 대신 정책이 action 을 만들어 팔로워에 보냅니다. 13장의 텔레오퍼레이션 루프에서 "사람" 자리만 신경망으로 바뀐 것입니다.

어떤 정책을 고를까#

Seeed 위키(DM · RS)의 Training and Evaluation 절은 ACT, SmolVLA, Pi0, Pi0.5, GR00T N1.5 를 다룹니다. 위키는 --policy.type 으로 act, diffusion, pi0, pi0fast, sac, smolvla 등을 바꿔 쓸 수 있다고도 적습니다.

VLA(Vision-Language-Action) 는 영상과 *문장*을 함께 이해해 행동을 내는 큰 모델입니다. "빨간 블록을 상자에 넣어" 같은 지시를 바꿔 가며 여러 작업을 한 모델로 할 수 있지만, GPU·시간이 훨씬 많이 듭니다. 위키도 GR00T 에 대해 "ACT / Pi0 를 먼저 돌려 본 뒤 시도하라" 고 권합니다.

README 의 커뮤니티 쇼케이스에는 GR00T 계열 모델, Gemma 해커톤 프로젝트 등 reBot 으로 VLA 를 돌린 사례가 소개되어 있으니 아이디어를 얻을 때 둘러보세요.

학습 명령 — ACT#

위키(DM)의 ACT 학습 예시입니다. 로컬 데이터셋(15장에서 push_to_hub=false 로 녹화)이라면 repo_id 를 녹화 때와 똑같이 쓰고 --policy.push_to_hub=false 를 붙입니다.

lerobot-train \
  --dataset.repo_id=seeed_rebot_b601_dm/test \
  --policy.type=act \
  --output_dir=outputs/train/act_rebot_test \
  --job_name=act_rebot_test \
  --policy.device=cuda \
  --wandb.enable=false \
  --policy.push_to_hub=false \
  --steps=300000

SmolVLA 는 처음부터가 아니라 사전학습 모델에서 출발합니다.

pip install -e ".[smolvla]"

lerobot-train \
  --policy.path=lerobot/smolvla_base \
  --dataset.repo_id=${HF_USER}/mydataset \
  --batch_size=64 \
  --steps=20000 \
  --output_dir=outputs/train/my_smolvla \
  --job_name=my_smolvla_training \
  --policy.device=cuda \
  --wandb.enable=true

Pi0·Pi0.5·GR00T 의 전체 옵션과 LoRA 같은 PEFT 미세조정, 여러 GPU 학습(accelerate launch --multi_gpu)은 위키의 해당 탭을 그대로 따르세요. 옵션이 많고 버전에 따라 자주 바뀝니다.

GPU 와 시간 감각#

GPU 가 없다면 위키는 공식 튜토리얼의 Colab 노트북을 권합니다. CPU 로도 명령은 돌지만 현실적인 시간이 아닙니다. Jetson(JetPack 6.0/6.1)은 위키가 지원하는 환경으로, 주로 추론 쪽에 씁니다.

추론과 평가#

위키 방식 — lerobot-record 에 정책 넣기#

Seeed 위키(포크 버전)는 녹화 명령에 --policy.path 를 넣어 정책이 팔을 움직이는 장면을 평가 데이터셋으로 녹화합니다.

lerobot-record \
  --robot.type=seeed_b601_dm_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.can_adapter=damiao \
  --robot.cameras='{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: "MJPG"}, side: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30, fourcc: "MJPG"} }' \
  --robot.id=follower1 \
  --display_data=false \
  --dataset.repo_id=seeed/eval_test123 \
  --dataset.single_task="Put lego brick into the transparent box" \
  --policy.path=outputs/train/act_rebot_test/checkpoints/last/pretrained_model

upstream LeRobot 의 새 방식#

LeRobot 공식 문서의 최신 버전은 정책 배포에 **lerobot-rollout** 을 쓰고, --strategy.type 으로 base(기록 없이 빠른 확인), episodic(에피소드 단위 평가 녹화), sentry(연속 녹화·자동 업로드), highlight, dagger(사람 개입 수집)를 고릅니다. 느린 VLA(Pi0, Pi0.5, SmolVLA)는 --inference.type=rtc 로 부드럽게 실행할 수 있다고 안내합니다. 쓰고 있는 LeRobot 버전의 문서를 따르세요. 위키 포크와 upstream 의 명령이 다릅니다.

비동기 추론#

큰 모델은 추론에 시간이 걸려 팔이 멈칫거립니다. 위키의 Async Inference 는 정책 서버(GPU PC)와 로봇 클라이언트(팔 옆 PC)를 나누고, 행동 묶음을 미리 받아 두는 방식입니다(python -m lerobot.async_inference.policy_server / robot_client, --actions_per_chunk=50, --fixed_update_fps=30 등). 위키는 이 통신에 인증이 없고 pickle 역직렬화를 쓰므로 공용 인터넷에 노출하지 말라고 경고합니다.

실패 분석과 보강 루프#

성공률은 감이 아니라 숫자로 봅니다. 평가 프로토콜을 정해 두세요 — 예: 물체 위치 5곳 × 2회 = 10회, 매번 같은 리셋 자세에서 시작.

정책이 실패하는 장면에서 사람이 개입해 바로잡은 시연을 추가하는 방식을 DAgger 라고 합니다. upstream 의 dagger 전략이 이를 지원합니다. 핵심은 같습니다 — 정책이 약한 곳의 데이터를 보강해서 다시 학습합니다.

시뮬레이터로 "닫힌 루프" 체험하기#

정책의 본질은 매 순간 다시 보고 다시 결정하는 것(닫힌 루프)입니다. 녹화된 동작을 그대로 재생하는 것(열린 루프)과 비교해 봅시다.

def policy(obs):
    """관측 → 행동. 학습된 신경망 대신 규칙으로 만든 아주 단순한 정책"""
    cube, tcp = obs["cube"], obs["tcp"]
    dx, dy = cube[0] - tcp[0], cube[1] - tcp[1]
    dist_xy = (dx*dx + dy*dy) ** 0.5
    if dist_xy > 0.01:                       # 아직 큐브 위가 아니면 → 수평으로 다가가기
        step = min(0.05, dist_xy)
        return ("move", tcp[0] + dx/dist_xy*step, tcp[1] + dy/dist_xy*step, cube[2] + 0.08)
    if tcp[2] > cube[2] + 0.015:             # 큐브 위면 → 내려가기
        return ("move", cube[0], cube[1], cube[2] + 0.01)
    return ("grasp",)

arm.home(); arm.open()
for t in range(20):                          # 최대 20 스텝의 닫힌 루프
    obs = {"cube": arm.cube(), "tcp": arm.fk()}
    act = policy(obs)
    print(t, act[0], [round(v, 3) for v in act[1:]])
    if act[0] == "grasp":
        arm.close(); arm.wait(0.3)
        x, y, z = arm.fk()
        arm.move_to(x, y, z + 0.06, t=1.0, down=True)
        break
    if not arm.move_to(act[1], act[2], act[3], t=0.5, down=True):
        print("IK 실패 — 도달 불가 위치"); break

Sim-to-Real VLA 코스 (Seeed × NVIDIA)#

README 의 B601-RS 로드맵 Isaac Sim Simulation 항목과 쇼케이스에는 Seeed 스토어의 "Learning Physical AI - A Sim-to-Real VLA Pipeline with Seeed reBot Arm and NVIDIA Isaac" 코스가 링크되어 있습니다(페이지). 시뮬레이션에서 데이터를 만들고 VLA 를 학습해 실물 reBot 으로 옮기는 흐름을 다루는 것으로 소개됩니다. 커리큘럼·가격·형식은 페이지에서 직접 확인하세요.

관련 오픈소스로 rebot-arm-dli-isaacsim 이 있습니다. README 에 따르면 NVIDIA 의 SO-101 Sim-to-Real 워크플로를 reBot B601-RS 에 맞춘 프로젝트로,

• 실물 reBot Arm 102 리더로 Isaac Sim 4.5 속 B601-RS 를 60 Hz 로 조종하고(물리 120 Hz),
• 손목 front · 고정 side 카메라로 LeRobot Dataset v3 를 녹화하며,
• 물체 위치·질량·조명·손목 카메라에 도메인 무작위화를 겁니다.

시뮬레이션 데이터 → 정책 학습 → 실물 추론의 다리는 20장에서 Isaac Sim · MuJoCo 와 함께 자세히 봅니다.

정리#

• 정책 = 관측(영상 + 관절 상태 + 문장) → 행동. 텔레오퍼레이션의 사람 자리를 신경망이 대신합니다.
• 위키가 다루는 정책: ACT(첫 선택), SmolVLA(lerobot/smolvla_base, 20k 스텝), Pi0/Pi0.5(3000 스텝, batch 32), GR00T N1.5(CUDA + flash-attn). Diffusion 도 --policy.type 으로 선택 가능.
• 학습: lerobot-train --policy.type=act ..., 로컬 데이터면 --policy.push_to_hub=false, RTX 50 은 --dataset.video_backend=pyav. ACT 50 에피소드 ≈ RTX 3060 노트북 6시간, 4090/A100 2~3시간.
• 평가(위키 포크): lerobot-record --policy.path=..., 데이터셋은 eval_ 접두어, 카메라 이름·task 는 학습 때와 동일. upstream 최신은 lerobot-rollout.
• 성공률을 숫자로 재고, 실패 패턴별로 데이터를 보강해 다시 학습하는 루프를 돕니다.

확인 문제#

1. ACT 가 다음 행동을 하나씩이 아니라 "묶음(chunk)" 으로 예측해서 얻는 장점은 무엇인가요?
2. 로컬에 녹화한 seeed_rebot_b601_dm/test 로 ACT 를 학습할 때 반드시 맞춰야 할 인자 두 가지는?
3. 평가 실행 시 mean is infinity ... 오류가 났습니다. 가장 먼저 의심할 것은?
4. 학습 loss 는 잘 내려갔는데 실물 성공률이 낮습니다. 하이퍼파라미터를 바꾸기 전에 확인해야 할 것은?
5. 시뮬레이터 실습에서 녹화 재생(열린 루프)은 큐브를 옮기면 실패하고, 규칙 정책(닫힌 루프)은 성공했습니다. 차이의 이유는?