20Isaac Sim · MuJoCo 시뮬레이션

왜 진짜 물리 시뮬레이터가 필요한가#

이 강좌의 시뮬레이터는 지금까지 아주 쓸모 있었습니다. 관절을 돌리고, IK 를 풀고, 궤적을 녹화했지요. 하지만 이 시뮬레이터는 기구학만 계산합니다. 중력도, 마찰도, 부딪힘의 반발도 없습니다. 큐브는 "그리퍼가 충분히 닫히고 TCP 가 가까우면 붙는다"는 단순 규칙으로 집힙니다.

실제 세상에서는 이런 일이 생깁니다.

• 팔을 쭉 뻗으면 모터가 무게를 못 이겨 처집니다 (19장의 중력 토크).
• 그리퍼가 블록을 너무 세게 쥐면 미끄러지거나 튕겨 나갑니다.
• 빠르게 휘두르면 관절이 목표를 지나쳤다가 되돌아옵니다.

물리 시뮬레이터는 이런 현상을 계산해 줍니다. 실물을 망가뜨릴 걱정 없이 수천 번 실험하고, 정책 학습용 데이터를 쏟아낼 수 있습니다. reBot 생태계에서는 두 가지가 공식으로 준비되어 있습니다.

설치 없이 — 온라인 MuJoCo 디지털 트윈#

공식 저장소 README 는 B601-RS MuJoCo 디지털 트윈을 브라우저에서 바로 체험할 수 있는 온라인 데모를 소개합니다. 처음 모델을 받는 데 시간이 조금 걸리며 Chrome 이나 Edge 를 권장합니다.

MuJoCo 모델 들여다보기 — mujoco_collision 의 의미#

17장에서 메시 폴더 중 mujoco_collision/ 이 따로 있던 것을 기억하나요? 물리 시뮬레이터에서 집기는 접촉 형상이 전부입니다. 손가락을 볼록 껍질 하나로 단순화하면, 손가락 안쪽 오목한 부분까지 "꽉 찬 덩어리"로 계산되어 블록이 실제보다 일찍 닿거나 손가락끼리 관통합니다. 그래서 공식 패키지는 손가락을 앞·중간·뒤 세 조각으로 나누고 캐리지·스토퍼까지 따로 둔 10조각을 MuJoCo 접촉용으로 제공합니다. README 의 경고 그대로 "완전한 손가락의 단일 convex hull 로 바꾸면 닫을 때 관통, 과도하게 큰 접촉면, 불안정한 파지가 다시 생길 수 있습니다."

reBot-Isaacsim 저장소의 mjcf/rebot_devarm/ 에는 MuJoCo Menagerie(DeepMind 가 관리하는 고품질 로봇 모델 모음)의 [seeed_rebot_devarm](https://github.com/google-deepmind/mujoco_menagerie/tree/da76818e269b82289eba39808e2fb91d679d6994/seeed_rebot_devarm) 모델이 복사되어 있고, README 가 그 설계를 자세히 설명합니다.

<joint name="joint2" type="hinge" range="-3.14 0" axis="0 0 -1" class="rs06"/>
...
<equality>
  <joint joint1="joint_left" joint2="joint_right" polycoef="0 1 0 0 0" .../>
</equality>

ROS 2 를 쓴다면 공식 작업공간의 rebotarm_mujoco_rs 패키지가 RS MuJoCo 모델을 ROS 에 붙여 줍니다. kinematic 모드는 ROS 관절 상태를 그대로 MuJoCo 에 복사하고, physics 모드는 PD 제어 + 중력 항으로 목표를 따라갑니다. 이 래퍼는 SocketCAN 을 열지 않으므로 실물 팔은 여전히 reBotArmController 하나만 제어합니다(18장).

ros2 launch rebotarm_mujoco_rs mujoco_rs.launch.py \
  arm_namespace:=rebotarm_rs simulation_mode:=physics use_viewer:=true

Isaac Sim — USD 모델과 가상 텔레오퍼레이션#

준비물#

Isaac Sim 위키 기준 요구 사양입니다.

URDF 에서 USD 로#

Isaac Sim 은 USD(Universal Scene Description) 라는 장면 형식을 씁니다. reBot-Isaacsim 의 RS 자산(usd/RS-rebot-dev-arm/RS-rebot-dev-arm.usda)은 urdf-usd-converter 로 URDF 를 변환한 뒤, scripts/prep_asset.py 로 후처리한 결과입니다. 변환기만으로는 부족한 것을 스크립트가 채웁니다.

1. 관절 8개에 구동기(drive) 와 검증된 게인·토크 한계를 붙입니다 (변환 직후 관절은 "기구학 전용"이라 힘이 없습니다).
2. 충돌 형상을 혼합으로: 팔은 볼록 껍질, 그리퍼(gripper_end·좌우 손가락)는 볼록 분해.
3. Isaac 로봇 스키마를 붙여 Gain Tuner 같은 도구가 로봇을 인식하게 합니다.

DM 자산은 usd/reBot_B601_DM/reBot_B601_DM.usda 에 있습니다. 변환 과정과 검증 결과(관절별 한계 유지 테스트, 중력 처짐 분석)는 저장소 docs/VALIDATION.md 에 기록되어 있어, 시뮬레이션 모델도 검증 대상이라는 좋은 예를 보여 줍니다.

송신부와 수신부 — 두 터미널 구조#

reBot-Isaacsim 은 수신부(Isaac Sim 안에서 관절을 움직임)와 송신부(관절각을 보냄)를 UDP 로 잇습니다.

터미널 2 (송신부)                         터미널 1 (수신부)
reBotArm_control_py uv 환경   ── UDP JSON ──▶  Isaac Sim 의 python
  gravity_joint_sender 등        127.0.0.1:5005   isaacsim_joint_receiver

{"sequence": 123, "timestamp": 1718000000.123,
 "joint_positions": [0.0, 0.1, 0.2, -0.1, 0.0, -0.02],
 "gripper_position": 0.05}

gravity_joint_sender 가 바로 가상 텔레오퍼레이션입니다. 19장의 중력 보상(MIT + g(q))으로 실물 팔을 가볍게 만들어 리더 암처럼 쓰고, 그 관절각으로 가상 팔을 조종합니다. 저장소는 그리퍼를 떼고 손잡이를 단 개조 팔을 예로 듭니다.

# 터미널 1 — 수신부를 먼저
cd reBotArm_Isaacsim
./run_isaacsim_receiver.sh

# 터미널 2 — 실물 없이 통신 확인
cd reBotArm_Isaacsim
uv run python isaacsim_joint_test_sender.py

Sim-to-Real 갭과 도메인 랜덤화#

시뮬레이션에서 완벽히 되던 동작이 실물에서는 어긋나는 현상을 Sim-to-Real 갭이라고 합니다. 원인은 "모델이 현실을 100% 담지 못한다"는 것입니다.

reBot-Isaacsim 의 docs/GRIPPER_RESIDUAL_MOTION.md 는 좋은 사례입니다. 팔을 휘두를 때 실물 그리퍼 손가락은 사실상 움직이지 않는데, 시뮬레이션에서는 8 Hz 로 휘두를 때 약 0.25 mm 흔들렸습니다. 구동기 강성을 16배 올려도 거의 그대로였고, 문서는 이것이 강성 문제가 아니라는 점을 측정으로 하나씩 확인해 나갑니다. 시뮬레이션의 차이는 추측이 아니라 측정으로 좁힌다는 태도를 배울 수 있습니다.

갭을 줄이는 두 가지 큰 전략은 다음과 같습니다 (일반론).

1. 시스템 식별(system identification) — 실물을 측정해 모델 값을 맞춥니다. 19장의 tau_scale 조정, reBot-Isaacsim 의 마찰·강성 측정이 여기에 속합니다.
2. 도메인 랜덤화(domain randomization) — 시뮬레이션의 질량·마찰·게인·조명·카메라 위치·물체 색을 에피소드마다 조금씩 무작위로 바꿔 학습시킵니다. 정책이 "정확히 이 세계"가 아니라 "이 근처의 여러 세계"에서 통하도록 배우면, 실물도 그 범위 안의 한 세계로 받아들여질 가능성이 커집니다.

세 시뮬레이터 비교#

arm.home()
for x in [0.30, 0.45, 0.60]:
    ok = arm.move_to(x, 0.0, 0.20, t=1.5)          # 위치만 맞추기
    print(x, "도달" if ok else "실패", [round(a, 1) for a in arm.get_joints()])
arm.home()

녹화 탭 열기

정리#

• 이 강좌 시뮬레이터는 기구학 전용이고, MuJoCo·Isaac Sim 은 중력·마찰·접촉을 계산하는 물리 시뮬레이터입니다.
• 온라인 MuJoCo 디지털 트윈은 설치 없이 TCP 드래그, D405 손목 카메라, 정리·쌓기 데모, 접촉·힘 모니터를 제공합니다.
• mujoco_collision 메시는 손가락을 여러 조각으로 나눈 세밀 접촉 형상으로, 하나의 볼록 껍질로 바꾸면 집기가 불안정해집니다.
• Isaac Sim 자산은 URDF → urdf-usd-converter → 후처리(구동기·충돌·스키마)로 만든 USD 이고, reBot-Isaacsim 은 UDP 송신부/수신부 구조로 IK·궤적·중력 보상 텔레오퍼·Real-to-Sim 을 지원합니다.
• 변환된 자산(MJCF·USD)은 관절 부호·이름이 현재 URDF 와 다를 수 있으니 항상 대조하세요.
• Sim-to-Real 갭은 시스템 식별(측정으로 모델 맞추기)과 도메인 랜덤화(무작위로 흔들어 학습)로 줄입니다.

확인 문제#

1. 강좌 브라우저 시뮬레이터로는 확인할 수 없고 MuJoCo 로는 확인할 수 있는 현상 두 가지를 쓰세요.
2. 그리퍼 손가락의 MuJoCo 접촉 형상을 하나의 볼록 껍질로 단순화하면 어떤 문제가 생길 수 있나요?
3. reBot-Isaacsim 에서 실물 없이 통신부터 확인하려면 어떤 송신부를 쓰나요? 수신부와 송신부 중 무엇을 먼저 켜나요?
4. reBot-Isaacsim 의 RS MJCF 에서 joint2 범위가 -3.14 ~ 0 인 것을 보고 무엇을 조심해야 하나요?
5. 도메인 랜덤화가 Sim-to-Real 갭을 줄이는 원리를 한 문장으로 설명하세요.