13텔레오퍼레이션

텔레오퍼레이션이란#

텔레오퍼레이션(teleoperation, 원격 조종) 은 사람이 어떤 입력 장치를 움직이면, 그 움직임을 읽어서 로봇팔에 실시간으로 명령으로 보내는 방식입니다. 입력 장치를 리더(leader), 따라 움직이는 로봇을 팔로워(follower) 라고 부릅니다. reBot-DevArm 에서는 B601-RS 또는 B601-DM 이 팔로워입니다.

구조는 놀랄 만큼 단순합니다. 아래 반복문이 초당 수십 번 돌아갑니다.

while True:
    action = leader.get_action()     # ① 리더의 현재 자세를 읽는다
    follower.send_action(action)     # ② 팔로워에게 그 자세로 가라고 명령한다

reBot 에서 쓸 수 있는 리더는 크게 네 갈래입니다. 이 장에서 하나씩 살펴봅니다.

먼저 시뮬레이터에서 체험하기#

실물을 켜기 전에 리더-팔로워의 감을 잡아 두면 사고를 크게 줄일 수 있습니다. 시뮬레이터는 기구학만 계산하므로(중력·마찰 없음) 마음껏 실수해도 됩니다.

리더 암 — Star Arm 102 (reBot Arm 102)#

가장 기본적이고 공식 가이드가 갖춰진 방식은 작은 리더 암을 손으로 움직이는 것입니다. 리더 암의 관절 각도를 읽어 reBot 의 같은 번호 관절로 보냅니다.

어떤 제품인가#

reBot README 의 Leader Arm (Optional) 항목은 Seeed 스토어의 Star Arm 102 상품을 리더 암으로 안내하고, 12V 10A 전원(SO-ARM101 의 12V 어댑터도 사용 가능)을 함께 구입하라고 적고 있습니다. Star Arm 102 는 홍콩의 Fashion Star 가 만든 오픈소스 6+1 자유도 팔 시리즈입니다(GitHub).

(값은 Star Arm 102 저장소 사양표 기준입니다. 변동될 수 있으니 구매 전 원문을 확인하세요.)

reBot 의 팔(도달 754~767 mm)보다 리더(420 mm)가 훨씬 작습니다. 그래도 문제가 없는 이유는 위치가 아니라 관절 각도를 맞추기 때문입니다. 관절 1번이 30° 돌면 팔로워 관절 1번도 30° 돕니다. 팔 길이가 달라도 같은 "모양" 이 됩니다.

호환 상태를 정확히 알기#

이름이 여러 개라 헷갈리기 쉬우니 정리해 둡니다.

• Seeed 위키와 LeRobot 은 이 리더를 reBot Arm 102 (leader) 라고 부릅니다.
• reBot README 의 Leader Arm Compatibility 표에는 Star Arm 102-LD 가 "Open to compatibility integration" 으로 올라 있습니다.
• Star Arm 102 저장소의 reBot 페이지는 상태를 "B601-DM·B601-RS 용 upstream LeRobot 안내가 있음, 자체 벤치 재검증은 하지 않음" 이라고 적고, 모든 LD·HD 리비전에 대한 일괄 보증은 아니다, HD 의 버튼·잠금 기능은 별개 라고 밝힙니다.

LeRobot 에서의 이름#

리더 암은 USB-UART 모듈로 연결되어 보통 /dev/ttyUSB0 으로 보입니다. 팔로워는 DM 이 Damiao 시리얼 브리지(/dev/ttyACM0), RS 가 네이티브 CAN(can0) 입니다. 장치 이름은 어느 LeRobot 을 쓰느냐에 따라 다릅니다.

Seeed 위키(DM) 의 텔레오퍼레이션 명령은 다음과 같습니다.

sudo chmod 666 /dev/ttyUSB*  # 리더 암
sudo chmod 666 /dev/ttyACM*  # 팔로워 암 (시리얼 브리지)

lerobot-teleoperate \
    --robot.type=seeed_b601_dm_follower \
    --robot.port=/dev/ttyACM0 \
    --robot.id=follower1 \
    --robot.can_adapter=damiao \
    --teleop.type=rebot_arm_102_leader \
    --teleop.port=/dev/ttyUSB0 \
    --teleop.id=rebot_arm_102_leader

RS 는 먼저 can0 를 1 Mbps 로 올린 뒤 --robot.type=seeed_b601_rs_follower --robot.port=can0 --robot.can_adapter=socketcan 으로 바꿉니다. 설치와 캘리브레이션은 15장에서 순서대로 다룹니다. 명령은 명령어 생성기로도 만들 수 있습니다.

VR 텔레오퍼레이션 — PICO 4#

README 로드맵(B601-DM)의 VR Teleoperation 항목은 "PICO 4 VR-based bilateral teleoperation — Done" 이고, 구현은 외부 저장소 lerobot-teleoperator-rebot-vr 입니다. 저장소 설명을 보면 여기서 "bilateral" 은 양팔(dual-arm) 동시 조작을 뜻합니다(힘 되먹임 의미가 아님).

리더 암과 가장 큰 차이는 관절이 아니라 손의 자세(위치+방향)를 넘긴다는 점입니다. 컨트롤러의 자세를 로봇 좌표로 바꾼 다음 역기구학(IK) 으로 관절각을 계산합니다(11장).

분할 IK 는 "위치 문제와 방향 문제를 나눠 푼다" 는 고전적인 아이디어입니다. 어깨·팔꿈치(q1~q3)가 손목 위치를, 손목 3축(q4~q6)이 방향을 맡으니 손목을 비틀어도 어깨 위치 추종이 흔들리지 않습니다.

휴대폰 · Quest 텔레오퍼레이션 — 상대 자세 매핑#

README 의 B601-RS 커뮤니티 기여 표에는 rebot-phone-teleop 이 올라 있습니다. iPhone 앱(SwiftUI + ARKit), HEBI Mobile I/O 앱, Meta Quest(브라우저 WebXR, 패스스루) 중 하나를 손에 들고 움직이면 그리퍼가 따라옵니다. B601-RS 와 iPhone 16 Pro Max 로 실물 검증했고, HEBI·Quest 경로는 더 새롭고 실물 테스트가 적다고 밝힙니다.

왜 "상대" 자세인가#

휴대폰의 절대 위치를 그대로 로봇 좌표에 넣으면, 사람이 서 있는 위치에 따라 팔이 엉뚱한 곳으로 튀어 갑니다. 그래서 TidyBot++(CoRL 2024) 방식을 따라 버튼(데드맨)을 누른 순간을 기준점으로 삼고, 그 뒤의 변화량만 그리퍼에 더합니다.

목표 위치 = 누른 순간의 그리퍼 위치 + A · (지금 휴대폰 위치 − 누른 순간 휴대폰 위치)

A 는 휴대폰 세계 좌표를 로봇 베이스 좌표로 돌려 주는 행렬입니다. 회전도 같은 방식으로 "누른 순간부터 얼마나 돌았는지" 만 적용합니다. 버튼을 떼고 손을 편한 곳으로 옮긴 뒤 다시 누르면 이어서 조종할 수 있습니다 — 마우스를 들어 옮기는 것과 같은 클러치(clutch) 동작입니다.

서버 쪽 구성#

CAN 버스에 연결된 PC(또는 Jetson·라즈베리 파이)에서 서버가 돌며 다음을 합니다.

• 200 Hz MIT 스트리밍 드라이버 — 가속도를 제한한 목표값을 200 Hz 로 보냄
• 중력 피드포워드 — 팔 무게를 버틸 토크를 미리 더해 줌(5장의 τ_ff)
• 공식 RS URDF 위에서 감쇠 최소제곱(DLS) IK
• 관절 한계·테이블·작업 공간 검사, 그리퍼 스톨 보호

게임패드 · 기타 방식#

• 게임패드 IK 텔레오퍼(커뮤니티, ROS 2) — README 의 B601-DM 커뮤니티 기여에 "Gamepad teleop with IK/FK & safety — 끝점을 IK 로 제어, RViz 실시간 시각화(시뮬레이션 전용 테스트)" 로 소개되어 있습니다. 스틱 기울기를 끝점의 이동 속도로 바꾸는 방식이라, 조종기를 놓으면 그 자리에 멈춥니다. 현재 해당 기능은 저자 저장소의 보관(archived) 브랜치에 있고 더 이상 유지되지 않는다고 적혀 있으니 참고용으로만 보세요(저장소).
• reBot 자체를 리더로 — reBot-Isaacsim 의 gravity_joint_sender 는 그리퍼 대신 손잡이를 단 reBot 을 중력 보상 상태로 손으로 밀고, 그 관절각을 Isaac Sim 으로 보내는 모드입니다. 20장에서 다시 봅니다.

지연 · 스케일링 · 안전#

지연은 어디서 생기나#

텔레오퍼레이션의 체감 지연은 여러 단계가 더해진 것입니다.

Seeed 위키에 실린 녹화 로그 한 줄을 보면 각 부분의 속도를 읽을 수 있습니다.

dt:33.34 (30.0hz) dtRlead: 5.06 (197.5hz) dtWfoll: 0.25 (3963.7hz) dtRfoll: 6.22 (160.7hz) ...

전체 루프는 30 Hz(33 ms) 이고, 리더 읽기(dtRlead)에 약 5 ms, 팔로워 상태 읽기(dtRfoll)에 약 6 ms 가 걸렸다는 뜻입니다. 휴대폰 저장소는 같은 원리로 원격 터널(Cloudflare)이 Tailscale 보다 지연을 더한다고 적고 있습니다.

스케일링#

• 관절 매핑(리더 암) 은 각도 1:1 이라 스케일이 따로 없습니다. 대신 리더와 팔로워의 관절 범위가 다르면 잘림이 생깁니다. 예: Star Arm 102 의 joint1 은 ±110° 인데 reBot RS 의 joint1 은 ±2.8 rad(약 ±160°) 입니다.
• 자세 매핑(VR·휴대폰) 은 손의 이동량에 배율을 곱할 수 있습니다. 배율이 크면 작은 손짓으로 멀리 가지만 떨림도 커지고, 작으면 정밀하지만 큰 동작에 클러치를 여러 번 해야 합니다.

안전 인터록 체크리스트#

정리#

• 텔레오퍼레이션은 "리더를 읽어서 팔로워에 보낸다" 의 반복이며, 그 리더 값이 곧 데이터셋의 action 입니다.
• 공식 경로는 Star Arm 102(reBot Arm 102) 리더 암 + LeRobot 입니다. Seeed 포크는 rebot_arm_102_leader / seeed_b601_dm_follower·seeed_b601_rs_follower, upstream LeRobot 은 rebot_102_leader / rebot_b601_follower 라는 이름을 씁니다.
• Star Arm 102-LD 호환은 "통합 개방" 상태이고, HD·다른 리비전은 따로 확인해야 합니다.
• VR(PICO 4, B601-DM)은 손 자세를 분할 IK 로, 휴대폰·Quest(B601-RS)는 상대 자세 매핑 + 200 Hz MIT 드라이버 + 중력 피드포워드로 조종합니다. 게임패드 IK 는 커뮤니티 ROS 2 시뮬레이션 테스트입니다.
• 지연은 읽기·계산·전송·모터 응답의 합입니다. 천천히 일정하게 움직이고, 데드맨·저속 확인·전원 스위치로 안전을 지킵니다.

확인 문제#

1. 리더 암(420 mm)이 reBot(약 760 mm)보다 훨씬 작아도 텔레오퍼레이션이 되는 이유는 무엇인가요?
2. Seeed 위키(DM) 기준으로 리더와 팔로워의 LeRobot 타입 이름과 기본 포트를 각각 적어 보세요.
3. 휴대폰 텔레오퍼레이션이 휴대폰의 절대 위치 대신 "버튼을 누른 순간부터의 변화량" 을 쓰는 이유는 무엇인가요?
4. 시뮬레이터에서 추종 지연을 300 ms 로 올리고 빠르게 왕복시키면 어떤 현상이 보이며, 실물 시연에서는 어떻게 대응해야 하나요?
5. 텔레오퍼레이션 도중 팔로워 전원 커넥터가 순간적으로 빠졌습니다. 위키가 안내하는 순서는 무엇인가요?