24프로젝트 — 손으로 두는 체스 (MediaPipe)

이 장에서 만드는 것#

웹캠 앞에서 엄지와 검지로 체스 말을 집어 옮기는 체스 게임을 만듭니다. 화면의 2D 체스판에서 위쪽(검은 말)은 컴퓨터, 아래쪽(흰 말)은 사용자입니다. 손은 구글의 오픈소스 손 인식 라이브러리 MediaPipe Hands 가 찾아 줍니다. 그리고 컴퓨터가 둔 수를 reBot 이 실제 체스판에서 옮긴다면 어떤 좌표로 움직여야 하는지 계산해, Python Playground 에서 reBot 으로 다시 둬 봅니다.

손 체스 열기

MediaPipe 가 보는 손#

MediaPipe Hands 는 사진 한 장에서 손을 찾아 관절 21개(랜드마크) 의 위치를 알려 줍니다. 위치는 화면 크기와 상관없이 0~1 로 정규화한 값입니다. 왼쪽 위가 (0, 0), 오른쪽 아래가 (1, 1) 입니다.

실제 PC 에서 Python 으로 해 보면 다음과 같습니다(pip install mediapipe opencv-python). 아래 코드는 오래 쓰여 온 mp.solutions.hands 인터페이스를 씁니다. 설치한 버전에서 이 이름이 없다고 나오면 MediaPipe 문서의 새 인터페이스(Tasks API 의 HandLandmarker)를 쓰면 되는데, 브라우저 도구가 바로 그 HandLandmarker 의 JavaScript 판입니다. 랜드마크 번호와 좌표 뜻은 두 인터페이스가 같습니다.

import cv2, math
import mediapipe as mp

hands = mp.solutions.hands.Hands(max_num_hands=1, min_detection_confidence=0.6)
cap = cv2.VideoCapture(0)
pinch = False

while True:
    ok, frame = cap.read()
    if not ok:
        break
    frame = cv2.flip(frame, 1)                       # 거울처럼 좌우 반전
    res = hands.process(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    if res.multi_hand_landmarks:
        lm = res.multi_hand_landmarks[0].landmark
        d = math.dist((lm[4].x, lm[4].y), (lm[8].x, lm[8].y))     # 엄지 끝 ↔ 검지 끝
        size = math.dist((lm[0].x, lm[0].y), (lm[9].x, lm[9].y))  # 손목 ↔ 가운뎃손가락 뿌리
        ratio = d / size
        if not pinch and ratio < 0.32:
            pinch = True
            print("집기")
        elif pinch and ratio > 0.47:
            pinch = False
            print("놓기")
    cv2.imshow("hand", frame)
    if cv2.waitKey(1) & 0xFF == 27:                  # Esc 로 종료
        break

cap.release()
cv2.destroyAllWindows()

집기 · 옮기기 · 놓기를 자연스럽게#

손 인식 값은 매 프레임 조금씩 흔들립니다. 기준값 하나(예: 0.4)로만 판정하면, 손가락이 그 근처에 있을 때 집기 → 놓기 → 집기 가 1초에 몇 번씩 바뀌어 말을 엉뚱한 데 떨어뜨립니다. 손 체스는 다음 장치들로 동작을 매끄럽게 이어 줍니다.

말을 집으면 그림자가 생기고 조금 커져 "들어 올린" 느낌을 주고, 갈 수 있는 칸에는 점이 찍힙니다. 말이 손 아래 칸이 둘 수 있는 칸이면 초록, 아니면 빨강으로 칠해져 놓기 전에 결과를 미리 알 수 있습니다.

컴퓨터는 어떻게 두나#

컴퓨터 쪽은 두 부분으로 되어 있습니다.

• 규칙 검사 — 말마다 갈 수 있는 칸을 만들고, 그 수를 둔 뒤 내 킹이 공격받으면 뺍니다. 캐슬링, 앙파상, 폰 승진(자동으로 퀸)까지 처리하고, 둘 수가 없을 때 체크면 체크메이트, 아니면 스테일메이트 입니다.
• 수 고르기 — 말의 가치(폰 100, 나이트 320, 비숍 330, 룩 500, 퀸 900)와 말의 위치 점수를 더해 판을 평가하고, 몇 수 앞까지 알파-베타 탐색으로 읽습니다. 수준이 높을수록 더 깊이 읽습니다(쉬움 1수, 보통 3수, 어려움 4수 앞).

이 계산은 Web Worker(브라우저의 별도 일꾼 스레드)에서 돌기 때문에, 컴퓨터가 생각하는 동안에도 손 추적과 화면이 멈추지 않습니다. 생각하는 것과 보는 것을 나누는 이 구조는 실제 로봇 프로그램에서도 똑같이 씁니다. 카메라 처리와 모터 제어 루프가 서로 기다리지 않게 하는 것이죠.

reBot 이 둔다면 — 칸 이름을 로봇 좌표로#

이제 진짜 체스판을 reBot 앞에 놓았다고 생각해 봅시다. 로봇은 체스판 위쪽(8랭크 쪽) 에 앉아 사용자를 바라봅니다. 그러면 로봇의 x 축(앞)은 사용자 쪽, y 축(왼쪽)은 h 파일 쪽입니다.

판 크기와 위치는 공식 관절 한계 안에서 64칸 모두에 그리퍼를 아래로 향해 닿도록 정했습니다. 강좌의 기구학으로 RS·DM 두 모델 모두 확인한 값입니다.

X0, SQ = 0.16, 0.028
Z, LIFT = 0.03, 0.06

def square_to_xy(name):
    col = "abcdefgh".index(name[0])
    row = 8 - int(name[1])              # 8랭크(로봇 쪽) = 0
    return X0 + (row + 0.5) * SQ, (col - 3.5) * SQ

print("e7 →", square_to_xy("e7"))

bad = []
for f in "abcdefgh":
    for r in range(1, 9):
        x, y = square_to_xy(f + str(r))
        if arm.ik(x, y, Z, down=True) is None or arm.ik(x, y, Z + LIFT, down=True) is None:
            bad.append(f + str(r))
print("닿지 않는 칸:", bad if bad else "없음")

Python Playground 열기

컴퓨터의 수를 reBot 으로 다시 두기#

손 체스 오른쪽 아래 [4. reBot 이 둔다면] 에는 컴퓨터가 수를 둘 때마다 로봇이 할 일이 좌표와 함께 나옵니다. 상대 말을 잡는 수라면 잡힌 말을 먼저 판 밖으로 치우고 내 말을 옮기며, 캐슬링이면 킹과 룩을 차례로 옮깁니다.

[Playground 코드 복사] 를 누르면 지금까지 컴퓨터가 둔 수를 모두 담은 코드가 복사됩니다. 생김새는 다음과 같습니다.

def pick(x, y):
    arm.open()
    arm.move_to(x, y, Z + LIFT, t=1.0, down=True)   # 말 위로
    arm.move_line(x, y, Z, t=0.6)                    # 곧게 내려가
    arm.close()                                      # 집고
    arm.move_line(x, y, Z + LIFT, t=0.6)             # 곧게 올라옴

def place(x, y):
    arm.move_to(x, y, Z + LIFT, t=1.0, down=True)
    arm.move_line(x, y, Z, t=0.6)
    arm.open()                                       # 놓고
    arm.move_line(x, y, Z + LIFT, t=0.6)

def robot_move(src, dst=None):
    pick(*square_to_xy(src))
    place(*(square_to_xy(dst) if dst else GRAVE))    # dst 가 없으면 판 밖으로
    print(src, "→", dst or "밖")

arm.home()
# e5
robot_move("e7", "e5")
# Nc6
robot_move("b8", "c6")
arm.home()

확장 과제#

정리#

• MediaPipe Hands 는 손 관절 21개의 위치를 0~1 정규화 좌표로 알려 줍니다. 엄지 끝(4)과 검지 끝(8)만으로 집기·놓기를 만들 수 있습니다.
• 엄지-검지 거리를 손 크기로 나눈 비율을 쓰면 카메라와의 거리에 상관없이 같은 판정이 됩니다.
• 히스테리시스 + 디바운스 + One Euro 필터가 흔들리는 인식 값을 매끄러운 집기 → 옮기기 → 놓기 로 바꿔 줍니다.
• 말이 따라오고, 갈 칸이 미리 보이고, 잘못 놓으면 제자리로 돌아오는 즉각적인 피드백이 손 조작을 자연스럽게 만듭니다.
• 칸 이름은 x = X0 + (row + 0.5) × SQ, y = (col − 3.5) × SQ 로 로봇 좌표가 되고, 22장의 pick / place 로 그대로 로봇 동작이 됩니다. 움직이기 전에 모든 칸이 닿는지 먼저 검사하는 습관을 잊지 마세요.