import cv2 as cv

import numpy as np

import pyautogui

import time

import logging

import glob
# 로깅 설정

logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
# 스킬 키 설정

skills = ['f3', 'f4', 'f5', 'f6', 'f7']
# 배경 차이 인식을 위한 MOG2 배경 제거 객체 생성

bg_subtractor = cv.createBackgroundSubtractorMOG2(history=500, varThreshold=25, detectShadows=False)
# SIFT 객체 생성

sift = cv.SIFT_create()
# 템플릿 이미지 로드 및 특징점 계산

monster_template_paths = glob.glob('monster*.png') + glob.glob('monster*.PNG')

monster_templates = []

for template_path in monster_template_paths:

    img = cv.imread(template_path, 0)

    if img is not None:

        kp, des = sift.detectAndCompute(img, None)

        monster_templates.append({'keypoints': kp, 'deors': des, 'template': img})

if not monster_templates:

    logging.error('No monster template images found. Make sure the file paths are correct.')

else:

    logging.info(f'{len(monster_templates)} Monster template images loaded successfully.')
# Kalman Filter 초기화

kalman = cv.KalmanFilter(4, 2)

kalman.measurementMatrix = np.eye(2, 4, dtype=np.float32)

kalman.transitionMatrix = np.eye(4, 4, dtype=np.float32)

kalman.processNoiseCov = np.eye(4, 4, dtype=np.float32) * 0.03
# Optical Flow 추적을 위한 초기 설정

lk_params = dict(winSize=(15, 15), maxLevel=2, criteria=(cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 0.03))
# 스크린샷 캡처 영역 설정

capture_region = (47, 205, 1210 - 47, 880 - 205)  # 좌측 상단 x,y, 폭, 높이
def match_template(img, templates, threshold=0.7):

    points = []

    for template_config in templates:

        kp1 = template_config['keypoints']

        des1 = template_config['deors']

        kp2, des2 = sift.detectAndCompute(img, None)

        if des2 is not None:

            bf = cv.BFMatcher()

            matches = bf.knnMatch(des1, des2, k=2)

            good = [m for m, n in matches if m.distance < 0.75 * n.distance]

            if len(good) >= threshold * len(kp1):

                src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 2)

                dst_pts = np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 2)

                M, _ = cv.findHomography(src_pts, dst_pts, cv.RANSAC, 5.0)

                if M is not None:

                    h, w = template_config['template'].shape

                    pts = np.float32([[0, 0], [0, h - 1], [w - 1, h - 1], [w - 1, 0]]).reshape(-1, 1, 2)

                    dst = cv.perspectiveTransform(pts, M)

                    center_x = int(np.mean(dst[:, 0, 0]))

                    center_y = int(np.mean(dst[:, 0, 1]))

                    points.append((center_x, center_y))

    return points
def detect_monster(img):

    """템플릿 기반 몬스터 탐지"""

    matching_points = match_template(img, monster_templates, threshold=0.7)

    if matching_points:

        return matching_points[0]  # 몬스터의 중심 좌표 반환

    return None  # 몬스터가 없으면 None 반환
def apply_morphology(mask):

    """모폴로지 연산을 통해 노이즈 제거 및 객체를 더욱 명확하게 추출"""

    kernel = np.ones((5, 5), np.uint8)

    mask = cv.morphologyEx(mask, cv.MORPH_CLOSE, kernel)

    mask = cv.morphologyEx(mask, cv.MORPH_OPEN, kernel)

    return mask
def track_monster(prev_img, current_img, prev_points):

    """Optical Flow로 몬스터를 추적"""

    prev_gray = cv.cvtColor(prev_img, cv.COLOR_BGR2GRAY)

    curr_gray = cv.cvtColor(current_img, cv.COLOR_BGR2GRAY)

    

    new_points, status, _ = cv.calcOpticalFlowPyrLK(prev_gray, curr_gray, np.float32(prev_points).reshape(-1, 1, 2), None, **lk_params)

    tracked_points = [tuple(pt.ravel()) for pt, s in zip(new_points, status) if s]

    return tracked_points
def predict_monster_position(kalman, current_pos):

    """Kalman Filter로 몬스터의 위치를 예측"""

    kalman.correct(np.array([[np.float32(current_pos[0])], [np.float32(current_pos[1])]]))

    prediction = kalman.predict()

    predicted_pos = (int(prediction[0]), int(prediction[1]))

    return predicted_pos
def use_potions(img):

    """체력 및 마나 포션 사용 로직"""

    health_bar = img[94:97, 180:208]  # 체력바 위치

    mana_bar = img[112:113, 180:208]  # 마나바 위치
    health_red = cv.inRange(health_bar, np.array([0, 0, 120]), np.array([50, 50, 255]))

    mana_color = cv.inRange(mana_bar, np.array([120, 0, 0]), np.array([255, 255, 50]))  # 파란색 또는 초록색
    if health_red.sum() == 0:  # 빨간색이 없는 경우 체력 포션 사용

        pyautogui.press('1')

        logging.info('Used health potion')

    

    if mana_color.sum() == 0:  # 파란색 또는 초록색이 없는 경우 마나 포션 사용

        pyautogui.press('2')

        logging.info('Used mana potion')
def main():

    last_click_time = 0

    click_interval = 0.5  # 주기를 0.5초로 줄여서 반응 속도를 높임

    prev_img = None

    prev_points = []

    

    while True:

        try:

            current_time = time.time()

            if current_time - last_click_time >= click_interval:

                img = np.array(pyautogui.screenshot(region=capture_region))

                

                # 배경 차이 계산

                fg_mask = bg_subtractor.apply(img)

                fg_mask = apply_morphology(fg_mask)  # 노이즈 감소

                

                movement_detected = cv.countNonZero(fg_mask) > 5000  # 움직임이 일정 픽셀 이상이면 참으로 설정
                if movement_detected:

                    if prev_img is not None:

                        prev_points = track_monster(prev_img, img, prev_points)

                    monster_pos = detect_monster(img)

                    if monster_pos:

                        predicted_pos = predict_monster_position(kalman, monster_pos)

                        pyautogui.moveTo(predicted_pos, duration=0.05)  # 예측된 위치로 마우스를 이동

                        pyautogui.click(button='right')

                        logging.info(f'Clicked on monster at {predicted_pos}')

                    use_potions(img)

                    prev_img = img.copy()  # 이전 이미지 갱신

                

                last_click_time = current_time

            

            time.sleep(0.05)  # 루프 주기를 줄여 빠른 반응 속도 유지

        

        except KeyboardInterrupt:

            print(" interrupted by user")

            break

        except Exception as e:

            logging.error(f"Error in main loop: {e}")
if __name__ == '__main__':

    main()


다른부분보다 몬스터인식 방법 공유좀 해주라. 몬스터 인식했다는데 허공에누른고 난리남... 게다가 템플릿 방식은 움직이는 객체 인식못한다지만 너무 심하네... 그래서 몬스터 위에 가져다 대면 검으로 변하는 특성 이용하려고 캐릭좌표잡고 뱅글뱅글 돌다가 검으로 변하면 클릭하게 만들었는데 그마져도 인식률이 바닥임... 치트엔진 자체로 제대로 작동을 안하는거냐?아니면 걍 내코드가 잘못된거냐?