Chuyển đến nội dung chính
Trang chủ • Dự án • DỰ ÁN ROBOT

#60 Robot cộng tác tích hợp vision kiểm tra ngoại quan chi tiết

Ô kiểm tra ngoại quan tự động: robot cộng tác (cobot) đưa chi tiết qua các góc chụp, camera công nghiệp + đèn chiếu sáng thu ảnh, chương trình OpenCV phát hiện trầy xước, thiếu lỗ, sai kích thước và trả kết quả OK/NG cho robot qua TCP để phân loại – kèm đánh giá rủi ro an toàn cho cobot.

DỰ ÁN ROBOT ~7 phút đọc Cập nhật 10/11/2026
Liên hệ tư vấn Xem dự án khác Giá dự án: Liên hệ

Nội dung bài đăng

  • Bài toán thực tế
  • Mục tiêu dự án
  • Phần cứng sử dụng
  • Sơ đồ khối và đấu nối
  • Nguyên lý và thuật toán
  • Chương trình mẫu

Bài đăng kỹ thuật

Triển khai và phân tích hệ thống

#60 Robot cộng tác tích hợp vision kiểm tra ngoại quan chi tiết

Ô kiểm tra ngoại quan tự động: robot cộng tác (cobot) đưa chi tiết qua các góc chụp, camera công nghiệp + đèn chiếu sáng thu ảnh, chương trình OpenCV phát hiện trầy xước, thiếu lỗ, sai kích thước và trả kết quả OK/NG cho robot qua TCP để phân loại – kèm đánh giá rủi ro an toàn cho cobot.

Kiểm tra ngoại quan bằng mắt thường mệt mỏi, chủ quan và khó truy vết. Kết hợp robot cộng tác với thị giác máy cho phép kiểm tra 100 % sản phẩm, lưu ảnh từng chi tiết và vẫn bố trí được ngay cạnh công nhân mà không cần hàng rào lớn như robot công nghiệp truyền thống (với điều kiện đánh giá rủi ro đạt yêu cầu).

1. Bài toán thực tế

Một chi tiết cơ khí có nhiều mặt cần kiểm tra. Đặt nhiều camera cố định thì tốn kém; con người lật chi tiết thì chậm. Cobot giữ chi tiết và xoay lần lượt từng mặt về phía một camera là giải pháp linh hoạt.

2. Mục tiêu dự án

  • Thiết kế trạm: vị trí camera, đèn, các tư thế chụp của robot.
  • Pipeline xử lý ảnh: hiệu chuẩn, định vị chi tiết, đo kích thước, phát hiện trầy xước/thiếu lỗ.
  • Giao tiếp robot – PC: robot gửi "đã tới tư thế n", PC trả "OK/NG + mã lỗi".
  • Lưu ảnh và kết quả để truy vết; đánh giá rủi ro an toàn theo tiêu chuẩn cobot.

3. Phần cứng sử dụng

Thiết bịThông số chínhVai trò
Robot cộng tác 6 trục (UR, Doosan, Dobot CR, Techman…)Tải ≥ 3 kg, có cổng TCP/IPThao tác chi tiết
Kẹp điện / khí nén phù hợp chi tiết—Giữ chi tiết
Camera công nghiệp 5 MP + ống kínhGigE/USB3Thu ảnh
Đèn chiếu sáng: đèn vòng, đèn nền (backlight), đèn chiếu góc thấp—Làm nổi bật từng loại lỗi
PC công nghiệp + Python + OpenCV—Xử lý ảnh, lưu dữ liệu

4. Sơ đồ khối và đấu nối

Sơ đồ khối #60 Robot cộng tác tích hợp vision kiểm tra ngoại quan chi tiết

Robot gắp chi tiết từ khay vào, lần lượt đưa tới 4 tư thế chụp. Tại mỗi tư thế, robot gửi chuỗi POSE,n qua TCP; PC chụp ảnh, xử lý và trả OK,n hoặc NG,n,mã_lỗi. Sau tư thế cuối, robot đặt chi tiết vào khay OK hoặc khay NG.

Bảng tham chiếu

Loại lỗiChiếu sáng phù hợpKỹ thuật xử lý
Sai kích thước, thiếu lỗĐèn nền (backlight) – ảnh bóng đen rõ nétNgưỡng hóa, tìm contour, đo bằng mm/pixel
Trầy xước, mópĐèn chiếu góc thấp (dark-field)Vết xước sáng trên nền tối → lọc top-hat, đếm vùng sáng
Bám bẩn, sai màuĐèn vòng khuếch tánSo sánh với ảnh mẫu, sai khác theo vùng

5. Nguyên lý và thuật toán

Ánh sáng quyết định 80 % thành công. Mỗi loại lỗi cần một kiểu chiếu sáng làm nó nổi bật; thuật toán chỉ là bước sau. Nên che chắn trạm khỏi ánh sáng môi trường.

Đo kích thước. Hiệu chuẩn camera để khử méo ống kính, sau đó dùng một mẫu chuẩn (bàn cờ hoặc chi tiết có kích thước biết trước) để quy đổi mm/pixel ở mặt phẳng đo. Kích thước đo bằng hình chữ nhật xoay nhỏ nhất (minAreaRect) của contour, đường kính lỗ bằng đường tròn bao nhỏ nhất.

An toàn cobot. "Robot cộng tác" không tự động an toàn. Ứng dụng phải được đánh giá rủi ro theo ISO 10218 và các giới hạn lực/áp suất tiếp xúc theo ISO/TS 15066 – đặc biệt khi robot cầm chi tiết có cạnh sắc. Cấu hình giới hạn tốc độ, lực, vùng làm việc trong bộ điều khiển robot.

6. Chương trình mẫu

Máy chủ TCP nhận lệnh từ robot và kiểm tra ảnh bằng OpenCV (Python):

import socket, cv2, numpy as np, datetime, os

MM_PER_PX = 0.042                # từ hiệu chuẩn
SPEC = {1: (48.0, 32.0, 0.15)}   # tư thế 1: dài, rộng, dung sai (mm)
cam = cv2.VideoCapture(0)

def inspect(pose):
    ok, img = cam.read()
    if not ok: return 'NG', 'E_CAM'
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    os.makedirs('log', exist_ok=True)
    cv2.imwrite(f"log/{datetime.datetime.now():%Y%m%d_%H%M%S}_p{pose}.png", img)

    if pose == 1:                                   # backlight: đo kích thước
        _, bw = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)
        cnts, _ = cv2.findContours(bw, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
        if not cnts: return 'NG', 'E_NOPART'
        (_, _), (w, h), _ = cv2.minAreaRect(max(cnts, key=cv2.contourArea))
        L, W = sorted((w * MM_PER_PX, h * MM_PER_PX), reverse=True)
        sl, sw, tol = SPEC[1]
        if abs(L - sl) > tol or abs(W - sw) > tol: return 'NG', f'E_DIM_{L:.2f}x{W:.2f}'
    else:                                           # dark-field: tìm vết xước
        tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, np.ones((15, 15), np.uint8))
        _, bw = cv2.threshold(tophat, 40, 255, cv2.THRESH_BINARY)
        n, _, stats, _ = cv2.connectedComponentsWithStats(bw)
        if any(stats[i, cv2.CC_STAT_AREA] > 60 for i in range(1, n)): return 'NG', 'E_SCRATCH'
    return 'OK', ''

srv = socket.socket(); srv.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
srv.bind(('0.0.0.0', 5000)); srv.listen(1)
while True:
    conn, _ = srv.accept()
    with conn:
        for line in conn.makefile():
            if line.startswith('POSE,'):
                pose = int(line.split(',')[1])
                res, code = inspect(pose)
                conn.sendall(f"{res},{pose},{code}\n".encode())

Phía robot: mỗi hãng có cách mở socket TCP riêng (ví dụ URScript socket_open, socket_send_line, socket_read_string). Ngưỡng diện tích và giá trị top-hat cần chỉnh trên ảnh thật của từng loại chi tiết.

7. Các bước triển khai và kiểm thử

  1. Thử nghiệm chiếu sáng trước: chụp chi tiết tốt và chi tiết lỗi với từng kiểu đèn, chọn cấu hình làm lỗi rõ nhất.
  2. Hiệu chuẩn camera và tỉ lệ mm/pixel ở mặt phẳng đo.
  3. Dạy 4 tư thế chụp cho robot, cố định để chi tiết luôn cùng khoảng cách tới camera.
  4. Thu thập ≥ 50 chi tiết OK và các mẫu lỗi, chỉnh ngưỡng để không bỏ lọt lỗi và hạn chế báo nhầm.
  5. Chạy thử với người vận hành, hoàn thiện đánh giá rủi ro trước khi đưa vào sản xuất.

8. Lỗi thường gặp và cách xử lý

  • Kết quả không ổn định giữa ca sáng và ca chiều: ánh sáng môi trường lọt vào; che chắn trạm, dùng thời gian phơi sáng ngắn và đèn mạnh.
  • Đo kích thước lệch: chi tiết không vuông góc trục camera, hoặc khoảng cách thay đổi do robot gắp lệch – thêm cữ định vị trên kẹp.
  • Robot chờ quá lâu: xử lý ảnh chậm – giới hạn vùng quan tâm (ROI), chụp tư thế kế tiếp trong lúc xử lý tư thế trước.

9. Hướng mở rộng

  • Dùng mô hình học sâu (phát hiện bất thường) cho các lỗi khó mô tả bằng luật.
  • Gửi kết quả và ảnh lên hệ thống MES để truy vết theo mã lô.
  • Thêm đọc mã DataMatrix trên chi tiết để gắn kết quả với từng sản phẩm.

Tài liệu tham khảo