Разработка AI-системы автоматического подсчёта строительных материалов по снимкам

AI-подсчёт строительных материалов по фото и видео

Инвентаризация материалов на стройке вручную — источник ошибок и потерь. Арматура, кирпичи, мешки с цементом, трубы, листы фанеры — всё это можно пересчитать автоматически по фото с телефона или камеры дрона.

Методы подсчёта в зависимости от типа материала

import cv2
import numpy as np
from ultralytics import YOLO
import torch

class ConstructionMaterialCounter:
    def __init__(self, config: dict):
        # YOLOv8m дообученный на строительных материалах
        self.detector = YOLO(config['model_path'])
        # SAM для точной сегментации при плотном расположении
        self.segmentor = self._load_sam(config.get('sam_checkpoint'))

    def count_by_detection(self, image: np.ndarray,
                             material_class: str) -> dict:
        """
        Подходит для: кирпичи в поддонах, мешки, листы OSB/фанеры.
        Не подходит для: длинные трубы, арматура в пучках.
        """
        results = self.detector(image, conf=0.4)
        class_counts = {}

        for box in results[0].boxes:
            cls = self.detector.model.names[int(box.cls)]
            class_counts[cls] = class_counts.get(cls, 0) + 1

        return {
            'method': 'detection',
            'counts': class_counts,
            'target_count': class_counts.get(material_class, 0)
        }

    def count_rebar_by_cross_section(self,
                                      end_view_image: np.ndarray) -> dict:
        """
        Арматура в пачке: фотографируем торец.
        Детектируем круглые сечения через Hough circles или Watershed.
        """
        gray = cv2.cvtColor(end_view_image, cv2.COLOR_BGR2GRAY)
        blurred = cv2.GaussianBlur(gray, (9, 9), 2)

        # Hough Circle Transform для круглых сечений арматуры
        circles = cv2.HoughCircles(
            blurred,
            cv2.HOUGH_GRADIENT,
            dp=1.2,
            minDist=15,
            param1=50,
            param2=30,
            minRadius=8,
            maxRadius=40
        )

        count = 0
        if circles is not None:
            circles = np.uint16(np.around(circles))
            count = len(circles[0])

        return {
            'method': 'hough_circles',
            'rebar_count': count,
            'circles': circles[0].tolist() if circles is not None else []
        }

    def count_pipes_stacked(self, side_view: np.ndarray) -> dict:
        """
        Трубы в штабеле: детектируем через ellipse fitting (вид сбоку)
        или circle detection (вид спереди).
        """
        gray = cv2.cvtColor(side_view, cv2.COLOR_BGR2GRAY)
        edges = cv2.Canny(gray, 50, 150)

        # Контуры → эллипсы
        contours, _ = cv2.findContours(edges, cv2.RETR_EXTERNAL,
                                        cv2.CHAIN_APPROX_SIMPLE)
        pipe_count = 0
        for cnt in contours:
            if len(cnt) < 5:
                continue
            area = cv2.contourArea(cnt)
            if area < 200:
                continue
            ellipse = cv2.fitEllipse(cnt)
            # Проверяем, что это круглое сечение (a ≈ b)
            a, b = ellipse[1]
            if b > 0 and 0.7 < a/b < 1.3:  # близко к кругу
                pipe_count += 1

        return {'method': 'ellipse_fitting', 'pipe_count': pipe_count}

Подсчёт мешков: метод density estimation

Для насыпных материалов и объектов в плотных рядах классический детектор сбоит: IoU между соседними объектами > 0.6, NMS подавляет правильные детекции. Используем density map approach:

class DensityBasedCounter:
    """
    CSRNet или CrowdCounting подход, адаптированный для материалов.
    Вместо детекции каждого объекта предсказываем карту плотности.
    Сумма пикселей карты плотности ≈ количество объектов.
    """
    def __init__(self, model_path: str):
        import torchvision.models as models
        # VGG16 backbone + density head
        self.model = self._build_csrnet()
        self.model.load_state_dict(torch.load(model_path))
        self.model.eval()

    @torch.no_grad()
    def count(self, image: np.ndarray) -> dict:
        from torchvision import transforms
        transform = transforms.Compose([
            transforms.ToTensor(),
            transforms.Normalize([0.485, 0.456, 0.406],
                                  [0.229, 0.224, 0.225])
        ])

        tensor = transform(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
        tensor = tensor.unsqueeze(0)

        density_map = self.model(tensor)[0, 0].numpy()
        # Сумма карты плотности = количество объектов
        count = float(density_map.sum())

        return {
            'method': 'density_estimation',
            'count': round(count),
            'count_float': count,
            'density_map': density_map
        }

Кейс: инвентаризация склада арматуры

Склад: 800 т арматуры в пачках, 6 типоразмеров (d8 до d32). Ежемесячная инвентаризация вручную: 2 человека, 1 рабочий день.

После внедрения: оператор фотографирует торцы пачек на планшет (20–30 фото за час). AI подсчитывает количество прутков в каждой пачке через Hough circles (для d12–d25) и density estimation (для d8 — мелкие, плотно).

• Точность подсчёта: ±2% от ручного пересчёта
• Время инвентаризации: 1.5 часа vs. 8 часов вручную
• Интеграция с 1С: автоматическое обновление остатков