Как определить CMS у 53 тысяч сайтов за один обход. И почему картина всё равно смещена

Задача была прикладная: мы переносим интернет-магазины на свой движок и хотели понять, сколько в зоне .ru магазинов на каждой платформе и как их находить. Готовые сервисы вроде BuiltWith продают выгрузки по подписке, но нам нужен был воспроизводимый обход, который можно гонять когда угодно и по своим правилам. Написали свой пробер, обошли 53 305 доменов и…