Дубли страниц

Привет. На почту часто пишут как проверить дубли страниц, если на сайте скажем более 300 страниц?

В ручную проверять каждую через выдачу не удобно.

Есть специальная программа для проверки, Xenu links с её помощью очень удобно проверять дубли, скажем по размеру страницы или по заголовку. А также:

– Искать страницы с максимальным количеством исходящих ссылок.

– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.

- Составить карту сайта.