Quote (ixTitan)
Как думаете стоит на это время тратить.
Не стоит, все делаеться просто скачиваешь оттуда html страницу с сылками от каталогов заливаешь через файлм менеджер.
Добавляешь в robots.txt запрещения индексации этой страницы, прогоняешь по каталогам и стераешь эту страницу, какие проблемы :).