-
Notifications
You must be signed in to change notification settings - Fork 1
/
TODO.txt
28 lines (25 loc) · 2.02 KB
/
TODO.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1. ОК - Рефакторинг
2. ОК - Ведение лога.
Время
Событие (УРЛ успешно обработан, УРЛ не открыт, Обработка страницы завершилась с ошибкой...)
URL
Прокси
Юзер-агент
Суп/Селениум
Имя процесса / "Без MP"
3. ОК - Отлавливать ошибки и записывать их в лог, при этом не прерывая общего процесса.
4. ОК - URLы, обработка которых закончилась ошибкой передавать в список, а затем
обрабатывать их по второму разу (и такдо тех пор, пока все URL не будут обарботаны)
5. OK - Прогресс-бар
6. ПОисследовать формирование запросов (объекты request), может можно как-то скрывать тот факт,
что это автоматический запрос.
7. ОК - Обновление списка прокси-серверов
8. Вынести параметры в конфигурационный файл
9. ОК - Сделать сохранение данных в JSON-файл сразу же после окончания работы потока.
10. ОК - Случайные таймуаты в процессах
11. Извлекать данные из очереди в отдельном процессе, не дожидаясь пока отработают основные процессы.
И тут можно сразу записывать в файл (п. 9 будет не нужен)
12. Автоматически определять размер свободной ОЗУ и вычислять количество необходимых процессов
13. Обновление списка прокси-серверов из нескольких источников.
14. Сделать тесты
vpn, socks, tor