python image-downloader

nozomi.la API in Python. with rule34 API!

Release 4.0.0

• интерактивный запуск

• возможность удаления дубликатов

• почти полный рефакторинг приложения

• В мульти указано свыше 40 артистов и наборов тегов для загрузки общим объемом свыше 180к файлов и 80+ гигабайт данных.

• Загружается также медленно, как и в версиях 3.х.х. Это связано с тем, что сервера nozomi и rule34 не такие производительные, как сервера того же вконтакте.

• Ограничение не через семафор, а лимит одноверменных подключений. Если убрать лимит, сервер будет присылать ошибки 503.

The original author and code

https://github.com/Alfa-Q/python-nozomi

How to use

• Не рекомендуется скачивать очень крупные теги, возвращающие в результате более 10 тысяч id постов. Например "loli", "animated"
• При скачивании с nozomi количество файлов может превышать количество постов. Это норма. С rule34: 1 пост - 1 файл, но размер файлов значительно больше.
• Изменение лимита для семафоров может привести к непредсказуемым последствиям, вплоть до сломанных файлов или бана вашего IP.
• rule34 работает постранично для АПИ. Если получать не по 100 результатов, в набор постов могут попасть не все файлы, могут возникать непредвиденные ошибки. Лучше подождать пару минут, пока идет получение списка постов, чем недождаться и словить "api abuse"
• Для работы с данным ПО достаточно запустить main.py файл в VS Code. Если не запускается, вероятно, нужно установить недостающие библиотеки в python.