reppy 0.1.0

reppy почав через відсутність підтримки мемоізаціі в інших robots.txt аналізаторів, з якими стикаються, і відсутність підтримки Crawl затримки і сайту в побудованому в robotparser. Відповідність Цей пакет підтримує 1996 RFC, а також додаткові, зазвичай...