urlclean

urlclean забезпечує наступні функції:
- Слідувати Перенаправлення HTTP,
- Слідувати HTML META перенаправити,
- Зняти їжаків і Facebook параметрів трекер URL
- Що об'єднує всі ці в unshorten і вирішувати різні URL-адрес
Спробуйте його з командного рядка:
І NBSP; пітон -m urlclean <деякі URL>
Зміст:
Індекси і таблиці
- Індекс
- Індекс модуля
- Пошук Page
Документація для коду
urlcleaner модуль, який вирішує перенаправити URL-адреси і видаляє URL відстеження Params
urlclean.weedparams (URL)
І NBSP; видаляє Urchin трекер і Facebook, Params спостереження з URL.
І NBSP; Args:
І NBSP; URL (вул): URL, щоб вимити потворних Params
і NBSP; Повертає:
І NBSP; (STR). Повернення очистити гіперпосилання
urlclean.httpresolve (URL, иа = None, proxyhost = "локальний", ProxyPort = 8118)
І NBSP; вирішити одну перенаправлення запиту HTTP.
І NBSP; Args:
І NBSP; URL (вул): URL слідувати один перенаправлення
І NBSP; иа (Fn): функція, що повертає рядок агента користувача (опціонально)
І NBSP; proxyhost (вул): HTTP проксі-сервер (за бажанням)
І NBSP; ProxyPort (INT): Порт проксі-сервер (за бажанням)
І NBSP; Повертає: (вул httplib.response). Повернення вирішене URL, і
І NBSP; відповідь від HTTP запиту
urlclean.unmeta (URL, ВДЕ)
І NBSP; знаходить будь мета перенаправляє об'єкт httplib.response, який має текст / HTML, як контент-типу.
І NBSP; Args:
І NBSP; URL (вул): URL слідувати один перенаправлення
і NBSP; Res (httplib.response): об'єкт http.response
І NBSP; Повертає: (STR). Повернення вирішене гіперпосилання
urlclean.unshorten (URL, кеш = None, иа = None, >> ** <> **