ebdata

ebdata забезпечує код, щоб допомогти написати скрипти, які імпортують / повзати / обробляти дані з Інтернету в ebpub, а також екстракт (США) вуличних адрес з (англійською мовою) тексту.
Цей пакет є частиною OpenBlock. Спочатку розроблений для EveryBlock.com.
Для отримання більш детальної інформації, зверніться до документації або веб-сайт проекту.
Проблеми можуть бути доведені до відстеження проблем.
Обговорення знаходиться на ebcode Google групи або #openblock каналу на Freenode.
<Сильний> Установка
Є тільки не намагайтеся easy_install або пункт встановити ebdata. Вона має багато специфічних залежностей, які не можуть / не повинні бути захоплені setup.py.
Замість цього, побачити повну документацію на http://openblockproject.org/docs/install/index.html

What новий У цьому випуску:

• Нові можливості:
• Великі колективні карти: & Quot; Дослідіть ці пункти на карті більшого розміру і Quot; посилання на всіх списках новин типоспецифічних. Наприклад, http://demo.openblockproject.org/photos/filter/locations=neighborhoods,financial-district/ посилання на http://bit.ly/njmZT6 що розділяються за допомогою постійне посилання. (Існує також без документів підтримка для вбудовування їх допомогою фреймів.)
• Коментарі NewsItems. Потрібно увійти в систему, і схеми повинні бути allow_comments = True і has_detail = True. Потреби документи.
• Користувальницькі внесок і Quot; добросусідські повідомлення & Quot; і & Quot; Сусід Події & Quot; типи новини, в пакеті ebpub.neighbornews. Потреби документи.
• Покращена підтримка для запуску в різних містах області:
• нові get_city_locations () функція, щоб отримати список усіх місць, чиї LocationType відповідає '' city_location_type від settings.METRO_LIST.
• -. FIX-міста можливість блокувати імпорт сценаріїв (і адміністратора інтерфейс), що дозволяє фіксації імпортні блоки так block.city відповідає існуючій перекриття місто-Робочі Місце
• очистити перетину вулиці і на імпорт, так що вони регенерують безпечно. При бажанні пропустити регенерації.
• деякі пов'язані URL виправлення.
• Імпорт місць з файлу CSV через інтерфейс адміністратора. Потреби документи.
• Дата і час підбирачі віджети на формах, де відповідні. (# 186)
• Блок імпорту підтримує фільтрацію по вашій ступеня замовчуванням метро, ​​а не тільки назва міста. # 160
• Підтримка майбутніх подій, а не тільки останні новини. Кілька скребки підтримати це: ма / Boston / події скребок, і загальне / Meetups / скребок, і пакет neighbornews. Див документи в Docs / пакетів / ebdata.rst. (Ticket # 246)
• Додана скребок для Meetup.com, в ebdata / скребки / Загальні / Meetups. Це нульової конфігурації: він просто перебирає ваших поштових індексів і знаходить все Meetups для тих ,. Це в ebdata / скребки / Загальні / Meetup / meetup_retrieval.py і пов'язані схема може бути завантажений так: django-admin.py LoadData ebdata / скребки / Загальні / Meetup / meetup_schema.json Вам необхідно встановити MEETUP_API_KEY в налаштуваннях. ру. (Ticket # 208)
• Додати --reset можливість update_aggregates сценарій, видаляє всі агрегати і починає знову. (Квиток # 221)
• Додати ebpub / бен / delete_newsitems.py сценарій, корисну в процесі розробки схеми: серветки все newsitems і атрибути та операцій пошуку з даної схеми
.
• Також додайте --quiet, --verbose, опцію -dry перспективі, і --help параметри командного рядка для update_aggregates.

Сповіщення
• Відправити тепер можуть бути відправлені за допомогою сценарію командного рядка. (Пов'язані з квиток # 65). Включає в себе документацію про те, як налаштувати його з хрон.
• E-mail оповіщення реєстрація може бути відключена шляхом видалення "ebpub.alerts» з settings.INSTALLED_APPS. (Посилання квиток # 65).
• obdemo включає Flickr і Meetup в типах новин за замовчуванням.
• Flickr скребок (квиток # 26). Це в ebdata / скребки / Загальні / Flickr / flickr_retrieval.py і пов'язані схема може бути завантажений так: django-admin.py LoadData ebdata / скребки / Загальні / Flickr / photos_schema.json Вам необхідно встановити FLICKR_API_KEY і FLICKR_API_SECRET в settings.py.
• Місця Імпорт з шейп в інтерфейсі адміністратора (квиток # 59). З документації (Ticket # 234).
• Імпорт кварталах від шейп в інтерфейсі адміністратора. Також заповнює вулиці, blockintersections і перехрестя. (Квиток # 215)
• Тепер Ви можете встановити тип розташування за замовчуванням за допомогою settings.DEFAULT_LOCTYPE_SLUG. (# 148)
• Додати --verbose і --quiet варіанти купу сценаріїв командного рядка і скребки.
• Не пишіть помилки скребкові за замовчуванням. Ось тільки не приємно, і хрон вже робить це.
• Усі пропоновані в даний час скребки увійти в settings.SCRAPER_LOGFILE_NAME.
• Користувальницькі додатки, створені за допомогою Пастер створити -t openblock тепер включають файл WSGI для використання з mod_wsgi, альтернативний файл настройок для використання з Django-адміністратора process_tasks, скелет хрон конфігурації, виконуваний manage.sh і manage.py файлів. Крім того, manage.sh тепер краще автоматичного пошуку і активації virtualenv.
• obdemo також включає в себе файл конфігурації приклад хрон, а manage.sh файл, і альт. файл настройок. І вже не має приклад updaterdaemon конфігурації.
• Наша Amazon EC2 AMI тепер використовувати хрон, а не updaterdaemon. Багато інших виправлень в EC2 скрипти теж.
• Виправлені помилки:
• Виправлена ​​порушується карту на стор кормами, квиток # 237.
• Додана відсутні посилання на форму для зміни пароля.

Захист
• CSRF скрізь, квиток # 185. (В якості побічного ефекту, ми в даний час використовують JQuery 1.5.2.)
• Блок імпорт: (., Наприклад, & Quot; 12-100 Main St & Quot; замість & Quot; 100-12 Main St & Quot;) згенеровані імена сьогодні Сортувати чисельно правильно
• Блок імпорт: Не намагайтеся вгадати right_from, right_to якщо не передбачено; що, як правило, означає, що насправді нічого на тому боці вулиці.
• Бостон демо :. Ресторан інспекції скребком фіксованою для розміщення розмітки зміни
• Де-жорстко і Quot; околиці & Quot; з різних URL. (# 148)
• Інтерфейс імпорту Індекс не має стан не за замовчуванням (щоб уникнути вибору Алабама помилково).
• імпорт Індекс тепер встановлює дату створення (# 233)
• Вилучено оману статті новин і Quot; Про & Quot; сторінка. (# 228)
• Вилучено відображення списку статті новин в адмін інтерфейсу, був занадто повільним. (# 219)
• SavedPlace Тепер нав'язує, що він має або блок або місце, але не обидва. (# 213)
• Показати на карті за схемою фільтра сторінці тепер використовують одні й ті ж фільтри, як елементів на сторінці. (# 121)
• Підтримка 2010 перепису населення США тигрові файли (квиток # 147). Використовуйте їх для Бостонського демо.
• Georeport / open311 скребок: підтримка параметра неофіційний "сторінка" (Ticket # 245); Також, використовуйте поле "Адреса" для LOCATION_NAME якщо це передбачено.
• SeeClickFix скребок: дозволити міста та державні Params, що не жорстко, щоб Бостоні; квиток # 243.
• place_detail_overview був насправді не фільтрувати за місцем.
• Дата Ajax графіки вибухне, якщо не знайдено.
• Виправлена ​​квиток # 77 :. Тепер фільтрації новин по item_date замість pub_date так як це дата, яка показана і для агрегатів
• Виправлена ​​& Quot; показати / приховати & Quot; Кнопки на місце детально сторінці і рахунки сторінці. (Квитки # 204, # 115, 236)
• Виправлена ​​помилка, що приводила багато і Quot; Невідомий & Quot; місця в чартах місцезнаходження. (Квиток # 192). І видалена і Quot; невідомі і Quot; повністю з графіка.
• Місцезнаходження були капіталізовані, на деяких сторінках. (Квиток # 202)
• Кілька Bounds помилки, пов'язані з імпортом в Місце фіксовані (завдяки Брет Уолкер).
• Шкребки, які створюють часовий пояс-Aware DateTimes більше не підірвати.
• GeoReport скребок: очистити розумна кількість днів, не 60 кожен штопати час. І зробити нумерацію сторінок (квиток # 245)
• GeoRSS скребок: Якби вперед / назад тест координат змінилася: -
• GeoRSS скребок :. Перейти деталі без LOCATION_NAME
• Виправлені деякі помилки міграції замовлення.

не «LI> parse_date більше не вибухає, якщо ви годуєте його примірник дату або дату.
• CSS виправлення для AJAX дати графіки на оглядовому місце сторінки.
• Документація
• Багато більше Docs про завантаження географічні дані.
• Конфігурація електронній пошті документ. (Квиток # 205)
• Документ, що ви отримуєте, коли робити Пастер створити -t openblock.
• Інші документи про те, на Amazon EC2.
• Опишіть відмінності від Everyblock
• Детальніше help_text доданий в декількох областях моделі, так адмін інтерфейс трохи більше самодокументірующімся.
• Багато, багато незначні оновлення і налаштувань.
• Інше:
• Модернізований OpenLayers 2.11. (Квиток # 250)
• Оновлення до Django 1.3.1.
• Оновлення до JQuery 1.5.2.
• Вилучені деякі невживані теги шаблонів (SHORT_NAME, STATE_ABBREV, EB_SUBDOMAIN).
• Вилучено стара версія карту спливаючі вікна коду.

Що нового у версії 1.0.1:

• Це незначна Виправлення (і документи) реліз , і в основному ідентичні 1.0.0.

Що нового у версії 1.0 Beta 1:

• Нові можливості:
• квиток # 33: Різні іконки карту для різних типів новини. Щоб використовувати це, ви можете використовувати користувальницький інтерфейс адміністратора для налаштування і Quot; карта значок URL & Quot; або & Quot; колір карти і Quot; для схеми.
• квиток # 85: Додано streets.PlaceType модель для класифікації місць. Вони також можуть мати окремі кольору або значок URL, на картах / / зору. (Оригінальна назва квиток був і Quot; '' Landmark тип розташування і Quot;)
• квиток # 142: JSON API для поштовх новин. Див документи / Головна / api.rst
• квиток # 187: REST API стандартні характеристики: API ключ резервів; вимагає ключі (або авт) для POST / DELETE; дросселирования
• Імпорт США Zip коди в якості місць, за допомогою інтерфейсу адміністратора.
• Робота в прогрес: користувач представив зміст. Див код в ebpub / neighbornews додаток.
• Робота в прогрес: Карти ви можете поділитися, просто копіювати / вставити URL-адресу. Для попередній перегляд, перейдіть до / карти /.
• Набагато краще Адмін карти інтерфейсу. (Квиток # 140: Погано інтерфейс адміністратора для GeometryFields)
• квиток # 72: об'єднати NewsItem.attributes і NewsItem.attribute_values ​​
• квиток # 52: Правильне перевірки для стріт орфографічні помилки в адмін
• квиток # 157: заповнити нормованої ім'я автоматично
• квиток # 123: Настроювані базовий шар повинен застосовуватися до адмін інтерфейс відображає занадто
• виправлення:
• Імпортери повинні тепер не підірвати, якщо запустити більш ніж один раз.
• квиток # 22: скребків скрипти в Everyblock / міст / бостон основному не працюють OOTB
• квиток # 79: Geotagging дивина
• квиток # 188: items.json не включає в себе LOCATION_NAME
• квиток # 200: & Quot; obdemo бен скрипти документально, але не встановлений при установці obdemo для редагування і Quot;
• Документація
• квиток # 80: Документація по вулиці орфографічні помилки
• квиток # 162: документ PIP / easy_install обхідні шляхи
• квиток # 139: додавання документа користувач бази даних / надання доступу до бази даних
• квиток # 198: номер версії в документації
• квиток # 197: документація для розгортання статичних ЗМІ
• Інше:
• квиток # 181 :. Підготуйте пакети для поширення на PyPI
• квиток # 83: Спліт з непрофільних пакети в окремій завантаження (ebblog, ebwiki, ebgeo, ebinternal і Everyblock зараз на https://github.com/openplans/openblock-extras)

Вимоги

• Python
• Джанго