О мероприятии | Место и время | Программа | Эксперты | Партнеры | Команды | Данные и API | Контакты
(open english version)
Программные библиотеки и инструменты
Парсинг и извлчение данных
- фреймворк для парсинга сайтов GrabLib - извлечение данных с веб-сайтов (site scraping) работа с сетевыми API автоматизация работы с веб-сайтами, регистратор профилей. Этот интерфейс позволяет, во-первых, более строго описать логику парсера, во-вторых, разрабатывать парсеры с большим числом сетевых потоков.
- Yahoo pipes - Удобный инструмент извлечения данных из веб-страниц и управления массивами данных.
- ScrapperWiki - ScraperWiki - это сервис для разработчиков по написанию скриптов для извлечения данных из веб-сайтов.
- Список парсеров на Github, написанные разными российскими разработчиками: Артемием Трегубенко, Александром Мальцевым, Виктором Миреевым,Иваном Бегтиным, Алексеем Капрановым.
Визуализация данных
- DataPult - визуализация данных на карте мира.
Порталы и CMS
- Wordpress - для создания блога, сайта, портала, управление содержимым, много модулей (PHP).
- Drupal - очень гибкая CMS, подходит для решения любых задач, создания порталов любых типов - от сайтов до социальных сетей (PHP)
- CKAN - CMS для создания порталов данных
- Open Data Catalog - CMS для создания каталога данных (Django, Python and PostgreSQL)
- Socrata - SaaS для создания портала данных
- MySociety - набор инструментов и готовых порталов для проектов, которые решают проблемы городов, общества и пр.: FixMyStreet, Petitions, MySociety и множество других. Под открытыми лицензиями. Исходный код выложен тут.
- Open Knowledge Foundation projects - Открытый код проектов OpenSpending, CKAN, Annotator, IATITools и многих других. Под открытыми лицензиями
Геоинформация и картография
- OpenStreetMap - один из наиболее полных независимых картографических сервисов, создаваемый пользователями
- Ushahidi - инструмент для краудсорсинга, карты, SMS, агрегация данных, постинг в социальные сети
- GISLab Геоинформационный портал России
Краудсорсинг
Источники данных
В России опубликовано достаточно большое количество данных, однако большинство из них публикуются в формате обычных HTML страниц, в лучшем случае CSV. Однако много интересных данных уже преобразованы или имеют парсеры - их можно найти на сайте OpenGovData.
Россия
- Каталог данных - Наиболее полный каталог данных по России, созданный Иваном Бегтиным.
- Открытый API Гос.Думы - Поиск по законопроектам, депутатам и пр. Доступны в форматах XML, JSON, RSS.
- Единая межведомственная информационно-статистическая система России - Огромное количество статистических данных по России, министерств и департаментов, есть как структурированные форматы, так и в виде plain текста. К примеру доступны данные МВД (ДТП и другое).
- Антикоррупционные декларации чиновников - Собрано в одном месте данные о доходах чиновников, представлено как в формате HTML, так и CSV, имеются ссылки на первоисточник. Данные: декларации чиновников, их семей, по регионам, глав регионов, депутатов Гос.Думы, правительства, Министерств, Прокуратуры, Федеральных агентств и прочее.
- Центризбирком: если вам интересны данные о нарушениях на выборах - то много информации можно найти тут. Все итоги выборов и данные по кампании 2011 и выборы президента 2012. Финансовые отчеты партий предвыборной компании в Думу 2011 г. Предстоящие выборы 2012. Здесь пример аналитики по митингам.
- Законодательство РФ
- Решения арбитражных судов
- Портал с большой базой судебных решений
- Данные по адресам РФ - База всех адресов России.
- Данные "Банка России" - Различные финансовые данные, получаемые с помощью веб-сервисов (XML, SOAP, WSDL и HTTP).
- Список аптек и лекарств (СПб, Москва, Воронеж, Омск)
- Индекс взяточников по странам
- Единая энергосистема России
- Федеральный центр ценообразования в строительстве
- Реестр управляющих компаний (ЖКХ)
- Единая энергетическая система России (много статистических данных по регионам)
Петербург
Международные данные:
Идеи проектов и каталоги проектов
Полезные ресурсы
Следите за нашим хэштегом в Твиттере #opendatahack.