Таблица 1. Сравнение понятий «малые» и «большие» данные[110]
После 2000 года ландшафт городских данных изменился, произошли значительные трансформации как в природе данных, так и в способах их производства, а именно – переход от малых к большим данным. Это означает, что производство данных становится непрерывным, обеспечивает полное покрытие в рамках одной системы, характеризуется высоким разрешением, связностью и подвижностью (см. таблицу 1) и охватывает различные сферы[111]. Ситуация относительного недостатка данных сменяется их переизбытком. Это в первую очередь относится к оперативным городским данным, поскольку традиционная инфраструктура города, включая транспорт (шоссе, железные дороги, автобусные маршруты, а также транспортные средства) и коммунальные службы (электроэнергия, вода, свет), превратилась в цифровую сеть, снабженную системами встроенных датчиков, механизмов управления, сканирующих устройств, приемоответчиков, камер, счетчиков и систем GPS, производящих непрерывный поток данных о состоянии и использовании инфраструктуры (и образующих интернет-вещей). Многие из этих систем производят персонифицированные данные, отслеживая проездные документы отдельных пассажиров, номерные знаки автомобилей, идентификаторы мобильных телефонов, лица и походку, автобусы/поезда/такси, показания счетчиков и т. п.[112] Все это совмещается с «большими данными», генерируемыми коммерческими компаниями, такими как операторы мобильной связи (местоположение, использование приложений), сайтами о путешествиях и гостиницах (отзывы), социальными медиа (мнения, фотографии, персональная информация, местоположение), поставщиками транспортных услуг (маршруты, пассажиропотоки), владельцами сайтов (история действий пользователей), финансовыми учреждениями и сетями розничной торговли (покупки), частными системами наблюдения и охранными предприятиями (местоположение, поведение), которые все чаще продают или отдают в лизинг свои данные, используя дата-брокеров, или открывают свои данные при помощи API (как в случае с Twitter или Foursquare). Большие данные также генерируются с помощью краудсорсинга (в таких проектах, например, как Open Street Map) и проектов гражданской науки (например, при помощи персональных метеостанций), когда люди общими усилиями создают информационный ресурс или собирают данные, будучи волонтерами. Другие виды данных, собираемые менее систематически, включают цифровую аэрофотосъемку с самолетов или беспилотных устройств, географическую видеосъемку, использование технологии LiDAR (световое обнаружение и ранжирование), тепловые и другие способы электромагнитного сканирования местности, позволяющие создавать 2D- и 3D-карты в реальном времени. И если официальной статистике в основном еще только предстоит пережить информационную революцию[113], то использование онлайн-транзакций электронного правительства (e-government), в которых цифровые данные производятся в момент завершения операции, уже изменило способы сбора данных, практикуемые городскими администрациями.
Мы находимся на пороге новой эры больших данных, когда объем и разнообразие информации о городе будут только возрастать. Более того, если сейчас значительная часть этих данных находится в хранилищах, их сложно интегрировать и увязать между собой из-за различий в используемых стандартах и форматах, впоследствии они будут все больше объединяться в централизованные системы, такие как межведомственные диспетчерские (inter-agency control rooms), осуществляющие мониторинг города как единого целого. Например, такой диспетчерской города является Centro de Operac~oes Prefeitura do Rio de Janeiro (Рио-де-Жанейро, Бразилия) – основанный на данных центр управления, в штате которого 180 сотрудников. В эту диспетчерскую в режиме реального времени собирается информация от 30 ведомств, включающая данные о дорожном движении и системе общественного транспорта, данные от муниципальных и коммунальных служб, служб безопасности и экстренной помощи, сведения о погоде, информация, производимая служащими и горожанами с помощью социальных медиа, а также административные и статистические данные. Другим примером могут служить так называемые городские операционные системы, такие как CityNext от Microsoft, Smarter City от IBM, City Operating System от Urbiotica и Urban Operating System от PlanIT. Фактически они представляют собой разработанные для координирования и контроля деятельности крупных компаний системы планирования ресурсов бизнес-предприятий (ERP), перепрофилированные для нужд города. По мере распространения движения за открытость данных какая-то часть этой информации будет поступать на открытые для горожан панели управления и мониторинга (city dashboards), на которых в режиме реального времени будут транслироваться интерактивные визуализации данных официальной статистики и городских администраций[114].