В марте 2013 года в открытом доступе были опубликованы результаты «интернет-переписи» (Internet Census 2012) — самого подробного исследования Всемирной сети за всю ее историю.
Хакер, пожелавший остаться анонимным, для сканирования создал огромный ботнет Carna. Боты одновременно и сканировали IP-адреса, и заражали новые системы. В общей сложности в работе приняли участие около 420 000 ботов. Хакер постарался аккуратно распределить нагрузку между ними, чтобы не доставить неудобств владельцам зараженных систем, и удалил программу по окончании исследования. Технические детали см. в опубликованной научной работе.
Результаты сканирования — 9 терабайт логов, настоящее сокровище для исследователей, которые занимаются дата-майнингом и изучают разные аспекты сетевых технологий. Скачать информацию можно здесь, по частям для каждого типа сканирования.
Internet Census 2012
- 52 млрд ICMP-пингов
- 10,5 млрд ответов на обратный запрос DNS
- 180 млрд сканов на сервисные порты
- 2,8 млрд ответов на SYN-запрос для 660 млн IP-адресов и 71 млрд протестированных портов
- 80 млн отпечатков TCP/IP
- 68 млн записей traceroute
Например, исследователь из компании Google Морган Марки-Буар (Morgan Marquis-Boire) давно специализируется на изучении шпионской программы FinFisher, которую применяют правоохранительные органы разных стран для слежки за преступниками и политической оппозицией через мобильные телефоны и ПК. Анализ информации с Internet Census 2012 выявил управляющие серверы FinFisher еще в 11-ти странах, вдобавок к 25-ти уже известным.
И это только начало. Наверняка, из собранных данных можно извлечь много другой полезной информации. Нужно только осмелиться и скачать эти логи, полученные сомнительным путем. К сожалению, применение информации в научных целях затруднено по ряду причин: из-за анонимности автора исследования ученые не могут проверить эту информацию и оценить ее достоверность. Да что тут говорить, если сам факт существования ботнета Carna в заявленном масштабе не подтвержден независимыми наблюдателями.
Возникают и этические проблемы. Ученые и раньше сталкивались с ними, достаточно вспомнить стэнфордский тюремный эксперимент, готовый сюжет для фильма ужасов.
Что думает академическое сообщество, станет известно по конференции Internet Measurement Conference в Барселоне. В начале лета станет ясно, допустят ли к заявке на конференцию научные работы, основанные на данных с ботнета Carna.
