Пираты-активисты из Anna's Archive сообщили, что сумели соскрапить почти всю музыкальную библиотеку крупнейшего стримингового сервиса Spotify. Они утверждают, что собрали метаданные для 256 млн треков, а также скачали сами аудиофайлы — 86 млн композиций общим объемом около 300 ТБ.
Anna's Archive — метапоисковая система для теневых библиотек, запущенная в 2022 году анонимным активистом под ником Anna, вскоре после попыток правоохранительных органов закрыть Z-Library.
Проект агрегирует контент из Z-Library, Sci-Hub, Library Genesis (LibGen), Internet Archive и других источников. Активисты описывают свою деятельность как «сохранение знаний и культуры человечества».
Участники Anna's Archive заявили о создании первого в истории «архива для обеспечения сохранности» музыки. По словам активистов, недавно они обнаружили способ массово скрапить Spotify и решили использовать эту возможность для архивации контента.
«Некоторое время назад мы нашли способ скрапить данные из Spotify в огромных масштабах. В этом мы увидели возможность для создания музыкального архива, ориентированного в первую очередь на сохранение контента, — сообщает группа в своем блоге. — Конечно, в Spotify нет всей музыки в мире, но это отличное начало».
По словам активистов, все уже существующие коллекции музыки — как физические, так и цифровые — имеют серьезные недостатки. Такие архивы в основном сосредоточены на популярных исполнителях, гонятся за максимальным качеством звука (например, lossless FLAC), что увеличивает размер файлов, а также не имеют централизованного списка торрентов. В Anna's Archive решили устранить эти недостатки.
Примечательно, что Anna's Archive обычно фокусируется на книгах и научных статьях, поскольку текст обладает наивысшей информационной плотностью. Однако миссия группы — сохранение знаний и культуры человечества — не делает различий между типами медиа. «Иногда появляется возможность для сохранения нетекстового контента. Это как раз такой случай», — отмечают активисты.
Утверждается, что собранный в итоге дамп метаданных содержит информацию о 99,9% всех треков на платформе — около 256 млн композиций. Это делает его крупнейшей публично доступной базой музыкальных метаданных в мире. Для сравнения: у конкурентов насчитывается от 50 до 150 млн записей, у MusicBrainz всего 5 млн уникальных ISRC-кодов против 186 млн у Anna's Archive.
Однако только метаданными дело не обошлось. Активисты архивировали сами аудиофайлы для 86 млн треков. Хотя это лишь 37% от общего числа композиций, доступных с Spotify, на эти треки приходится 99,6% всех прослушиваний на платформе. Другими словами, с вероятностью 99,6% любой случайный трек, который слушает пользователь, попал в архив активистов.
При сортировке треков использовалась метрика популярности Spotify — числовое значение от 0 до 100, которое рассчитывается на основе количества прослушиваний и их актуальности. Треки с популярностью выше нуля сохранили в оригинальном качестве Ogg Vorbis 160 кбит/с. Для менее востребованных композиций применили перекодирование в Ogg Opus 75 кбит/с. Отмечается, что для большинства слушателей разница будет незаметна, но это помогает экономить место.
Весь архив планируется раздавать через торренты в формате Anna's Archive Containers (AAC) — собственном стандарте группы для распространения файлов. Релиз будет разбит на несколько этапов: уже опубликованы все собранные метаданные, а после этого планируется выкладка самих треков (ранжированных по популярности, от наиболее популярных до наименее популярных), дополнительных метаданных, обложек альбомов и патчей для восстановления оригинальных файлов.
К каждому файлу активисты добавили максимум метаданных — название трека, URL, ISRC-код, UPC, обложку альбома, данные о громкости (replaygain) и другую информацию. Оригинальные файлы Spotify не содержали метаданных, поэтому группа встроила их в Ogg-файлы без перекодирования аудио.
Представители Spotify сообщили СМИ, что утечка данных действительно имеет место. Подчеркивается, что компания уже выявила и заблокировала аккаунты, которые занимались незаконным скрапингом, а также внедрила новые защитные меры для предотвращения подобных атак в будущем.
«Spotify выявила и заблокировала недобросовестные учетные записи, которые использовались для незаконного скрапинга. Мы внедрили новые защитные меры против таких атак и активно отслеживаем подозрительную активность. С самого первого дня мы выступаем на стороне артистов в вопросах борьбы с пиратством и сейчас активно сотрудничаем с партнерами по индустрии, чтобы защитить создателей контента и отстоять их права», — заявляет представитель Spotify Лора Бейти (Laura Batey).
Пока архив ориентирован исключительно на сохранность контента и доступен только через торренты. Однако группа допускает, что при достаточном интересе может добавить возможность загрузки отдельных файлов непосредственно через свой сайт.
