Змеиная анатомия. Вскрываем и потрошим PyInstaller

В качес­тве при­мера возь­мем некое гра­фичес­кое при­ложе­ние, для регис­тра­ции которо­го нуж­но ввес­ти пра­виль­ный серий­ник в ответ на пред­ложен­ный прог­раммой код обо­рудо­вания. При неп­равиль­ном вво­де при­ложе­ние отве­чает ругатель­ным сооб­щени­ем «No valid license code». Detect It Easy уве­рен­но под­ска­зыва­ет, что это наш паци­ент.

Ис­сле­дова­ние при­ложе­ния мы начина­ем по стан­дар­тной схе­ме. Поиск сопутс­тву­ющих тек­сто­вых строк в exe-фай­ле не дает резуль­тата: исполня­емый код и дан­ные явно упа­кова­ны или зак­рипто­ваны. Заг­рузка при­ложе­ния в IDA кос­венно это под­твержда­ет, exe-файл пред­став­ляет собой заг­рузчик для обширно­го саморас­паковы­вающе­гося фай­лового пакета.

Поп­робу­ем заг­рузить прог­рамму в наш любимый отладчик x64dbg. По счастью, при­ложе­ние совер­шенно не соп­ротив­ляет­ся это­му, нор­маль­но заг­ружа­ется и пре­рыва­ется по пер­вому тре­бова­нию. Слег­ка поп­рыгав по коду трас­сиров­щиком, сра­зу натыка­емся на учас­ток, силь­но сма­хива­ющий на интер­пре­татор шитого пи‑кода:

Как видим, таб­лица обра­бот­чиков команд находит­ся по адре­су 6C8D8, а ука­затель на PC текущей коман­ды — в регис­тре R15.

На этом мес­те отло­жим пока отладчик в сто­рону и вспом­ним теорию. Но сна­чала, что­бы не забыть, зафик­сиру­ем один инте­рес­ный момент: боль­шинс­тво динами­чес­ких биб­лиотек, на которые име­ются ссыл­ки на вклад­ке «Отла­доч­ные модули», физичес­ки находят­ся в под­папке \_MEI100722 сис­темной пап­ки для вре­мен­ных фай­лов. Судя по все­му, это и есть каталог (или один из катало­гов), в который сбор­ка рас­паковы­вает­ся на вре­мя работы при­ложе­ния.

Что­бы луч­ше понимать воп­рос, давай для начала вспом­ним, что это за зверь такой — Python. Думаю, не оши­бусь, если пред­положу, что мно­гие зна­ют его как язык для написа­ния прос­тень­ких сце­нари­ев, вро­де JavaScript, отли­чающий­ся нес­коль­ко экс­тра­ваган­тной кон­цепци­ей выделе­ния бло­ков кода отсту­пами. Про­ект соз­дан и раз­вивал­ся в луч­ших тра­дици­ях чер­ного англий­ско­го юмо­ра (как извес­тно, само наз­вание — это отсылка к сатири­чес­кому бри­тан­ско­му телешоу). В ходе этой эво­люции узкоспе­циали­зиро­ван­ный скрип­товый язык получил мно­жес­тво раз­нооб­разных биб­лиотек, как в свое вре­мя это про­изош­ло с фор­тра­ном.

Как извес­тно, спрос рож­дает пред­ложение, поэто­му, что­бы раз­работ­чикам было лег­че соз­давать пол­ноцен­ные ком­мерчес­кие при­ложе­ния в рам­ках при­выч­ной кон­цепции Python, были при­дума­ны ком­пилято­ры самых раз­нооб­разных реали­заций. Кто‑то попытал­ся сде­лать натив­ный ком­пилятор, дру­гие прик­рутили к Python JIT (ком­пиляцию вре­мени исполне­ния, я рас­ска­зывал про эту кон­цепцию в сво­их пре­дыду­щих стать­ях).

Со­ответс­твен­но, были соз­даны про­екты Jython (тран­сля­ция в байт‑код JVM) и IronPython (тран­сля­ция в .NET IL). Но, к сожале­нию, как ты мог убе­дить­ся из при­веден­ного выше фраг­мента кода интер­пре­тато­ра, эта­лон­ная реали­зация лишена полез­ных свой­ств — перед нами обыч­ная интер­пре­тация py-кода, не отли­чающаяся высокой опти­миза­цией.

Под­робнее про раз­личные методы ком­пиляции питонов­ско­го кода в исполня­емые при­ложе­ния мож­но почитать, нап­ример, на «Хаб­ре». В этой статье упо­мяну­та сбор­ка при­ложе­ния с помощью иссле­дуемо­го нами PyInstaller и раз­борка его на сос­тавля­ющие фай­лы про­екта с исполь­зовани­ем PyInstaller Extractor.

Хо­тя лич­но я для извле­чения фай­лов из про­екта посове­товал бы более прод­винутый инс­тру­мент — pydumpck. Разуме­ется, он тоже не все­могущ и ему при­сущи опре­делен­ные недос­татки. К при­меру, у меня он нор­маль­но запус­кает­ся толь­ко на вер­сии питона 3.9, но вооб­ще, надо ска­зать, проб­лема сов­мести­мос­ти кода даже меж­ду сосед­ними под­верси­ями — обыч­ная и даже не самая глав­ная проб­лема это­го язы­ка. В общем, дос­таточ­но лирики, вер­немся к суровым тех­ничес­ким под­робнос­тям эта­лон­ной реали­зации.

Ми­нималь­ной еди­ницей ском­пилиро­ван­ного питонов­ско­го байт‑кода явля­ется файл .pyc (есть еще фай­лы .pyo, ском­пилиро­ван­ные с опти­миза­цией, но их мы тро­гать не будем). Этот файл генери­рует­ся из тек­сто­вого скрип­тового кода вызовом метода py_compile.compile или прос­то при вызове дирек­тивы import во вре­мя исполне­ния скрип­та, что­бы не ком­пилиро­вать импорти­руемый модуль лиш­ний раз. Подоб­ным обра­зом раз­работ­чики попыта­лись ком­пенси­ровать отсутс­тву­ющий в эта­лон­ной реали­зации JIT. Этот файл содер­жит в себе байт‑код ском­пилиро­ван­ного модуля, кон­стан­ты, ссыл­ки и так далее. Фор­мат его зависит от вер­сии Python, офи­циаль­но не докумен­тирован, одна­ко хорошо опи­сан в интерне­те, нап­ример на сай­те Nedbatchelder. В этой же статье при­веден и текст прос­тей­шего дизас­сем­бле­ра pyc, написан­ного на питоне: