Android dex文件格式介绍

dex(Dalvik Executable)是Android平台源代码文件(java,kotlin)经过编译、重构、重排、压缩、混淆后的字节码文件,是对传统的class 文件再处理。dex 更适合于资源有限的嵌入式设备使用,和class 文件比,dex 明显的优势主要表现在下面两个方面

  • 体积更小,dex 在class的基础上,将多个class 文件特征进行统一处理,通过重排,压缩,和class 文件比,体积明显变小

  • IO 量明显减少,dex 将大量class文件整合成一个文件,在程序执行的过程中可以一次载入,避免多次小文件的IO 读取。

dex 的生成过程

dex 文件是通过d8(在 28.0.1之前为dx)命令将class 文件进行处理后生成的文件。

dex 的生成过程

d8/dx 命令通常在SDK\build-tools\api-level\ 目录下:

dex 的生成过程

使用实例:

d8 Demo.class Demo1.class –debug –file-per-class –lib SDK\platforms\android-29\android.jar–classpath ./ –output Demo

–debug 编译DEX 字节码时在其中包含调试信息,与—release 相对

–file-per-class 每个class文件生成一个dex 文件

–lib Android SDK 的 android.jar 的路径

–classpath 编译项目的DEX 文件时可能需要使用的类路径资源

–output 输出的目录

dex 文件格式详细分析

uleb128、sleb128和uleb128p1介绍

Leb128(Little-Endian Base 128),u 表示unsigned ,s表示signed ,p1 是dalvik 独有的编码格式(后面说明),是一种变长的整数压缩编码形式,通常有1-5byte组成,由于一个int 值在机器中占有4Byte。为了实现变长存储,节省空间,在Leb128 格式中每个byte 的最高位作为后续byte 是否有效的标志位,1表示还有后续字节,0表示结束,后面7bits是有效数据,所以一个整数最大需要5byte 存储。

代码可以参考:art/libartbase/base/leb128.h

Uleb 128 格式:

将无符号整数写成二进制形式,从低位到高位每7个bits作为一个整体组合成一个组,最高字节不足7bit 用0 填充到7bit,在每组最高位填入是否有高字节的标识,构成一个完整的字节,然后将所有字节小端序排列。

dex 文件格式详细分析

sleb128 格式:

sleb128 格式和uleb 128 格式类似,正数的处理和uleb128 完全一致,负数在机器中通过补码标识,若某一byte 第7位和前面的高位都为1 时则停止:

sleb128 格式

uleb128p1 (uleb128 plus 1)格式

是uleb128 的一种变体,为了能标识-1 和非负数而设计,则相同编码表示的值uleb128 比uleb128p1 大1,如下例:

uleb128p1 (uleb128 plus 1)格式

大端字节序和小端字节序

大端字节序:高位字节存储在内存的低地址处,低位字节存储在内存的高地址处

小端字节序:高位字节存储在内存的高地址处,低位字节存储在内存的低地址处

比如:0x12345678

大端模式:0x12345678

小端模式:0x78563412

dex 文件格式详解

010 Editor 分析工具安装

为了更方便的分析dex 文件格式,建议安装010 Editor,可以下载试用版本。

https://www.sweetscape.com/010editor/

生成classes.dex 文件

编写一个简单的java文件,命名为DexDemo.java

dex 文件格式详解

Ⅰ.javac DexDemo.java

Ⅱ. d8 DexDemo.class –outputdemo

生成文件为demo/classes.dex,后续以该DexDemo.java 生成的classes.dex 为例进行分析,文章后

续出现DexDemo.dex 特指该classes.dex文件

dex 文件结构

Ⅰ.dex 文件头

类型定义:

dex 文件结构

DexDemo.dex 数据:

DexDemo.dex 数据

通过对struct Header 结构体进行分析,该结构体的占用内存大小为112byte。GetVersion()函数占用内存不计算在内。下面详细分析各字段:

DexDemo.dex 数据

Ⅱ.字符串列表解析:

从Header的string_idsoff 和string_ids_size_可以知道,在偏移70h 开始,定义了0x13h 个字符串:

类型定义:

字符串列表解析

该地址开始存储了代码文件中出现的所有字符串的偏移地址.

DexDemo.dex 数据:

字符串列表解析

对数据内容进行解析:

字符串列表解析

图片

字符串数据区格式为:

字符串列表解析

DexDemo.dex 数据:

DexDemo.dex 数据

对数据内容进行解析(string_ids表):

DexDemo.dex 数据

Ⅲ. 类型解析:

从Header的type_idsoff 和type_ids_size_可以知道,在偏移BCh 开始,定义了0x7h 个类类型:

类型定义:

DexDemo.dex 数据

其中descriptor_idx_中存储的为string_ids 中的索引。

DexDemo.dex 数据:

DexDemo.dex 数据

对数据内容进行解析(type_ids 表):

DexDemo.dex 数据

Ⅳ. 方法原型解析:

从Header 的proto_ids_off_和proto_ids_size_可以知道,在偏移D8h 开始,定义了0x4h 个方法原型:

类型定义:

DexDemo.dex 数据

shortyidx 描述方法原型在string_ids 中的索引,包括返回值和参数的简写

return_typeidx 描述方法原型在type_ids中的索引

parametersoff 为方法参数列表的偏移

DexDemo.dex 数据:

DexDemo.dex 数据

对数据内容进行解析(proto_ids):

DexDemo.dex 数据

Ⅴ. 方法参数解析:

格式定义:

DexDemo.dex 数据

以其中一个带参函数为例,其中DexDemo.dex 数据如下:

DexDemo.dex 数据

对数据内容进行解析:

DexDemo.dex 数据

Ⅵ. Field数据解析:

从Header 的field_ids_off_和field_ids_size_可以知道,在偏移0108h 开始,定义了0x2h 个方法原型:

类型定义:

Field数据解析

classidx 描述该field 所在类的类型在type_ids 中的索引

typeidx 描述该field 的类型在type_ids中的索引

nameidx 描述该field的名称在string_ids 中的索引

DexDemo.dex 数据:

Field数据解析

对数据内容进行解析:

Field数据解析

Ⅶ. 方法列表数据解析:

从Header 的method_ids_off_和method_ids_size_可以知道,在偏移0118h 开始,定义了0x5h 个方法原型:

类型定义:

方法列表数据解析

classidx 描述该类类型在type_ids 中的索引

protoidx 描述该方法的原型在proto_ids中的索引

nameidx 描述该方法的名称在string_ids中的索引

DexDemo.dex 数据:

方法列表数据解析

对数据内容进行解析:

方法列表数据解析

Ⅷ. class列表数据解析

从Header 的class_defs_off_和class_defs_size_可以知道,在偏移0140h 开始,定义了0x1h 个类定义:

类型定义:

class列表数据解析

classidx 描述该类类型在type_ids 中的索引

accessflags 描述该类的访问标记

supperclassidx 描述该类的父类在type_ids 中的索引

interfacesoff 描述从文件开头到该类继承接口列表的偏移量

source_fileidx 包含该类的源文件名在string_ids中的索引

annotationsoff 描述从文件开头到该类所包含注解列表的偏移量

class_dataoff 描述从文件开头到该类关联类数据的偏移量

static_valuesoff 描述从文件开头到 static 字段初始值列表的偏移量

DexDemo.dex 数据:

class列表数据解析

对数据内容进行解析:

class列表数据解析

Ⅸ. 类关联数据解析

从类列表的解析看,DexDemo 类关联数据段在该文件中的偏移为02D5h:

数据格式:

类关联数据解析

DexDemo.dex 数据:

类关联数据解析

对数据内容进行解析:

类关联数据解析

类关联数据解析

Ⅹ. 类关联静态数据解析

从类列表的解析看,DexDemo 静态数据段在该文件中的偏移为02E9h:

数据格式:

类关联静态数据解析

DexDemo.dex 数据:

类关联静态数据解析

对数据内容进行解析:

类关联静态数据解析

Ⅺ. map_list的解析

从Header 的map_off_的字段可以得出,map_list从02f0h 开始,该列表是对文件中所有分类的信息概览,

从Android S 的代码看包括19 个分类。

数据格式:

map_list的解析

DexDemo.dex 数据:

map_list的解析

对数据内容进行解析:

map_list的解析

Ⅻ. 方法bytecode的解析

在“类关联数据”部分,direct_methods/direct_methods段指明了方法的bytecode偏移,如在DexDemo 文件中两个方法的bytecode分别为:

方法bytecode的解析

数据格式:

方法bytecode的解析

下面对public static void main 函数进行分析,DexDemo.dex 数据:

方法bytecode的解析

对数据内容进行解析:

方法bytecode的解析

Ⅷ. 对Insns指令解析

对于指令的解析首先需要详细阅读google的指令格式文档:

https://source.android.com/devices/tech/dalvik/instruction-formats和 bytecode 格式文档

https://source.android.com/devices/tech/dalvik/dalvik-bytecode

在指令格式文档中,列出了所有用到的指令类型。bytecode 格式文档中定义了每个指令的详细格式,

包括运算符(op)和相关的操作数。

1) 拆解指令:6201 01 00 1A 00 02 00 6E 20 03 00 01 00 0E 00

Op 码为62,查找bytecode 格式文档:

对Insns指令解析

3)指令格式为21C 查询指令格式文档:

对Insns指令解析

从两个文档分析,第一条占用4个字节,即6201 01 00;其中op:62,VAA:01,field@BBBB:00 01;

则最终的指令为:sget-object v1,Ljava/lang/System;.out:Ljava/io/PrintStream; // field@0001

同样对后续的1A 00 02 00 6E 20 03 00 01 00 0E 00 进行分析,得到下面三条指令:

对Insns指令解析

dexdump 工具介绍

dexdump 是用于解析dex 文件的工具,通过文本的方式展示了dex 文件中的文件头、类信息、field信息、method信息、指令信息、注解信息、等。

使用方法参考帮助文档:

dexdump 工具介绍

这里特别提一下-d 参数,该参数除了会列出dex 的基本结构外还对方法中bytecode所对应的指令详情进行了说明,为进一步分析代码的执行逻辑提供便利。

Dex文件格式总结

Dex 文件格式作为art 虚拟机的执行码载体,与class 字节码相比在嵌入式设备中有着明显的优势,其包含的信息量很大,本文只从DexDemo 简单的实例对各部分做了分析,在实际项目中的情况会更加复杂。但通过该文档的学习,可以了解dex 的整个结构,对关键的header,类,方法,field等的组织形式有清晰的认识,对art 虚拟机代码的学习有极大的帮助。

Camera课程

Python教程

Java教程

Web教程

数据库教程

图形图像教程

办公软件教程

Linux教程

计算机教程

大数据教程

开发工具教程