dex(Dalvik Executable)是Android平台源代码文件(java,kotlin)经过编译、重构、重排、压缩、混淆后的字节码文件,是对传统的class 文件再处理。dex 更适合于资源有限的嵌入式设备使用,和class 文件比,dex 明显的优势主要表现在下面两个方面
-
体积更小,dex 在class的基础上,将多个class 文件特征进行统一处理,通过重排,压缩,和class 文件比,体积明显变小
-
IO 量明显减少,dex 将大量class文件整合成一个文件,在程序执行的过程中可以一次载入,避免多次小文件的IO 读取。
dex 的生成过程
dex 文件是通过d8(在 28.0.1之前为dx)命令将class 文件进行处理后生成的文件。
d8/dx 命令通常在SDK\build-tools\api-level\ 目录下:
使用实例:
d8 Demo.class Demo1.class –debug –file-per-class –lib SDK\platforms\android-29\android.jar–classpath ./ –output Demo
–debug 编译DEX 字节码时在其中包含调试信息,与—release 相对
–file-per-class 每个class文件生成一个dex 文件
–lib Android SDK 的 android.jar 的路径
–classpath 编译项目的DEX 文件时可能需要使用的类路径资源
–output 输出的目录
dex 文件格式详细分析
uleb128、sleb128和uleb128p1介绍
Leb128(Little-Endian Base 128),u 表示unsigned ,s表示signed ,p1 是dalvik 独有的编码格式(后面说明),是一种变长的整数压缩编码形式,通常有1-5byte组成,由于一个int 值在机器中占有4Byte。为了实现变长存储,节省空间,在Leb128 格式中每个byte 的最高位作为后续byte 是否有效的标志位,1表示还有后续字节,0表示结束,后面7bits是有效数据,所以一个整数最大需要5byte 存储。
代码可以参考:art/libartbase/base/leb128.h
Uleb 128 格式:
将无符号整数写成二进制形式,从低位到高位每7个bits作为一个整体组合成一个组,最高字节不足7bit 用0 填充到7bit,在每组最高位填入是否有高字节的标识,构成一个完整的字节,然后将所有字节小端序排列。
sleb128 格式:
sleb128 格式和uleb 128 格式类似,正数的处理和uleb128 完全一致,负数在机器中通过补码标识,若某一byte 第7位和前面的高位都为1 时则停止:
uleb128p1 (uleb128 plus 1)格式:
是uleb128 的一种变体,为了能标识-1 和非负数而设计,则相同编码表示的值uleb128 比uleb128p1 大1,如下例:
大端字节序和小端字节序
大端字节序:高位字节存储在内存的低地址处,低位字节存储在内存的高地址处
小端字节序:高位字节存储在内存的高地址处,低位字节存储在内存的低地址处
比如:0x12345678
大端模式:0x12345678
小端模式:0x78563412
dex 文件格式详解
010 Editor 分析工具安装
为了更方便的分析dex 文件格式,建议安装010 Editor,可以下载试用版本。
https://www.sweetscape.com/010editor/
生成classes.dex 文件
编写一个简单的java文件,命名为DexDemo.java
Ⅰ.javac DexDemo.java
Ⅱ. d8 DexDemo.class –outputdemo
生成文件为demo/classes.dex,后续以该DexDemo.java 生成的classes.dex 为例进行分析,文章后
续出现DexDemo.dex 特指该classes.dex文件
dex 文件结构
Ⅰ.dex 文件头
类型定义:
DexDemo.dex 数据:
通过对struct Header 结构体进行分析,该结构体的占用内存大小为112byte。GetVersion()函数占用内存不计算在内。下面详细分析各字段:
Ⅱ.字符串列表解析:
从Header的string_idsoff 和string_ids_size_可以知道,在偏移70h 开始,定义了0x13h 个字符串:
类型定义:
该地址开始存储了代码文件中出现的所有字符串的偏移地址.
DexDemo.dex 数据:
对数据内容进行解析:
字符串数据区格式为:
DexDemo.dex 数据:
对数据内容进行解析(string_ids表):
Ⅲ. 类型解析:
从Header的type_idsoff 和type_ids_size_可以知道,在偏移BCh 开始,定义了0x7h 个类类型:
类型定义:
其中descriptor_idx_中存储的为string_ids 中的索引。
DexDemo.dex 数据:
对数据内容进行解析(type_ids 表):
Ⅳ. 方法原型解析:
从Header 的proto_ids_off_和proto_ids_size_可以知道,在偏移D8h 开始,定义了0x4h 个方法原型:
类型定义:
shortyidx 描述方法原型在string_ids 中的索引,包括返回值和参数的简写
return_typeidx 描述方法原型在type_ids中的索引
parametersoff 为方法参数列表的偏移
DexDemo.dex 数据:
对数据内容进行解析(proto_ids):
Ⅴ. 方法参数解析:
格式定义:
以其中一个带参函数为例,其中DexDemo.dex 数据如下:
对数据内容进行解析:
Ⅵ. Field数据解析:
从Header 的field_ids_off_和field_ids_size_可以知道,在偏移0108h 开始,定义了0x2h 个方法原型:
类型定义:
classidx 描述该field 所在类的类型在type_ids 中的索引
typeidx 描述该field 的类型在type_ids中的索引
nameidx 描述该field的名称在string_ids 中的索引
DexDemo.dex 数据:
对数据内容进行解析:
Ⅶ. 方法列表数据解析:
从Header 的method_ids_off_和method_ids_size_可以知道,在偏移0118h 开始,定义了0x5h 个方法原型:
类型定义:
classidx 描述该类类型在type_ids 中的索引
protoidx 描述该方法的原型在proto_ids中的索引
nameidx 描述该方法的名称在string_ids中的索引
DexDemo.dex 数据:
对数据内容进行解析:
Ⅷ. class列表数据解析
从Header 的class_defs_off_和class_defs_size_可以知道,在偏移0140h 开始,定义了0x1h 个类定义:
类型定义:
classidx 描述该类类型在type_ids 中的索引
accessflags 描述该类的访问标记
supperclassidx 描述该类的父类在type_ids 中的索引
interfacesoff 描述从文件开头到该类继承接口列表的偏移量
source_fileidx 包含该类的源文件名在string_ids中的索引
annotationsoff 描述从文件开头到该类所包含注解列表的偏移量
class_dataoff 描述从文件开头到该类关联类数据的偏移量
static_valuesoff 描述从文件开头到 static 字段初始值列表的偏移量
DexDemo.dex 数据:
对数据内容进行解析:
Ⅸ. 类关联数据解析
从类列表的解析看,DexDemo 类关联数据段在该文件中的偏移为02D5h:
数据格式:
DexDemo.dex 数据:
对数据内容进行解析:
Ⅹ. 类关联静态数据解析
从类列表的解析看,DexDemo 静态数据段在该文件中的偏移为02E9h:
数据格式:
DexDemo.dex 数据:
对数据内容进行解析:
Ⅺ. map_list的解析
从Header 的map_off_的字段可以得出,map_list从02f0h 开始,该列表是对文件中所有分类的信息概览,
从Android S 的代码看包括19 个分类。
数据格式:
DexDemo.dex 数据:
对数据内容进行解析:
Ⅻ. 方法bytecode的解析
在“类关联数据”部分,direct_methods/direct_methods段指明了方法的bytecode偏移,如在DexDemo 文件中两个方法的bytecode分别为:
数据格式:
下面对public static void main 函数进行分析,DexDemo.dex 数据:
对数据内容进行解析:
Ⅷ. 对Insns指令解析
对于指令的解析首先需要详细阅读google的指令格式文档:
https://source.android.com/devices/tech/dalvik/instruction-formats和 bytecode 格式文档
https://source.android.com/devices/tech/dalvik/dalvik-bytecode
在指令格式文档中,列出了所有用到的指令类型。bytecode 格式文档中定义了每个指令的详细格式,
包括运算符(op)和相关的操作数。
1) 拆解指令:6201 01 00 1A 00 02 00 6E 20 03 00 01 00 0E 00
Op 码为62,查找bytecode 格式文档:
3)指令格式为21C 查询指令格式文档:
从两个文档分析,第一条占用4个字节,即6201 01 00;其中op:62,VAA:01,field@BBBB:00 01;
则最终的指令为:sget-object v1,Ljava/lang/System;.out:Ljava/io/PrintStream; // field@0001
同样对后续的1A 00 02 00 6E 20 03 00 01 00 0E 00 进行分析,得到下面三条指令:
dexdump 工具介绍
dexdump 是用于解析dex 文件的工具,通过文本的方式展示了dex 文件中的文件头、类信息、field信息、method信息、指令信息、注解信息、等。
使用方法参考帮助文档:
这里特别提一下-d 参数,该参数除了会列出dex 的基本结构外还对方法中bytecode所对应的指令详情进行了说明,为进一步分析代码的执行逻辑提供便利。
Dex文件格式总结
Dex 文件格式作为art 虚拟机的执行码载体,与class 字节码相比在嵌入式设备中有着明显的优势,其包含的信息量很大,本文只从DexDemo 简单的实例对各部分做了分析,在实际项目中的情况会更加复杂。但通过该文档的学习,可以了解dex 的整个结构,对关键的header,类,方法,field等的组织形式有清晰的认识,对art 虚拟机代码的学习有极大的帮助。