android测试框架对比

转自： http://www.yangrong.me/?p=15

最近花了一些时间来调研android的测试框架，除了需要适合做UI测试，还需要保证选取的框架有以下几点特性：

工具开源，易于扩展。
脚本编写简洁，维护成本低。
满足客户端的自动化需求。
便与校验结果的正确性。
可用于持续集成。

目前较热门的开源框架有：Android APIs提供的Instrumentation类、MonkeyRunner、Robotium、Athrun、Appium、UIAutomator等

Instrumentation类:http://developer.android.com/reference/android/app/Instrumentation.html

Android APIs提供
UI层的自动化
跨进程受到android进程安全限制
扩展后的框架：Robotium, Athrun等

Robotium:http://code.google.com/p/robotium/

基于instrumentation实现，提供的接口可以满足大部分自动化需求，使用方法简单
支持手势、webview、截图等操作
支持Remote Control方式
支持ant、maven打包，与jenkins结合较好
资料丰富，社区活跃，更新频繁
签名问题，待测App和测试App必须使用相同签名
通过solo对象提供操作方法，面向对象方面较差
不支持跨应用测试，Android进程安全限制

Athrun(TMTS):http://code.taobao.org/p/athrun/wiki/index/

淘宝的自动化测试框架，比较小众化，相关资料较少
提供通过id查找所有控件方法，控件对象提供操作方法
不支持Remote Control
不支持跨应用测试

Appium:http://appium.io/

使用WebDriver JSON wire protocol支持iOS和Android的UI测试
支持非常多种语言编写测试脚本
Android SDK Level在16及以上时，底层使用的UIAutomator，低于16使用Selendroid

Monkeyrunner:<http://developer.android.com/tools/help/MonkeyRunner.html”>

Android SDK提供
python脚本，使用monkeyrunner test.py来执行
结果的验证是通过截屏比对图片来实现，验证方式不够灵活

UIAutomator:http://developer.android.com/tools/help/uiautomator/index.html

Android提供的框架，支持SDK level 16及以上
打包成jar后push到模拟器中运行，调试相对Robotium不便（其实自己稍微封装下也还OK）
支持跨进程测试！！！这一点比起Robotium来说非常赞
手势操作较少(不过4.3已经提供了不少手势操作啦，还木有试用)
基于Junit 3, 相对于Junit4, Testng等测试框架，Junit 3不具备许多功能(不过看到过Google的开发人员说有打算往Junit4上发展)
不支持WebView
没有测试结果报告文件

最后综合考虑了一下，打算选用UIAutomator，毕竟是Google自己做的，又支持跨进程，我们待测的App也没有太多的webview，所以UIAutomator基本能满足我们的要求。

实际使用后，发现UIAutomator没有提供测试结果报告，这一点是硬伤啊…不过还是有解决办法的，把UIAutomator的输出重定向到一个文件中，再使用https://github.com/dpreussler/automator-log-converter转换成xml的测试报告。这样和jenkins集成后，测试结果就可以使用xUnit
Plugin展示出来啦～

==========================================================

著作权归作者所有。
商业转载请联系作者获得授权，非商业转载请注明出处。
作者：Li7tleMK
链接：http://www.zhihu.com/question/19716849/answer/42525356
来源：知乎

1、Monkey是Android SDK自带的测试工具，在测试过程中会向系统发送伪随机的用户事件流，如按键输入、触摸屏输入、手势输入等)，实现对正在开发的应用程序进行压力测试，也有日志输出。实际上该工具只能做程序做一些压力测试，由于测试事件和数据都是随机的，不能自定义，所以有很大的局限性。

2、MonkeyRunner也是Android SDK提供的测试工具。严格意义上来说MonkeyRunner其实是一个Api工具包，比Monkey强大，可以编写测试脚本来自定义数据、事件。缺点是脚本用Python来写，对测试人员来说要求较高，有比较大的学习成本。

3、Instrumentation是早期Google提供的Android自动化测试工具类，虽然在那时候JUnit也可以对Android进行测试，但是Instrumentation允许你对应用程序做更为复杂的测试，甚至是框架层面的。通过Instrumentation你可以模拟按键按下、抬起、屏幕点击、滚动等事件。Instrumentation是通过将主程序和测试程序运行在同一个进程来实现这些功能，你可以把Instrumentation看成一个类似Activity或者Service并且不带界面的组件，在程序运行期间监控你的主程序。缺点是对测试人员来说编写代码能力要求较高，需要对Android相关知识有一定了解，还需要配置AndroidManifest.xml文件，不能跨多个App。

4、UiAutomator也是Android提供的自动化测试框架，基本上支持所有的Android事件操作，对比Instrumentation它不需要测试人员了解代码实现细节（可以用UiAutomatorviewer抓去App页面上的控件属性而不看源码）。基于Java，测试代码结构简单、编写容易、学习成本，一次编译，所有设备或模拟器都能运行测试，能跨App（比如：很多App有选择相册、打开相机拍照，这就是跨App测试）。缺点是只支持SDK 16（Android 4.1）及以上，不支持Hybird App、WebApp。

5、Espresso是Google的开源自动化测试框架。相对于Robotium和UIAutomator，它的特点是规模更小、更简洁，API更加精确，编写测试代码简单，容易快速上手。因为是基于Instrumentation的，所以不能跨App。配合Android Studio来编写测试的简单例子

6、Selendroid：也是基于Instrumentation的测试框架，可以测试Native App、Hybird App、Web App，但是网上资料较少，社区活跃度也不大。

7、Robotium也是基于Instrumentation的测试框架，目前国内外用的比较多，资料比较多，社区也比较活跃。缺点是对测试人员来说要有一定的Java基础，了解Android基本组件，不能跨App。

8、Athrun是淘宝出的一个移动测试框架/平台，同时支持iOS和Android。Android部分也是基于Instrumentation，在Android原有的ActivityInstrumentationTestCase2类基础上进行了扩展，提供一整套面向对象的API。这里有详细介绍。

9、Appium是最近比较热门的框架，社区也很活跃。这个框架应该是是功能最强大的，

它的优点：

它的哲理是：

它的设计理念：

相关限制：

总结：

在iOS部分是封装了UIAutomation；Android 4.2以上是用UiAutomator，Android 2.3 ~ 4.1用的是 Instrumentation，也就说Appium同时封装了UiAutomator和Instrumentation。所以Appium拥有了以上几大框架的所有优点：跨App，支持Native App、Hybird App、Web App，还支持N种语言来编写你的测试脚本。
如果你在Windows使用Appium，你没法使用预编译专用于OS X的.app文件，因为Appium依赖OS X专用的库来支持iOS测试，所以在Windows平台你不能测试iOS Apps。这意味着你只能通过在Mac上来运行iOS测试。
Client/Server架构，运行的时候Server端会监听Client端发过来的命令，翻译这些命令发送给移动设备或模拟器，然后移动设备或模拟器做出响应的反应。正是因为这种架构，所以Client可以使用Appium client libraries多种语言的测试脚本，而且Server端完全可以部署在服务器上，甚至云服务器。
Session，每个Client连接到Server以后都会有一个Session ID，而且Client发送命令到Server端都需要这个Session ID，因为这个seesion id代表了你所打开的浏览器或者是移动设备的模拟器。所以你甚至可以打开N个Session，同时测试不同的设备或模拟器。
Desired Capabilities，其实就是一个键值对，设置一些测试的相关信息来告诉Server端，我们需要测试iOS、还是Android，或者换是WebApp等信息。
Appium Server是Node.js写的，所以可以直接用NPM来进行安装。
Appium Clients，Mac OS和Win下提供GUI，不需要装Node.js，方便测试人员操作。
用Appium自动化测试不需要重新编译App；
支持很多语言来编写测试脚本，Java、Javascript、PHP、Python、C#、Ruby等主流语言；
不需要为了自动化测试来重造轮子，因为扩展了WebDriver。（WebDriver是测试WebApps的一种简单、快速的自动化测试框架，所以有Web自动化测试经验的测试人员可以直接上手）；
移动端自动化测试应该是开源的；
开源；
支持Native App、Hybird App、Web App；
支持Android、iOS、Firefox OS；
Server也是跨平台的，你可以使用Mac OS X、Windows或者Linux；

=================================================================

一、自动化测试的必要性

Android程序开发迭代周期短，测试case重复度高，大部分case属于功能验证，常规的测试方法是测试人员按照预先写好的Case手顺进行测试，
人工比对操作结果和预期结果。这种测试手段重复度高，效率低，无趣，易出错，并且对测试人员能力提升帮助有限。Android手机机型狂多，屏幕尺寸各
异，语言各异，因此测试重复度很高，完全依赖人力并不现实。同时自动化测试可以方便的整合入Jenkins等CI工具，可以覆盖掉相当部分的UI正确性检
测。

二、自动化测试工具介绍

Android发展至今，出现了许多自动化测试工具，许多实力派企业甚至开发了专用测试工具。常用的大致有以下几种： 1.Monkey:压力测试好伙伴
2.MonkeyRunner:支持录制功能，支持Python,但是API太弱，可以二次开发。
3.Appium:支持ios,支持的语言丰富，但许多语言API不完善。支持跨平台，社区资源有限，环境搭建太复杂。
4.Rubotium：功能强大，发展多年，社区资源丰富，使用略复杂。
5.Calabash：支持ios,功能强大，社区资源太少。 6.淘宝的TMTS：没用过，不评论。 7.UIAutomator：Android4.1同步推出，兼容JUnit，基本上可以替代所有第三方测试工具。有朋友反映第一次使用搭建环境略复杂。

三、为什么选择UiAutomator

作为亲儿子UiAutomator随Android同步推出，随Android版本同步升级，经过多次迭代目前已经相当稳定。
相比MonkeyRunner，UiAutomator接口丰富易用，可以支持所有Android事件操作，事件操作不依赖于控件坐标，可以通过断言和截
图验证正确性，非常适合做UI测试。
UIAutomator不需要测试人员了解代码实现细节，属于功能和黑盒测试。测试代码结构简单，编写容易，学习曲线低。基于JAVA，一次编译可以运行
于所有Android设备。
注： UIAutomator不适合OpenGL和HTML为主的程序，因为这类程序未使用Android的view体系。

转载请注明：学时网 » android测试框架对比