Testin總裁徐琨

［釘科技報(bào)道］移動(dòng)互聯(lián)網(wǎng)的“跳躍式”發(fā)展，使得近兩年來(lái)，在包括手游、社交、電商等細(xì)分領(lǐng)域的創(chuàng)業(yè)團(tuán)隊(duì)開(kāi)始進(jìn)入“獲利”階段，然而，“野蠻生長(zhǎng)”的紅利期逐漸過(guò)去，行業(yè)成熟帶來(lái)的競(jìng)爭(zhēng)加劇和用戶(hù)增長(zhǎng)瓶頸也使得產(chǎn)品運(yùn)營(yíng)進(jìn)一步轉(zhuǎn)向精細(xì)化。

與此同時(shí)，移動(dòng)應(yīng)用測(cè)試也從之前的相對(duì)溫和期進(jìn)入快速發(fā)展階段。在這種形勢(shì)下，作為移動(dòng)應(yīng)用云測(cè)試市場(chǎng)先頭部隊(duì)的Testin云測(cè)，隨著自己的B端用戶(hù)“同步”展開(kāi)精細(xì)化運(yùn)營(yíng)，以“讓App好用”為“小目標(biāo)”，上線Bug探索業(yè)務(wù)，業(yè)務(wù)目前已經(jīng)升級(jí)至2.0版本。

解決Bug的“最后一公里”

成立于2011年，作為全球首家推出基于真機(jī)測(cè)試實(shí)驗(yàn)室及自動(dòng)化技術(shù)的“云測(cè)試”服務(wù)平臺(tái)，Testin產(chǎn)品包含兼容測(cè)試、功能測(cè)試、壓力測(cè)試、安全測(cè)試、A/B 測(cè)試、體驗(yàn)測(cè)試、崩潰分析以及移動(dòng)應(yīng)用發(fā)布后持續(xù)的質(zhì)量監(jiān)控。涵蓋包括App開(kāi)發(fā)、發(fā)布、分析等所有環(huán)節(jié)以及眾包測(cè)試、性能管理等多領(lǐng)域，實(shí)現(xiàn)應(yīng)用生命周期持續(xù)迭代的一站式測(cè)試服務(wù)，正是其精細(xì)化運(yùn)營(yíng)的體現(xiàn)。

Testin將常規(guī)測(cè)試之外的探索性測(cè)試做為了一塊業(yè)務(wù)，其目的在于“發(fā)現(xiàn)意想不到的Bug”，因此將這塊業(yè)務(wù)命名為“Bug探索”。在相應(yīng)服務(wù)上線時(shí)，Testin也曾提出過(guò)“解決Bug‘最后一公里’”的概念。

據(jù)總裁徐琨介紹，Bug探索的意義和作用，有如下幾個(gè)方面：

1.讓測(cè)試工作脫離常規(guī)用例，深度挖掘應(yīng)用中不易被發(fā)現(xiàn)的Bug，確保產(chǎn)品質(zhì)量穩(wěn)定，提升產(chǎn)品體驗(yàn)；

2.多人大面積驗(yàn)證核心功能，通過(guò)發(fā)散性測(cè)試，模擬各種異常場(chǎng)景和極端測(cè)試方法，找出各類(lèi)潛在問(wèn)題和風(fēng)險(xiǎn)；

3.Bug探索能夠?qū)ug進(jìn)行等級(jí)管理，對(duì)于發(fā)現(xiàn)的問(wèn)題提供詳細(xì)的問(wèn)題描述，包含問(wèn)題日志、截圖、視頻等信息，幫助研發(fā)人員快速解決并修復(fù)問(wèn)題。  

測(cè)試專(zhuān)家版“大家來(lái)找茬”

Bug探索，以眾測(cè)模式展開(kāi)，跳開(kāi)“用例測(cè)試”對(duì)測(cè)試路徑的規(guī)劃和結(jié)果的預(yù)期，尋找更多隨機(jī)甚至是小概率的可能性，作為探索性測(cè)試，更像是“大家來(lái)找茬”，不同之處在于，這是一場(chǎng)由專(zhuān)業(yè)的測(cè)試團(tuán)隊(duì)，有目標(biāo)有體系，共同參與的“大家來(lái)找茬”。

Testin在業(yè)內(nèi)能夠率先上線Bug探索業(yè)務(wù)，其優(yōu)勢(shì)之一，就體現(xiàn)在“大家”上，當(dāng)然，這里所說(shuō)的“大家”，不僅僅是指“人”：

首先是測(cè)試專(zhuān)家群體。近16萬(wàn)，這是Testin總裁徐琨給出的Testin平臺(tái)上專(zhuān)業(yè)測(cè)試人員的數(shù)量，這些專(zhuān)業(yè)的測(cè)試人員被根據(jù)不同應(yīng)用分為50多個(gè)大類(lèi)，每個(gè)大類(lèi)又分為若干大組，每個(gè)大組的人數(shù)都在3000至20000的區(qū)間內(nèi)，人員在組別間會(huì)有交叉。人數(shù)，首先保證了Testin能夠適應(yīng)多應(yīng)用的探索性測(cè)試，同時(shí)能對(duì)大型應(yīng)用進(jìn)行深度“窮舉”；分組，則使得人員對(duì)接更加精確。另外，也可以解決App在不同地域、不同環(huán)境下使用的問(wèn)題。

其次是數(shù)據(jù)量的積累。服務(wù)80萬(wàn)開(kāi)發(fā)者，完成對(duì)200萬(wàn)App累計(jì)1.5億次的測(cè)試，提供給市面上80%的App專(zhuān)業(yè)測(cè)試服務(wù)，使得Testin積累下大量測(cè)試經(jīng)驗(yàn)數(shù)據(jù)。幫助Testin訓(xùn)練自己的機(jī)器學(xué)習(xí)模型，將人工智能技術(shù)加入到測(cè)試環(huán)節(jié)，提升測(cè)試效率只是一個(gè)方面，此外，也可以幫助平臺(tái)上的測(cè)試人員完善認(rèn)知。

借助Bug探索，不少有著相當(dāng)大用戶(hù)和潛在用戶(hù)量的應(yīng)用得以完善。例如，在國(guó)內(nèi)最早涉足手機(jī)直播的“趣播”，應(yīng)用的社交屬性伴隨著巨大的用戶(hù)想象空間，作為創(chuàng)業(yè)團(tuán)隊(duì)，“各地不同的網(wǎng)絡(luò)環(huán)境”以及“不同型號(hào)安卓手機(jī)的兼容性”成了測(cè)試的主要難點(diǎn)；有著大量學(xué)員的新東方在線，遇到的也是這方面的問(wèn)題。而Testin，正是通過(guò)Bug探索，幫助客戶(hù)解決了這些問(wèn)題。

“破窗而入”，發(fā)現(xiàn)意想不到的Bug

模擬真實(shí)用戶(hù)角度，結(jié)合團(tuán)隊(duì)測(cè)試經(jīng)驗(yàn)，最大限度探索用戶(hù)使用習(xí)慣和路徑，探索復(fù)雜操作流程；真實(shí)模擬異常應(yīng)用場(chǎng)景及系統(tǒng)特有功能，確保主要功能使用流暢，避免影響用戶(hù)體驗(yàn)的問(wèn)題，發(fā)現(xiàn)研發(fā)人員不易發(fā)覺(jué)的Bug，這是Bug探索的目標(biāo)。因此，測(cè)試軟件功能在異常場(chǎng)景下（或者相對(duì)的“小概率”場(chǎng)景下）操作是否正常，就成了Bug探索的主要工作模式。測(cè)試人員在這個(gè)過(guò)程中，會(huì)采用等價(jià)類(lèi)測(cè)試方法、邊界值測(cè)試方法、錯(cuò)誤推測(cè)法、取消測(cè)試方法、逆向測(cè)試方法、錯(cuò)序測(cè)試法等測(cè)試方法。

相對(duì)于標(biāo)準(zhǔn)測(cè)試，Bug探索更需要的是“打破常規(guī)”。徐琨這樣描述他本人對(duì)于Bug探索的看法，如果把App測(cè)試看成一個(gè)進(jìn)入房間的過(guò)程，標(biāo)準(zhǔn)測(cè)試是按一般思路從門(mén)進(jìn)入，Bug探索要做的，可能是“破窗”，也可能是“挖掘地下通路”，總之，就是要盡可能?chē)L試“進(jìn)門(mén)”之外的其它各種路徑。

以登錄應(yīng)用為例：標(biāo)準(zhǔn)測(cè)試一般只需要驗(yàn)證用正常的11位手機(jī)號(hào)碼和密碼登錄應(yīng)用時(shí)，App反應(yīng)是否正常，而在Bug探索中，為驗(yàn)證App反應(yīng)是否正常同時(shí)為探知此前不容易發(fā)現(xiàn)的問(wèn)題或漏洞，測(cè)試人員就有可能輸入一個(gè)非標(biāo)準(zhǔn)的登錄號(hào)碼，比如其位數(shù)只有個(gè)位，甚至不輸入或者輸入一個(gè)負(fù)數(shù)。

Bug探索由相關(guān)應(yīng)用領(lǐng)域經(jīng)驗(yàn)豐富的專(zhuān)家?guī)F(tuán)隊(duì)參與探索性測(cè)試，提供15/50/100/200人四檔模式。在進(jìn)行一輪探索后，客戶(hù)方修改發(fā)現(xiàn)的bug并轉(zhuǎn)給Testin回歸修改的bug，測(cè)試專(zhuān)家根據(jù)需求再發(fā)出探索任務(wù)。

“Uber模式”，規(guī)范測(cè)試操作流程

Bug探索采用的運(yùn)營(yíng)模式，整體看來(lái)與網(wǎng)約車(chē)類(lèi)似，很像滴滴或者Uber，甚至也可以算是一種近似于時(shí)下頗為火熱的共享單車(chē)的一種“共享經(jīng)濟(jì)”形式。
采用這種模式，對(duì)于Testin而言，主要有兩方面考慮：首先，在“人工智能”尚不成熟的階段，能夠真正理解用戶(hù)體驗(yàn)和需求的，依舊是人本身；其次，更多的測(cè)試者才能更好滿(mǎn)足用戶(hù)需求，而作為創(chuàng)業(yè)團(tuán)隊(duì)，人員一定是有限的。

Bug探索最初的模式是由Testin發(fā)布任務(wù)，由眾測(cè)平臺(tái)上的測(cè)試人員搶單，完成任務(wù)后領(lǐng)取報(bào)酬。當(dāng)然，應(yīng)用測(cè)試相比網(wǎng)約車(chē)更為復(fù)雜，還要包括比較細(xì)致的“測(cè)試后”工作，主要是將數(shù)據(jù)進(jìn)行整合、清理、分析、形成報(bào)告。

Bug探索2.0版本，目前已經(jīng)迭代上線，相比初始版，主要是在測(cè)試者的運(yùn)營(yíng)管理層面更為精細(xì)化，整體上是對(duì)測(cè)試團(tuán)隊(duì)、測(cè)試流程和標(biāo)準(zhǔn)的進(jìn)一步規(guī)范：

1.架構(gòu)測(cè)試者評(píng)價(jià)系統(tǒng)，對(duì)測(cè)試任務(wù)評(píng)級(jí)，對(duì)測(cè)試結(jié)果打分，對(duì)測(cè)試人員進(jìn)行系統(tǒng)性分類(lèi)，配合精確的篩選機(jī)制；

2.產(chǎn)品形態(tài)升級(jí)，主要是測(cè)試報(bào)告可讀性的增強(qiáng)，從而增強(qiáng)測(cè)試后用戶(hù)方面的可操作性，例如對(duì)Bug的等級(jí)劃分，對(duì)數(shù)據(jù)進(jìn)行更細(xì)分的模塊化管理，完整提供測(cè)試過(guò)程記錄等等；

3.提供訂制服務(wù)，從而滿(mǎn)足不同客戶(hù)或者客戶(hù)在不同產(chǎn)品階段的需求。

另外，Testin 交付質(zhì)量小組會(huì)對(duì)每次測(cè)試任務(wù)進(jìn)行考核，并為測(cè)試專(zhuān)家打分，累計(jì)兩次考核不合格者將取消其專(zhuān)家資格；Testin 平臺(tái)會(huì)收集測(cè)試專(zhuān)家反饋，定期清理測(cè)試能力不達(dá)標(biāo)或表現(xiàn)較差的測(cè)試者，保證每一次測(cè)試的交付質(zhì)量。

現(xiàn)在的Testin，業(yè)務(wù)已經(jīng)從App領(lǐng)域，向移動(dòng)頁(yè)面、公眾號(hào)、小程序、智能硬件等方面擴(kuò)展，其頗為感興趣的兩個(gè)領(lǐng)域是人工智能和萬(wàn)物互聯(lián)，特別是后者，將會(huì)給軟件測(cè)試領(lǐng)域首先帶來(lái)新的增長(zhǎng)點(diǎn)。可以想到的是，Bug探索的產(chǎn)品模式，依舊會(huì)是Testin切入相關(guān)市場(chǎng)的“前鋒”。