眾所周知，日益復雜的系統(tǒng)和日漸嚴格的用戶體驗，使得軟件測試人員的任務愈發(fā)繁重，人工測試投入隨之增加，也由于測試技能水平差異，導致軟件質(zhì)量輸出不穩(wěn)，故而，在實際工作中，我們經(jīng)常會考慮如何把人為驅(qū)動的測試行為轉(zhuǎn)化為機器自動執(zhí)行，做到一定程度上的節(jié)流提效，保障測試覆蓋度和質(zhì)量。

蘇寧一直致力于自動化測試能力建設，蘇寧自動化測試工具（Suning Automation Tester），簡稱“SAT”，基于 JAVA 語言實現(xiàn)，采用自動化測試架構(gòu)中的關鍵字驅(qū)動（Keyword）思想，使測試設計和測試實現(xiàn)分離，將實現(xiàn)不同公共組件類、業(yè)務類 Keyword 集成到一個用例中運行，也最大限度地實現(xiàn) Keyword 共享，降低測試組重復開發(fā)的工作量；從 13 年開始逐步實現(xiàn)集 WEB 頁面、HTTP 協(xié)議、手機終端應用、數(shù)據(jù)庫操作、LINUX 操作等方面的測試能力支持，產(chǎn)品已相當成熟。

本文涉及到的技術實現(xiàn)不再依賴 SAT 工具，而是基于 Python 語言實現(xiàn)的 Web 應用與 Client 應用的交互，主要結(jié)合數(shù)據(jù)驅(qū)動、結(jié)構(gòu)化、關鍵字驅(qū)動等腳本技術思想，進而設計的完整交互方案。

該方案根據(jù)我們實際產(chǎn)品框架的情況定制設計了自動化測試框架，主要實現(xiàn)了業(yè)務數(shù)據(jù)交互，執(zhí)行指令交互，任務執(zhí)行交互，終端調(diào)用管理，腳本版本管理等，在腳本復用、迭代及代碼健壯性上都有極大提升；除實際業(yè)務數(shù)據(jù)外，其他均實現(xiàn)配置化，更容易維護，也可根據(jù)業(yè)務變化自由配置規(guī)則。以下就具體闡述我們的實現(xiàn)過程。

一、我們的目標及現(xiàn)狀分析

1.1 我們的現(xiàn)狀和目標

在介紹我們的目標之前，先通過圖 1 了解簡化版產(chǎn)品應用框架（實際產(chǎn)品框架遠比此圖呈現(xiàn)的復雜）、人工測試及自動化測試平臺之間的關系，特別說明 SYSTEM-A 和 B 均是無 UI 界面的底層應用系統(tǒng)。

因為產(chǎn)品應用架構(gòu)中存在一些系統(tǒng)是屬于 B 端底層應用服務器的應用和 C 端的 SAP 系統(tǒng)，根本無可視化 UI 界面提供，測試人員只能被動接收這種無 UI 界面的底層應用和 C 端的測試，測試的入口是某個數(shù)據(jù)接收的接口，但測試結(jié)果檢查過程復雜且繁瑣，人工測試要花費大量的時間在底層應用上測試。

所以，我們的目標是要實現(xiàn) B 端 Web 應用系統(tǒng)與 C 端客戶端應用兩套系統(tǒng)之間的交互，以解決底層應用檢查繁瑣以及與 C 端交互數(shù)據(jù)的處理等問題，實時監(jiān)控測試數(shù)據(jù)處理過程和結(jié)果，具體來說，Web 應用與 SAP 系統(tǒng)之間自動化調(diào)用和檢查。

1.2 我們在用的系統(tǒng)

自動化測試平臺系統(tǒng)（testingland），是測試開發(fā)團隊完全自研的 Python 語言編碼實現(xiàn)的 B/S 架構(gòu)系統(tǒng)，為重要產(chǎn)品線提供定制的自動化測試框架及服務，為 B 端和 C 端系統(tǒng)間自動調(diào)用交互搭建了橋梁，也作為測試入口進行自動化測試實施。

SAP，眾所周知，既是全球企業(yè)管理軟件與解決方案的技術領袖的公司名稱，又是其產(chǎn)品—企業(yè)管理解決方案的軟件名稱；而我們團隊所對接的是 SAP R/3 系統(tǒng)，涉及財務 FI、CO 模塊的賬務處理。

1.3 我們的調(diào)研結(jié)果、驗證和分析

現(xiàn)將 C 端 SAP 系統(tǒng)部署在 OS 為 Windows 系統(tǒng)上，如何實現(xiàn) B 端 Web 應用調(diào)用 C 端客戶端的自動化操作呢？

調(diào)研結(jié)果

基于 1.1 提出的目標，經(jīng)過調(diào)研，當前業(yè)內(nèi)有兩種常用的方案：

• 方案一：通過 IE 的 ActiveX 直接調(diào)用本地客戶端，無需配置注冊表，但只僅限支持 IE；
• 方案二：通過 Url Protocal 協(xié)議調(diào)用本地客戶端，支持大多數(shù)常用瀏覽器 (Chrome，IE，F(xiàn)ireFox 等)，但需要配置一系列的注冊表信息；

驗證經(jīng)驗證，這兩種方案進行直接調(diào)用客戶端軟件，都只是簡單的打開本地軟件而已，是不能讓軟件自動執(zhí)行后續(xù)操作的，例如：讓 SAP 自動記個賬，并把結(jié)果返回給 Web 端。除非 SAP“成精”，否則單單是打開 SAP，它是不知道你要干什么并自動操作自己的。

分析

從以上兩種方案來看存在的一些問題，首先，缺乏可持續(xù)性的執(zhí)行，其次，不靈活，只支持本地，不支持遠程 Agent 終端，也就是說，要打開客戶端，必須先在同一臺機器上打開某個瀏覽器。

針對以上分析結(jié)果，我們需要設計新的方案去解決以下問題：如何在 Web 端自動化操作 Windows 客戶端，而不是單一啟動？如何自動操作本地或遠程 Agent 終端？

二、我們的解決方案

針對上述問題，設計了一個自動化應用框架（見下圖），作為 Web 應用與 SAP 系統(tǒng)定制的自動化實現(xiàn)解決方案。

該方案不僅解決了自動啟動 SAP 系統(tǒng)、后續(xù)的關聯(lián)系統(tǒng)操作和檢查，而且實現(xiàn)了用戶自主配置 Agent 信息以及自主選擇本地或遠程操作 Agent 終端，還增加實現(xiàn)了持續(xù)迭代、管理、應用以及執(zhí)行自動化腳本，同時也做到了對結(jié)果實現(xiàn)閉環(huán)檢查和展示。

2.1 該方案具體實現(xiàn)過程：

1. 用戶從 Web 端選擇執(zhí)行終端，發(fā)起入?yún)⒒驍?shù)據(jù)處理請求作為開始；
2. Web 應用服務器接到請求后，判斷終端類型：公共遠程的 Agent 還是本地個人 PC 終端，并檢查是否空閑，連接并鎖定空閑終端；
3. 按步驟 2 鎖定終端后，從服務數(shù)據(jù)庫的指令庫里獲取執(zhí)行指令，通過 Socket 協(xié)議進行指令傳輸；
4. 根據(jù)指令檢查基礎環(huán)境和待執(zhí)行腳本 / 程序版本檢測是否是最新，若不是，執(zhí)行自動更新指令獲取最新版本，更新后進入下一步驟；
5. 在步驟 4 就緒后，執(zhí)行傳入待執(zhí)行數(shù)據(jù)指令傳輸給 C 端并開始調(diào)用 SAP 自動化腳本；
6. 將執(zhí)行結(jié)果通過 Socket 服務傳輸給 Web 服務器和前端展示。

2.2 具體問題的解決方案

首先，解決 SAP 客戶端啟動和后續(xù)操作的問題。

在 Python 中，我們可以通過 selenium 操作瀏覽器，可以通過 win32，SAP-API 操作 SAP（值得一提的是，SAP 對自動化操作支持非常友好，比如 session.findById 的使用），也能通過 pywinauto 操作常規(guī)的客戶端。

在本方案里，通過 Python 腳本代碼實現(xiàn)對客戶端的具體操作：使用 Python os 模塊執(zhí)行 cmd 命令和 win32 模塊的方式打開并連接 SAP，當獲取到 SAP 窗口的 session 并進行連接后, 使用 SAP 提供的 API 進行組件的定位、操作 (對于未提供 API 的程序, 可以使用 Python 的 pywinatuo 模塊，通過 title、control 等方式定位其組件進行操作)，這些操作是在 OS 為 Windows 系統(tǒng)上是可運行的，進而形成相應的腳本和執(zhí)行指令。這些腳本代碼 (或已封裝的可執(zhí)行程序) 也會自動部署到在腳本 / 程序版本庫中進行管理和使用。

其次，解決遠程操作 Agent 終端的客戶端。

先準備若干臺 OS 為 Windows 的機器作為專用的 Agent 終端，啟動 Windows 代理機器上的 Python Socket 服務，根據(jù) Web 下發(fā)的指令自動下載、更新、部署自動化執(zhí)行程序或腳本代碼到 Agent 機器本地，之后 Socket 服務繼續(xù)監(jiān)聽后續(xù)指令的到來，根據(jù)不同的指令，自動執(zhí)行后續(xù)的步驟，并將執(zhí)行結(jié)果返回服務器直至在 Web 頁面展示執(zhí)行結(jié)果。

第三，遠程 Agent 終端機器太少或太忙無空閑，怎么辦？

在解決方案中完全支持個人本地 PC 來作為單體終端，只需要提前做一些初始環(huán)境準備工作，比如部署相應版本的 Python 軟件及模塊等。

有人就會有以下疑問：那不就和 C/S 架構(gòu)沒什么區(qū)別了嗎？不還是要人工把代碼 / 打包好的軟件部署在本機上嗎？項目的改動導致用戶頻繁變更自動化程序帶來的弊端不還是存在嗎？放在個人 PC 本地的不是 C 端運行程序，而是一個已封裝的 Socket 服務端，與遠程 Agent 終端同理不同端而已。總之，無論是公共的遠程 Agent 終端還是個人 PC 終端都是支持自動調(diào)用的，服務調(diào)用內(nèi)容和過程參照下圖：

三、我們用哪些主要核心技術

3.1 Socket 服務

利用 Python socket 模塊實現(xiàn) Socket 兩端服務啟動和定制功能，并連接 B 端 Web 應用與 C 端 SAP 系統(tǒng)，使用 pyinstaller 進行打包封裝。

Socket 服務提供方（也稱服務端）功能: 1. 監(jiān)聽客戶端請求并接收請求數(shù)據(jù) / 指令；2. 檢測 / 下載 / 更新自動化執(zhí)行腳本 / 程序；3. 執(zhí)行自動化腳本 / 程序并獲取執(zhí)行結(jié)果；4. 返回執(zhí)行結(jié)果給客戶端；

Socket 服務消費方（也稱客戶端）功能: 1. 發(fā)送待執(zhí)行數(shù)據(jù) / 指令給服務端；2. 接收服務端返回的執(zhí)行結(jié)果；

通過上圖交互方案中可以看出，在連接時只要滿足服務提供方與服務消費方是一致的 ip 和 port，再設置接發(fā)數(shù)據(jù)格式，就可以啟動相應的消費方服務，最終實現(xiàn) B 端的 Web 應用與 C 端 SAP 系統(tǒng)的連接。

3.2 進程指令調(diào)用

利用 subprocess 調(diào)用指令執(zhí)行腳本，保證 Socket 服務與腳本相互獨立；通過 subprocess 的 PIPE 管道進行傳參以及結(jié)果 / 異常的獲取。

3.3 適當運用終端系統(tǒng)的 cmd 或 dos 命令

利用 Windows 系統(tǒng)的 cmd 命令自動獲取 SAP 安裝路徑 / 登錄等操作，安裝路徑獲取具體代碼如下：

# 獲取 sap 安裝路徑os.system("start saplogon.exe") # 打開進程cmd = 'wmic process where name="saplogon.exe" get executablepath' # cmd 命令sb = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE) # 執(zhí)行命令

3.4 SAP 腳本編寫

使用 win32 進行連接 SAP 并調(diào)用 SAP GUI Scripting API 進行相關自動化腳本編寫；SAP 控件的定位路徑可使用 SAP 錄制的腳本查看，也可使用 Scripting Tracker 工具（Development Tool for SAP GUI Scripting 工具）進行查看。

3.5 整體技術方案

可見下圖，不再詳細贅述。

四、我們對實際場景應用及分析

針對某記賬場景進行實際對比。

4.1 人工測試所需工時

測試人員從打開 SAP 客戶端并登陸開始生成 1 個憑證約 2min，憑證結(jié)果檢查約 1min，生成多個憑證會按系統(tǒng)按訂單成倍數(shù)增長，截圖并保存整理成 word 文檔約 2min。

4.2 自動化實操

我們先看結(jié)果，實操部分日志如下：

通過日志可以看到：

1. 從開始連接 SAP 到執(zhí)行生成 5 個憑證共耗時 97 秒；
2. 分別執(zhí)行 GXQ、TXQ 兩套 SAP 系統(tǒng)；
3. 涉及 SAP 操作有：數(shù)據(jù)接入檢查、生成憑證操作、憑證結(jié)果校驗、返回 Web 頁面展示、憑證截圖、過程 log 展示等。

以下是我們對該記賬場景的實踐過程的展示，如圖 1 是涉及的前臺 WEB 頁面，發(fā)起執(zhí)行請求，圖 2 是實現(xiàn)過程動態(tài)效果。

圖 1

圖 2

4.3 結(jié)果分析

1. 以上操作均可做到系統(tǒng)自動檢查校驗準確且完整，實際人力投入減少近 10 倍。
2. SAP 自動化執(zhí)行效率比人員手工執(zhí)行檢查提升 5 倍以上。
3. 測試人員操作更簡單直接，執(zhí)行效率高；執(zhí)行結(jié)果無需切換系統(tǒng)查看，查詢更直觀；讓機器替代測試人員檢查及整理執(zhí)行結(jié)果，問題定位和反饋精準，人力資源消耗成本降低。

五、總結(jié)

不得不說，自動化的初始成本非常高，從開始決定要解決這個交互問題，到實際框架落地和產(chǎn)品設計，再到最后代碼實現(xiàn)和項目應用，我們測試開發(fā)團隊共耗費 60 多人天，歷時 2 個多月，但隨之帶來的收益也相當可觀，經(jīng)初步測算，近一年為我們團隊節(jié)省近 5000 個工時。

從技術上來講，單純的通過 Python 代碼實現(xiàn) SAP 自動化并非難事，困難的是如何將 B 端與 C 端實現(xiàn)自動交互，并將 Web 應用的執(zhí)行指令正確傳達給 SAP 系統(tǒng)執(zhí)行。在我們實現(xiàn)解決方案中，通過依賴 socket 通信自建接口和服務功能解決了最直接的交互調(diào)用問題，解決了本地或遠程 Agent 終端調(diào)用問題，實現(xiàn)了建立指令庫進行模塊化管理，實現(xiàn)了持續(xù)迭代、自動部署腳本功能。

作者介紹：

仲崇瑞，蘇寧科技集團員工平臺研發(fā)中心高級測試經(jīng)理，有多年的業(yè)務及產(chǎn)品設計經(jīng)驗和測試管理經(jīng)驗，負責蘇寧財務核算、財務共享、稅務會計及智能應用等產(chǎn)品的測試及管理工作，涉及功能、性能、自動化、安全等測試領域，帶領團隊多次出色完成財務系統(tǒng)變革和切換的測試工作，致力于構(gòu)建蘇寧財務類自動化測試產(chǎn)品解決方案，打造高效便捷的測試應用產(chǎn)品。

關注我并轉(zhuǎn)發(fā)此篇文章，私信InfoQ“領取資料”，即可免費獲得 InfoQ 價值4999元迷你書資料包！