AutoControl
Installation
Requirements
Basic Installation
With GUI Support
Linux Prerequisites
Raspberry Pi
Dependencies
Platform Support
Quick Start
Mouse Control
Keyboard Control
Image Recognition
Screenshot
Action Recording & Playback
JSON Action Scripting
What’s Next?
Running AutoControl in CI / Cloud
Quick start
GitHub Actions
GitLab CI
Kubernetes
Limitations
English Documentation
Installation
Install from PyPI
Requirements
With GUI Support
Linux Prerequisites
Raspberry Pi
Development Environment
Mouse Control
Getting Mouse Button Table
Press and Release
Click
Position
Scroll
Keyboard Control
Getting Key Tables
Press and Release
Type a Single Key
Check Key State
Type a String
Hotkey Combinations
Screen Operations
Screenshot
Screen Size
Get Pixel Color
Image Recognition
Locate All Matches
Locate Image Center
Locate and Click
Parameters
Recording & Playback
Record and Replay
How It Works
Editing a recording
Keywords & Executor
Keyword Format
Available Action Commands
Executing a JSON File
Executing All JSON Files in a Directory
Extending the Executor
Report Generation
Setup
Generating Reports
HTML Report
JSON Report
XML Report
Getting Report Content as String
Report Contents
Callback Executor
Basic Usage
How It Works
Parameters
Extending the Callback Executor
Scheduler
Basic Example
Blocking vs Non-Blocking
Interval Scheduling
Cron Scheduling
Removing Jobs
Shutting Down
Socket Server (Remote API)
Starting the Server
Sending Commands (Client)
Protocol Details
MCP Server (Use AutoControl from Claude)
Tool catalogue
Resources, prompts, sampling
Logging notifications, progress, cancellation
Starting the server (programmatic)
Starting the server (command line)
CLI inspection flags
Registering with Claude Desktop
Registering with Claude Code
HTTP transport (with SSE, auth, TLS)
Read-only / safe mode
Confirmation prompts (elicitation)
Audit log
Auto-screenshot on tool error
Rate limiting
Plugin hot-reload
CI smoke tests with the fake backend
Security notes
Critical Exit
Enabling Critical Exit
Changing the Hotkey
Example: Recovering from Runaway Mouse
Command-Line Interface
Subcommand CLI (
python
-m
je_auto_control.cli
)
Run a script
List scheduler jobs
Start the TCP socket server
Start the REST API server
Legacy flag-style CLI (
python
-m
je_auto_control
)
Execute a single action file
Execute all files in a directory
Execute a JSON string directly
Create a project template
Launch the GUI
Project Management
Creating a Project
Generated Structure
New Features (2026-04)
Clipboard
Dry-run / step-debug executor
Global hotkey daemon (Windows)
Event triggers
Cron scheduling
Plugin loader
REST API server
CLI runner
Multi-language GUI (i18n)
Closable tabs + menu bar
OCR (text on screen)
Accessibility element finder
VLM (AI) element locator
Run history + error-snapshot artifacts
OCR — region dump and regex search
Runtime variables and data-driven control flow
LLM action planner
Remote desktop (host + viewer)
Remote desktop — Quick Connect + Phase 4/5 hardening
Quick Connect headless API
Connection approval + view-only mode
IP allowlist (CIDR + exact IPs)
One-time share codes
TOTP 2FA (RFC 6238, stdlib only)
Multi-monitor selection
Remote cursor overlay
Multi-viewer collaborative cursors + chat
Relative mouse mode (FPS / CAD)
Motion-aware capture
Live stats
JPEG sequence recorder (no PyAV needed)
TCP relay (WebRTC fallback)
Service installer (unattended host)
Remote desktop — secure transports, audio, clipboard, file transfer
Host ID handshake
TLS
WebSocket transport
Audio streaming
Clipboard sync (text + image)
File transfer with progress
Remote desktop — AnyDesk-style popout window
Remote desktop — responsive sub-tab sizing
Remote desktop — MCP tool surface
Driver-level input backends — drive games that ignore SendInput / XTest
Interception (Windows)
uinput (Linux)
ViGEm virtual gamepad (Windows)
Anti-cheat caveat (all three)
Per-action profiler
Run history timeline + failure thumbnails
Encrypted secret manager
Webhook (HTTP push) trigger
IMAP email trigger
New Features (2026-05)
Locator + selector intelligence
Self-healing locator
Anchor-based locator
OCR with structured output
Smart waits
A/B locator framework
Operations + observability
Cost telemetry
Trace replay UI
Failure → ticket automation
Container CI templates
Cross-host DAG orchestrator
Multi-viewer presence
Agent + integrations
Computer-use high-level API
WebRunner executor + MCP integration
Chat-ops bot
Platform coverage
Wayland CLI backend
Wayland libei native backend
macOS Accessibility: tree dump + recorder
Developer experience
autocontrol-lsp completion
.pyi
stub generator
VS Code extension
Browser extension recorder
pytest plugin + Gherkin BDD
Visual flow editor
Generic agent loop (JSON + MCP)
Screenshot PII redaction
Android backend (uiautomator2 widget tree)
iOS backend (XCUITest via WebDriverAgent)
New Features (2026-06) — QA Layer
Assertions
Assertion DSL
Off-screen and system assertions
Assertion combinators (group / OR / poll)
Media assertions (audio / video)
Data-driven execution
Flaky-test detection & quarantine
Flaky report
Quarantine (closing the loop)
QA suite runner + CI reports
Suite orchestration
CI-native reports (JUnit / Allure)
Accessibility & i18n audit
Mobile device matrix
New Features (2026-06-17) — Automation Toolkit
Human-like input
Vision
Flow control & variables
Triggers & smart waits
Window management
File security & safety
Reporting & notifications
GUI
New Features (2026-06-18) — CLI & Integrations
Command-line interface
Code generation
HTTP / API
SQL
Email (SMTP)
PDF
Smart waits
Security
New Features (2026-06-19) — Visual Regression & FSM
Visual regression (golden images)
Finite-state machine
New Features (2026-06-19) — Native UI Control
Reading and setting values
Invoking and toggling
Reading tables / grids
Targeting controls
Platforms
New Features (2026-06-19) — Popup Watchdog
Quick start
Custom rules
Executor commands
New Features (2026-06-19) — Unattended Reliability
OTP / TOTP for 2FA logins
Native file dialogs
Locked-session guard
New Features (2026-06-19) — Transactional Queue
Dispatcher / performer
Failure semantics
Executor commands
New Features (2026-06-19) — Test & Tooling Batch
Synthetic test data
MCP registry manifest
Risk-based test selection
New Features (2026-06-19) — Authoring & Debugging
Element repository
Step debugger and tracer
New Features (2026-06-19) — Agent Toolkit
Skill / playbook library
Prompt-injection guardrail
A2A agent card
New Features (2026-06-19) — Office I/O
Excel
Word
PowerPoint
New Features (2026-06-19) — Memory & Determinism
Agent episodic memory
Deterministic run
New Features (2026-06-19) — WCAG 2.2 Audit Engine
Conformance audit
Target Size rule
New Features (2026-06-19) — Reactive Observer
Python API
Executor / MCP commands
New Features (2026-06-19) — SBOM & Suite Sharding
CycloneDX SBOM
Duration-aware suite sharding
New Features (2026-06-19) — Data Quality
Row schema validation
Field extraction
Row masking
New Features (2026-06-19) — i18n / l10n Testing
Pseudo-localization
Text-overflow detection
Catalog completeness
New Features (2026-06-19) — Checkpoint & Resume
Flow checkpoint & resume
py.typed
marker
New Features (2026-06-19) — Set-of-Marks Overlay
Numbering and the legend
Live “mark then click” loop
New Features (2026-06-19) — Semantic Screen State
Snapshot & diff
Describe the screen
New Features (2026-06-19) — Timed Input Macros
Timed timeline replay
Input-sequence DSL
New Features (2026-06-19) — Resilience Primitives
RetryPolicy
CircuitBreaker
New Features (2026-06-19) — CI Annotations & Clipboard History
CI workflow annotations
Clipboard history
New Features (2026-06-19) — Heal Analytics & Secret Scan
Self-heal analytics
Secret scan
New Features (2026-06-19) — Process-Doc (SOP) Generator
Usage
New Features (2026-06-19) — Tweened Drag
Usage
New Features (2026-06-19) — MCP Structured Tool Output
Declaring an output schema
New Features (2026-06-19) — Plugin SDK
Authoring a plugin
Discovering & loading
Maker-Checker Approval Gate
Headless API
Executor commands
Just-In-Time Credential Leases
Headless API
Executor commands
Network Egress Allowlist Guard
Headless API
Executor commands
Approval Testing (Golden-Master Baselines)
Headless API
Executor commands
Agent Trajectory Evaluation
Headless API
Executor command
Compliance Control Report (SOC2 / ISO 27001)
Mapped controls
Headless API
Executor command
Agent Observability (GenAI OpenTelemetry Spans)
Headless API
Executor commands
Video Step-Overlay Report
Headless API
Executor command
Fuzzy String Matching & Dedupe
Headless API
Executor commands
S3-Compatible Artifact Store
Headless API
Executor commands
Perceptual-Hash Image Dedupe
Headless API
Executor commands
Locale-Aware Number, Currency & Date Parsing
Headless API
Executor commands
Voice-Command Router
Headless API
Executor commands
Coordinate-Space Mapping (Model Grid ⇄ Physical Pixels)
Headless API
Executor commands
Stuck-Loop Guard (Agent Loop Progress Detection)
Headless API
Executor commands
Task / Process Mining (Automation-Candidate Discovery)
Headless API
Executor command
Environment-Scoped Typed Asset Store
Headless API
Executor commands
Outbound CloudEvents Emitter
Headless API
Executor command
Multi-Channel Webhook Notifications
Headless API
Executor command
JSONPath Querying
Headless API
Executor commands
Saga / Compensating Rollback
Headless API
Executor command
DMN-Style Decision Tables
Hit policies
Headless API
Executor command
Self-Healing Locator Write-Back
Headless API
Executor commands
Text PII Detection & Redaction
Headless API
Executor commands
SARIF 2.1.0 Findings Export
Headless API
Executor command
JSON Schema Validation
Supported keywords
Headless API
Executor command
Dependency Vulnerability Scanning (OSV)
Headless API
Live advisories (optional)
Executor command
OpenVEX Vulnerability Triage
Headless API
Executor command
License Policy Gate
Headless API
Executor command
JSON Web Tokens (JWT)
Security
Headless API
Executor commands
Client-Side Rate Limiting
Headless API
Executor command
JSON Pointer, Patch & Merge Patch
Headless API
Executor commands
Full-Text Search (BM25)
Headless API
Executor command
Statistics & A/B Significance
Headless API
Executor commands
Calendar Recurrence Rules (RRULE)
Headless API
Executor commands
Text Diff, Patch & Three-Way Merge
Headless API
Executor commands
Feature Flags
Headless API
Executor commands
SLSA Build Provenance
Headless API
Executor commands
JSON Contract & Snapshot Matching
Headless API
Executor commands
Chaos Experiments
Headless API
Executor command
Service-Level Objectives (SLO)
Headless API
Executor commands
Streaming Latency Percentiles
Headless API
Executor command
Bulkhead & Rate-Limit Headers
Headless API
Executor commands
HTTP Record & Replay Cassette
Headless API
Executor command
W3C Trace Context Propagation
Headless API
Executor commands
Data Profiling & Schema Inference
Headless API
Executor commands
RFC 9457 Problem Details Parsing
Headless API
Executor command
Dotenv (.env) Parsing
Headless API
Executor commands
Server-Sent Events (SSE) Client Parser
Headless API
Executor command
Layered Configuration Resolver
Headless API
Executor commands
Distribution Drift Detection
Headless API
Executor commands
Dataset Diff (Row-Set Change Report)
Headless API
Executor commands
W3C Baggage Propagation
Headless API
Executor commands
URI-Scheme Value References
Headless API
Executor commands
Referential Integrity Checks
Headless API
Executor commands
RFC 8288 Link Header & Pagination
Headless API
Executor commands
Secret Redaction for Config & Logs
Headless API
Executor commands
multipart/form-data Build & Parse
Headless API
Executor commands
HTTP Content Negotiation & Decompression
Headless API
Executor commands
Cookie Jar (HTTP Session Carry)
Headless API
Executor commands
Conditional HTTP Requests & Cache Validators
Headless API
Executor commands
Canonical Log Lines & Structured Logging
Headless API
Executor command
OTLP/JSON Span Export
Headless API
Executor command
Typed Configuration Schema
Headless API
Executor command
JSON-Schema Compatibility Checking
Headless API
Executor command
Unicode Text Normalisation & Slugify
Headless API
Executor commands
Time-Series Transforms
Headless API
Executor commands
String-Distance Similarity Metrics
Headless API
Executor command
Near-Duplicate Text Detection (SimHash / MinHash)
Headless API
Executor commands
Single-Series Anomaly Detection
Headless API
Executor command
Moving-Average Smoothing
Headless API
Executor commands
Idempotency-Key Store
Headless API
Executor commands
Time-Windowed Deduplication
Headless API
Executor command
Per-Stream Sequence-Gap Detection
Headless API
Executor command
Optimistic-Concurrency Versioned Store
Headless API
Executor commands
Transactional Outbox
Headless API
Executor commands
Locale-Aware String Collation
Headless API
Executor commands
Confusable / Homoglyph Detection
Headless API
Executor commands
Readability Scoring
Headless API
Executor commands
Bidirectional-Text QA (Trojan-Source Scan)
Headless API
Executor commands
Locale-Aware List Formatting
Headless API
Executor commands
ICU-lite MessageFormat (Plural / Select)
Headless API
Executor commands
GNU gettext Catalog I/O (.po / .mo)
Headless API
Executor commands
Check-Digit Algorithms
Headless API
Executor commands
Multi-Waypoint Mouse Gestures
Headless API
Executor commands
Clear-Then-Type Field Entry
Headless API
Executor commands
Wait Until Gone (Blocking Vanish Waits)
Headless API
Executor commands
Hold Key / Auto-Repeat
Headless API
Executor commands
Relative Mouse Movement
Headless API
Executor commands
Wait for Region Colour
Headless API
Executor commands
Unicode Text Entry (Emoji / CJK)
Headless API
Executor commands
Held Modifiers Across an Action Group
Headless API
Executor commands
Anchor Ordinal & Locate-All
Headless API
Executor commands
Grid / Table Cell Addressing
Headless API
Executor commands
Wait for Window Title (Regex)
Headless API
Executor commands
Confidence-Returning Template Matching
Headless API
Executor commands
Locate On-Screen Regions by Colour
Headless API
Executor commands
Masked Template Matching (Ignore the Background)
Headless API
Executor commands
Structural-Similarity (SSIM) Comparison
Headless API
Executor commands
ORB Feature Matching (Rotation / Scale / Theme Robust)
Headless API
Executor command
Locate UI Elements by Edge / Contour (No Template)
Headless API
Executor commands
Window Tiling / Layout Geometry Planner
Headless API
Executor commands
Arrange Multiple Windows (Grid / Cascade)
Headless API
Executor commands
Image Pre-processing for OCR / Template Matching
Headless API
Executor command
Multi-Monitor / Virtual-Desktop Geometry
Headless API
Executor commands
Actionability Gate — Wait Until Ready Before Acting
Headless API
Executor command
Fuse & Order On-Screen Element Boxes
Headless API
Executor commands
HSV Colour-Space Segmentation
Headless API
Executor commands
Model-Free Text-Region Detection (MSER)
Headless API
Executor commands
Line / Grid / Separator Detection (Hough)
Headless API
Executor commands
Retrying Value Assertions (expect.poll)
Headless API
Executor command
Composable / Filtered Candidate Locators
Headless API
Executor command
Rich Clipboard — HTML (CF_HTML)
Headless API
Executor commands
Colour-Histogram Fingerprint & Change Detection
Headless API
Executor commands
Localized Motion / Activity Detection
Headless API
Executor commands
Window Z-Order — Always-On-Top / Front / Back
Headless API
Executor commands
Soft Assertions — Aggregate Failures at Block End
Headless API
Executor command
Perceptual (YIQ) Image Diff with Anti-Alias Suppression
Headless API
Executor command
Window Client-Area Geometry
Headless API
Executor commands
Canonical Computer-Use Action Schema
Headless API
Executor command
Token-Budgeted A11y Text Observation
Headless API
Executor commands
Pre-Action Grounding Guard
Headless API
Executor command
Portable Agent-Trajectory Trace (Record & Replay)
Headless API
Executor command
Geometry-Aware Element Diff & Stable IDs
Headless API
Executor commands
Weighted Candidate Scoring
Headless API
Executor commands
Barcode Decoding (1-D)
Headless API
Executor command
Rotation- and Scale-Tolerant Template Matching
Headless API
Executor commands
Coarse Labelled Screen Grid (VLM Grounding)
Headless API
Executor commands
Clipboard File-Drop List (CF_HDROP)
Headless API
Executor commands
Trust-Scored Template Matching (Ambiguity / PSR)
Headless API
Executor command
Fill a Ruling-Line Grid With OCR Text (Addressable Tables)
Headless API
Executor command
Token-Budgeted Observation Delta (What Changed)
Headless API
Executor command
Auto-Thresholded Template Matching (Otsu on the Score Map)
Headless API
Executor commands
Whitespace-Projection Columns (Borderless Tables)
Headless API
Executor commands
Form Field Association (Multi-Direction) + Checkbox State
Headless API
Executor commands
Action-Effect Classification (Did My Click Do Anything?)
Headless API
Executor commands
Edge-Shape (Chamfer) Template Matching
Headless API
Executor commands
Declarative Action Postconditions
Headless API
Executor command
Repair-Tactic Policy for Failed / No-Effect Actions
Headless API
Executor command
Sub-Pixel Template-Match Refinement
Headless API
Executor command
Grounding Self-Consistency (Consensus Over Proposals)
Headless API
Executor commands
Column-Aware Reading Order (XY-Cut)
Headless API
Executor commands
Paragraph & List Grouping of OCR Lines
Headless API
Executor commands
Settle Detection Over a Churn Series
Headless API
Executor command
Heading vs Body Classification + Document Outline
Headless API
Executor commands
Per-Step Critic Features + Rule-Based Step Scorer
Headless API
Executor commands
Multi-Template Consensus Matching
Headless API
Executor commands
Colour-Aware Template Matching (HSV)
Headless API
Executor commands
Pre-Match Settle Gating + Match Persistence
Headless API
Executor commands
Extended UIA Control Patterns (Expand / Select / Range / Scroll)
Headless API
Executor commands
OCR backends
Backend selection
Language codes
Tesseract setup notes
EasyOCR / PaddleOCR setup notes
Headless usage
JSON action surface
Diagnostics
Observability — metrics and traces
Quick start
Built-in metrics
Adding your own metrics
Tracing
Production deployment
Security note
Operations & Admin Layer
Folder sync (additive mirror)
coturn TURN config bundle
Hardened REST API
Auth gate
Endpoint surface
Prometheus metrics
Multi-host admin console
Audit log hash chain
WebRTC packet inspector
USB device enumeration
USB hotplug events
System diagnostics
Web admin dashboard
OpenAPI 3.1 + Swagger UI
Configuration bundle
USB Passthrough — Phase 2 Design
Goals
Non-Goals
Transport
Channel
Framing
Operations
Backpressure
Per-OS driver wrappers
Windows — WinUSB
macOS — IOKit
Linux — libusb
Security & ACL
Per-device allow-list
Audit
Privilege
Phasing
Design decisions (formerly open questions)
USB Passthrough — Phase 2e Security Review Checklist
Threat model
ACL
Audit
Protocol hardening
Resource bounds
Lifecycle
Per-OS requirements
Pen-test scenarios
Sign-off
USB Passthrough — Operator Guide
Prerequisites
Driver setup (per OS)
Linux (libusb)
Windows (WinUSB) —
hardware-unverified
macOS (IOKit) —
hardware-unverified
Enabling the feature
ACL setup
ACL file integrity (HMAC)
Starting the host
Viewer-side: claim and transfer
Enumerate
Open + transfer
Troubleshooting matrix
Headless control (
AC_usb_*
commands)
What is
not
shipped yet
繁體中文文件
安裝
從 PyPI 安裝
系統需求
安裝 GUI 支援
Linux 前置套件
樹莓派
開發環境
滑鼠控制
取得滑鼠按鍵表
按下與釋放
點擊
游標位置
捲動
鍵盤控制
取得按鍵表
按下與釋放
按下單一按鍵
檢查按鍵狀態
輸入字串
熱鍵組合
螢幕操作
截圖
螢幕尺寸
取得像素顏色
圖片辨識
定位所有匹配
定位圖片中心
定位並點擊
參數說明
錄製與回放
使用範例
運作方式
編輯錄製內容
關鍵字與執行者
關鍵字格式
可用的動作指令
執行 JSON 檔案
執行資料夾內所有 JSON 檔案
擴充執行者
報告產生
設定
產生報告
HTML 報告
JSON 報告
XML 報告
取得報告內容為字串
報告內容
回調函數執行器
基本用法
運作方式
參數說明
擴充回調執行器
排程器
基本範例
阻塞與非阻塞模式
間隔排程
Cron 排程
移除任務
關閉排程器
Socket 伺服器(遠端 API)
啟動伺服器
傳送指令(客戶端)
協定細節
MCP 伺服器 (讓 Claude 使用 AutoControl)
工具目錄
Resources、Prompts、Sampling
Logging 通知 / Progress / Cancellation
以程式啟動伺服器
以命令列啟動伺服器
CLI 檢視旗標
註冊到 Claude Desktop
註冊到 Claude Code
HTTP 傳輸(含 SSE / Auth / TLS)
唯讀 / 安全模式
破壞性動作確認(Elicitation)
稽核 Log
工具失敗自動截圖
Rate Limiting
Plugin Hot-Reload
CI 煙霧測試 (Fake Backend)
安全注意事項
緊急退出
啟用緊急退出
更改熱鍵
範例:從失控的滑鼠恢復
命令列介面
執行單一動作檔案
執行資料夾內所有檔案
直接執行 JSON 字串
建立專案範本
啟動 GUI
專案管理
建立專案
產生的目錄結構
新功能 (2026-04)
剪貼簿 (Clipboard)
試跑 / 逐步除錯 (Dry-run / Step Debug)
全域熱鍵 (Windows)
事件觸發器 (Triggers)
Cron 排程
外掛載入器 (Plugin Loader)
REST API 伺服器
CLI 子指令介面
GUI 多語系
可關閉分頁 + 選單列
OCR 螢幕文字辨識
Accessibility 元件搜尋
VLM(AI)元件定位
執行歷史 + 錯誤截圖附件
OCR — 區域 dump 與 regex 搜尋
執行期變數與資料驅動流程控制
LLM 動作規劃器
遠端桌面(Host + Viewer)
遠端桌面 — 快速連線 + Phase 4/5 強化
快速連線的 headless API
連線審批 + 僅檢視模式
IP 白名單(CIDR + 單一 IP)
一次性分享碼
TOTP 2FA(RFC 6238,純 stdlib)
多螢幕選擇
遠端游標 overlay
多 viewer 協作游標 + 文字 chat
相對滑鼠模式(FPS / CAD)
動態擷取
即時統計
JPEG 序列錄影(不需要 PyAV)
TCP relay(WebRTC fallback)
服務安裝器(無人值守 host)
遠端桌面 — 加密傳輸、音訊、剪貼簿、檔案傳輸
Host ID 握手
TLS
WebSocket 傳輸
音訊串流
剪貼簿同步(文字 + 圖片)
檔案傳輸 + 進度
遠端桌面 — AnyDesk 風格彈出視窗
遠端桌面 — 自適應的子分頁尺寸
遠端桌面 — MCP 工具
驅動層輸入後端 — 驅動不接受 SendInput / XTest 的遊戲
Interception(Windows)
uinput(Linux)
ViGEm 虛擬手把(Windows)
反作弊注意事項
效能分析器(Profiler)
執行紀錄時間軸 + 失敗截圖
密鑰管理器(Secret Manager)
Webhook(HTTP push)觸發
IMAP Email 觸發
新功能 (2026-05)
定位器與選擇器智慧化
自我修復定位器
錨點定位器
結構化 OCR
智慧等待
A/B 定位器框架
維運與觀察性
成本遙測
追蹤重播 UI
失敗 → 工單自動化
容器化 CI 模板
跨主機 DAG 編排
多 viewer 名單
代理與整合
Computer-use 高階 API
WebRunner 接入 executor + MCP
Chat-ops 機器人
平台覆蓋
Wayland CLI backend
Wayland libei native backend
macOS Accessibility:tree dump + recorder
開發者體驗
autocontrol-lsp 完整化
.pyi
stub 產生器
VS Code 擴充
瀏覽器擴充錄製器
pytest plugin + Gherkin BDD
視覺流程編輯器
通用 agent 迴圈(JSON + MCP)
截圖 PII 遮罩
Android backend(uiautomator2 widget tree)
iOS backend(XCUITest via WebDriverAgent)
新功能 (2026-06) — 測試框架層
斷言
斷言 DSL
畫面外與系統斷言
斷言組合器(群組 / OR / 輪詢)
媒體斷言(音訊 / 影片)
資料驅動執行
不穩定測試偵測與隔離
不穩定報告
隔離(閉環處理)
QA 套件執行器 + CI 報告
套件編排
CI 原生報告(JUnit / Allure)
無障礙 & i18n 稽核
行動裝置矩陣
新功能 (2026-06-17) — 自動化工具箱
擬人化輸入
視覺
流程控制與變數
觸發器與智慧等待
視窗管理
檔案安全
報告與通知
GUI
新功能 (2026-06-18) — CLI 與整合
命令列介面
程式碼產生
HTTP / API
SQL
Email(SMTP)
PDF
智慧等待
安全性
新功能 (2026-06-19) — 視覺回歸與狀態機
視覺回歸(黃金影像)
有限狀態機
新功能 (2026-06-19) — 原生 UI 控制
讀取與設定值
呼叫與切換
讀取表格 / 清單
定位控制項
平台
新功能 (2026-06-19) — 彈窗看門狗
快速開始
自訂規則
執行器指令
新功能 (2026-06-19) — 無人值守可靠性
2FA 登入的 OTP / TOTP
原生檔案對話框
鎖定工作階段守衛
新功能 (2026-06-19) — 交易式工作佇列
Dispatcher / performer
失敗語意
執行器指令
新功能 (2026-06-19) — 測試與工具三件套
合成測試資料
MCP registry 清單
風險導向測試選擇
新功能 (2026-06-19) — 編寫與除錯
元素庫
步進除錯器與追蹤器
新功能 (2026-06-19) — Agent 工具組
技能 / playbook 庫
Prompt-injection 防禦閘
A2A agent card
新功能 (2026-06-19) — Office 讀寫
Excel
Word
PowerPoint
新功能 (2026-06-19) — 記憶與決定性
Agent 情節記憶
決定性執行
新功能 (2026-06-19) — WCAG 2.2 稽核引擎
符合度稽核
目標尺寸規則
新功能 (2026-06-19) — 反應式觀察器
Python API
執行器 / MCP 指令
新功能 (2026-06-19) — SBOM 與測試分片
CycloneDX SBOM
時長感知的套件分片
新功能 (2026-06-19) — 資料品質
資料列 schema 驗證
欄位擷取
資料列遮罩
新功能 (2026-06-19) — i18n / l10n 測試
偽在地化(Pseudo-localization)
文字溢位偵測
翻譯目錄完整性
新功能 (2026-06-19) — 檢查點與續跑
流程檢查點與續跑
py.typed
標記
新功能 (2026-06-19) — Set-of-Marks 疊圖
標號與圖例
即時「標號後點擊」迴圈
新功能 (2026-06-19) — 語意螢幕狀態
快照與差異
描述螢幕
新功能 (2026-06-19) — 計時輸入巨集
計時時間軸重播
輸入序列 DSL
新功能 (2026-06-19) — 韌性原語
RetryPolicy
CircuitBreaker
新功能 (2026-06-19) — CI 註解與剪貼簿歷史
CI 工作流程註解
剪貼簿歷史
新功能 (2026-06-19) — 修復分析與機密掃描
自我修復分析
機密掃描
新功能 (2026-06-19) — 流程文件(SOP)產生器
用法
新功能 (2026-06-19) — 緩動拖曳
用法
新功能 (2026-06-19) — MCP 結構化工具輸出
宣告輸出 schema
新功能 (2026-06-19) — Plugin SDK
撰寫外掛
探索與載入
Maker-Checker 審批閘門
無頭 API
執行器指令
即時(Just-In-Time)憑證租約
無頭 API
執行器指令
網路出口允許清單守衛
無頭 API
執行器指令
核准式測試(Golden-Master 基準)
無頭 API
執行器指令
Agent 軌跡評估
無頭 API
執行器指令
合規控制報告(SOC2 / ISO 27001)
對應的控制項
無頭 API
執行器指令
Agent 可觀測性(GenAI OpenTelemetry Spans)
無頭 API
執行器指令
影片步驟疊加報告
無頭 API
執行器指令
模糊字串比對與去重
無頭 API
執行器指令
S3 相容成品儲存
無頭 API
執行器指令
感知雜湊影像去重
無頭 API
執行器指令
區域設定感知的數字、貨幣與日期解析
無頭 API
執行器指令
語音指令路由器
無頭 API
執行器指令
座標空間對映(模型網格 ⇄ 實體像素)
無頭 API
執行器指令
卡迴圈守衛(Agent Loop 進度偵測)
無頭 API
執行器指令
任務 / 流程探勘(自動化候選發現)
無頭 API
執行器指令
環境範圍的具型別資產儲存
無頭 API
執行器指令
對外 CloudEvents 發送器
無頭 API
執行器指令
多通道 Webhook 通知
無頭 API
執行器指令
JSONPath 查詢
無頭 API
執行器指令
Saga / 補償回溯
無頭 API
執行器指令
DMN 式決策表
命中政策
無頭 API
執行器指令
自我修復定位器回寫
無頭 API
執行器指令
文字 PII 偵測與遮蔽
無頭 API
執行器指令
SARIF 2.1.0 發現項目匯出
無頭 API
執行器指令
JSON Schema 驗證
支援的關鍵字
無頭 API
執行器命令
相依套件漏洞掃描(OSV)
無頭 API
線上諮詢(選用)
執行器命令
OpenVEX 漏洞分級
無頭 API
執行器命令
授權政策閘門
無頭 API
執行器命令
JSON Web Token(JWT)
安全性
無頭 API
執行器命令
用戶端速率限制
無頭 API
執行器命令
JSON Pointer、Patch 與 Merge Patch
無頭 API
執行器命令
全文搜尋(BM25)
無頭 API
執行器命令
統計與 A/B 顯著性
無頭 API
執行器命令
行事曆週期規則(RRULE)
無頭 API
執行器命令
文字 Diff、套用與三方合併
無頭 API
執行器命令
功能旗標(Feature Flags)
無頭 API
執行器命令
SLSA 建置來源證明(Provenance)
無頭 API
執行器命令
JSON 合約與快照比對
無頭 API
執行器命令
混沌實驗(Chaos Experiments)
無頭 API
執行器命令
服務等級目標(SLO)
無頭 API
執行器命令
串流延遲百分位
無頭 API
執行器命令
隔艙與速率限制標頭
無頭 API
執行器命令
HTTP 錄製與重播卡帶
無頭 API
執行器命令
W3C Trace Context 傳播
無頭 API
執行器命令
資料剖析與結構推斷
無頭 API
執行器命令
RFC 9457 Problem Details 解析
無頭 API
執行器命令
Dotenv(.env)解析
無頭 API
執行器命令
Server-Sent Events(SSE)用戶端解析器
無頭 API
執行器命令
分層設定解析器
無頭 API
執行器命令
分布漂移偵測
無頭 API
執行器命令
資料集差異(資料列變更報告)
無頭 API
執行器命令
W3C Baggage 傳播
無頭 API
執行器命令
URI-Scheme 值參照
無頭 API
執行器命令
參照完整性檢查
無頭 API
執行器命令
RFC 8288 Link 標頭與分頁
無頭 API
執行器命令
設定與日誌的機密遮蔽
無頭 API
執行器命令
multipart/form-data 建立與解析
無頭 API
執行器命令
HTTP 內容協商與解壓縮
無頭 API
執行器命令
Cookie Jar(HTTP 工作階段攜帶)
無頭 API
執行器命令
條件式 HTTP 請求與快取驗證子
無頭 API
執行器命令
標準日誌行與結構化日誌
無頭 API
執行器命令
OTLP/JSON Span 匯出
無頭 API
執行器命令
具型別的設定結構
無頭 API
執行器命令
JSON-Schema 相容性檢查
無頭 API
執行器命令
Unicode 文字正規化與 Slug
無頭 API
執行器命令
時間序列轉換
無頭 API
執行器命令
字串距離相似度量
無頭 API
執行器命令
近似重複文字偵測(SimHash / MinHash)
無頭 API
執行器命令
單序列異常偵測
無頭 API
執行器命令
移動平均平滑
無頭 API
執行器命令
冪等鍵儲存
無頭 API
執行器命令
時間視窗去重
無頭 API
執行器命令
逐串流序號間隙偵測
無頭 API
執行器命令
樂觀並行版本儲存
無頭 API
執行器命令
交易型 Outbox
無頭 API
執行器命令
地區感知字串排序(Collation)
無頭 API
執行器命令
易混淆字元 / 同形異義字偵測
無頭 API
執行器命令
可讀性評分
無頭 API
執行器命令
雙向文字 QA(Trojan-Source 掃描)
無頭 API
執行器命令
地區感知清單格式化
無頭 API
執行器命令
ICU-lite MessageFormat(複數 / 選擇)
無頭 API
執行器命令
GNU gettext 目錄 I/O(.po / .mo)
無頭 API
執行器命令
檢查碼演算法
無頭 API
執行器命令
多路徑點滑鼠手勢
無頭 API
執行器命令
清空再輸入欄位
無頭 API
執行器命令
等待消失(阻塞式 vanish 等待)
無頭 API
執行器命令
按住按鍵 / 自動重複
無頭 API
執行器命令
相對滑鼠移動
無頭 API
執行器命令
等待區域顏色
無頭 API
執行器命令
Unicode 文字輸入(emoji / CJK)
無頭 API
執行器命令
在動作群組中持續按住修飾鍵
無頭 API
執行器命令
錨點序數與全部定位
無頭 API
執行器命令
表格 / 格線儲存格定位
無頭 API
執行器命令
等待視窗標題(正則)
無頭 API
執行器命令
具信心分數的模板比對
無頭 API
執行器命令
依顏色定位螢幕區域
無頭 API
執行器命令
遮罩模板比對(忽略背景)
無頭 API
執行器命令
結構相似度(SSIM)比較
無頭 API
執行器命令
ORB 特徵比對(對旋轉 / 縮放 / 主題穩健)
無頭 API
執行器命令
以邊緣 / 輪廓定位 UI 元素(免模板)
無頭 API
執行器命令
視窗鋪排 / 版面幾何規劃器
無頭 API
執行器命令
排列多個視窗(網格 / 層疊)
無頭 API
執行器命令
影像前處理(供 OCR / 模板比對)
無頭 API
執行器命令
多螢幕 / 虛擬桌面幾何
無頭 API
執行器命令
可操作性閘門——在操作前先等待就緒
無頭 API
執行器命令
融合並排序螢幕元素框
無頭 API
執行器命令
HSV 色彩空間分割
無頭 API
執行器命令
免模型文字區偵測(MSER)
無頭 API
執行器命令
線條 / 網格 / 分隔線偵測(Hough)
無頭 API
執行器命令
重試式數值斷言(expect.poll)
無頭 API
執行器命令
可串接 / 可過濾的候選定位器
無頭 API
執行器命令
豐富剪貼簿——HTML(CF_HTML)
無頭 API
執行器命令
色彩直方圖指紋與變化偵測
無頭 API
執行器命令
局部動態 / 活動偵測
無頭 API
執行器命令
視窗 Z-order——置頂 / 移到最前 / 移到最後
無頭 API
執行器命令
軟性斷言——區塊結束時彙整所有失敗
無頭 API
執行器命令
感知式(YIQ)影像比對含反鋸齒抑制
無頭 API
執行器命令
視窗客戶區幾何
無頭 API
執行器命令
標準化 Computer-Use 動作結構
無頭 API
執行器命令
符記預算內的無障礙文字觀測
無頭 API
執行器命令
動作前接地防護
無頭 API
執行器命令
可攜式 Agent 軌跡記錄(錄製與重播)
無頭 API
執行器命令
幾何感知的元素差異與穩定 ID
無頭 API
執行器命令
加權候選評分
無頭 API
執行器命令
一維條碼解碼
無頭 API
執行器指令
旋轉與縮放容忍的樣板比對
無頭 API
執行器指令
粗粒度標籤螢幕網格(VLM Grounding)
無頭 API
執行器指令
剪貼簿檔案拖放清單(CF_HDROP)
無頭 API
執行器指令
信任評分樣板比對(歧義 / PSR)
無頭 API
執行器指令
以 OCR 文字填入框線網格(可定址表格)
無頭 API
執行器指令
權杖預算化的觀測差異(變更了什麼)
無頭 API
執行器指令
自動門檻樣板比對(對分數圖做 Otsu)
無頭 API
執行器指令
留白投影欄位偵測(無框線表格)
無頭 API
執行器指令
表單欄位關聯(多方向)+ 核取方塊狀態
無頭 API
執行器指令
動作效果分類(我的點擊有沒有效果?)
無頭 API
執行器指令
邊緣形狀(Chamfer)樣板比對
無頭 API
執行器指令
宣告式動作後置條件
無頭 API
執行器指令
失敗 / 無效果動作的修復策略引擎
無頭 API
執行器指令
次像素樣板比對精修
無頭 API
執行器指令
Grounding 自我一致性(提案共識)
無頭 API
執行器指令
欄位感知閱讀順序(XY-Cut)
無頭 API
執行器指令
OCR 行的段落與清單分組
無頭 API
執行器指令
變化量序列的穩定偵測
無頭 API
執行器指令
標題與內文分類 + 文件大綱
無頭 API
執行器指令
逐步評審特徵 + 規則式步驟評分
無頭 API
執行器指令
多模板共識比對
無頭 API
執行器指令
色彩感知樣板比對(HSV)
無頭 API
執行器指令
比對前安定閘 + 命中穩定性
無頭 API
執行器指令
擴充 UIA 控制模式(展開 / 選取 / 範圍 / 捲動)
無頭 API
執行器指令
OCR 後端
選擇後端的順序
語言代碼
Tesseract 安裝注意
EasyOCR / PaddleOCR 安裝注意
無 GUI 使用
JSON 動作介面
診斷
可觀測性 — Metrics 與 Traces
快速開始
內建 metrics
自訂 metrics
Tracing
正式部署建議
安全提醒
維運與管理層
資料夾同步(增量鏡像)
coturn TURN 設定包
強化版 REST API
認證閘道
端點清單
Prometheus 指標
多主機管理主控台
稽核紀錄雜湊鏈
WebRTC 封包監測
USB 裝置列舉
USB hotplug 事件
系統診斷
網頁管理 dashboard
OpenAPI 3.1 + Swagger UI
設定包
USB Passthrough — 第二階段設計
目標
非目標
傳輸
Channel
Framing
操作
Backpressure
各 OS driver 包裝
Windows — WinUSB
macOS — IOKit
Linux — libusb
安全與 ACL
每裝置白名單
稽核
權限
階段
設計決策(原未決問題)
USB Passthrough — Phase 2e 安全審查清單
威脅模型
ACL
稽核
協定強化
資源上界
生命週期
各 OS 需求
滲透測試情境
Sign-off
USB Passthrough — 操作員指南
前置需求
Driver 設定(依 OS)
Linux(libusb)
Windows(WinUSB)—
硬體未驗證
macOS(IOKit)—
硬體未驗證
啟用 feature
ACL 設定
ACL 檔案完整性(HMAC)
啟動 host
Viewer 端:claim 與 transfer
列舉
Open + transfer
疑難排解對照表
無 GUI 控制(
AC_usb_*
指令)
尚未發布的部分
API Reference
Wrapper API
Mouse API
get_mouse_table
mouse_preprocess
get_mouse_position
set_mouse_position
press_mouse
release_mouse
click_mouse
mouse_scroll
Keyboard API
get_special_table
get_keyboard_keys_table
press_keyboard_key
release_keyboard_key
type_keyboard
check_key_is_press
Image API
locate_all_image
locate_image_center
locate_and_click
screenshot
Screen API
screen_size
screenshot
Record API
record
stop_record
Utils API
Executor API
execute_action
execute_files
add_command_to_executor
Callback Function API
callback_function
Report Generation API
generate_html
generate_html_report
generate_json
generate_json_report
generate_xml
generate_xml_report
Scheduler API
SchedulerManager
File Processing API
get_dir_files_as_list
Package Manager API
PackageManager
Socket Server API
start_autocontrol_socket_server
TCPServer
TCPServerHandler
Critical Exit API
CriticalExit
Key Reference
Keyboard Keys
Windows
Linux (X11)
macOS
Mouse Keys
Windows
Linux (X11)
macOS
AutoControl
Index
Index
A
|
B
|
C
|
E
|
G
|
I
|
J
|
L
|
M
|
P
|
R
|
S
|
T
A
add_blocking_job() (SchedulerManager method)
add_command_to_executor()
built-in function
add_cron_blocking() (SchedulerManager method)
add_cron_nonblocking() (SchedulerManager method)
add_interval_blocking_daily() (SchedulerManager method)
add_interval_blocking_hourly() (SchedulerManager method)
add_interval_blocking_minutely() (SchedulerManager method)
add_interval_blocking_secondly() (SchedulerManager method)
add_interval_blocking_weekly() (SchedulerManager method)
add_interval_nonblocking_daily() (SchedulerManager method)
add_interval_nonblocking_hourly() (SchedulerManager method)
add_interval_nonblocking_minutely() (SchedulerManager method)
add_interval_nonblocking_secondly() (SchedulerManager method)
add_interval_nonblocking_weekly() (SchedulerManager method)
add_nonblocking_job() (SchedulerManager method)
add_package_to_callback_executor() (PackageManager method)
add_package_to_executor() (PackageManager method)
add_package_to_target() (PackageManager method)
B
built-in function
add_command_to_executor()
callback_executor.callback_function()
check_key_is_press()
click_mouse()
execute_action()
execute_files()
generate_html()
generate_html_report()
generate_json()
generate_json_report()
generate_xml()
generate_xml_report()
get_dir_files_as_list()
get_keyboard_keys_table()
get_mouse_position()
get_mouse_table()
get_special_table()
mouse_preprocess()
mouse_scroll()
press_keyboard_key()
press_mouse()
record()
release_keyboard_key()
release_mouse()
screen_size()
screenshot()
set_mouse_position()
start_autocontrol_socket_server()
stop_record()
type_keyboard()
C
callback_executor.callback_function()
built-in function
check_key_is_press()
built-in function
check_package() (PackageManager method)
click_mouse()
built-in function
close_flag (TCPServer attribute)
CriticalExit (built-in class)
E
execute_action()
built-in function
execute_files()
built-in function
G
generate_html()
built-in function
generate_html_report()
built-in function
generate_json()
built-in function
generate_json_report()
built-in function
generate_xml()
built-in function
generate_xml_report()
built-in function
get_blocking_scheduler() (SchedulerManager method)
get_dir_files_as_list()
built-in function
get_keyboard_keys_table()
built-in function
get_member() (PackageManager method)
get_mouse_position()
built-in function
get_mouse_table()
built-in function
get_nonblocking_scheduler() (SchedulerManager method)
get_special_table()
built-in function
I
init_critical_exit() (CriticalExit method)
J
je_auto_control
module
L
locate_all_image() (in module je_auto_control)
locate_and_click() (in module je_auto_control)
locate_image_center() (in module je_auto_control)
M
module
je_auto_control
mouse_preprocess()
built-in function
mouse_scroll()
built-in function
P
PackageManager (built-in class)
press_keyboard_key()
built-in function
press_mouse()
built-in function
R
record()
built-in function
release_keyboard_key()
built-in function
release_mouse()
built-in function
remove_blocking_job() (SchedulerManager method)
remove_nonblocking_job() (SchedulerManager method)
run() (CriticalExit method)
S
SchedulerManager (built-in class)
screen_size()
built-in function
screenshot()
built-in function
screenshot() (in module je_auto_control)
set_critical_key() (CriticalExit method)
set_mouse_position()
built-in function
shutdown_blocking_scheduler() (SchedulerManager method)
shutdown_nonblocking_scheduler() (SchedulerManager method)
start_all_scheduler() (SchedulerManager method)
start_autocontrol_socket_server()
built-in function
start_block_scheduler() (SchedulerManager method)
start_nonblocking_scheduler() (SchedulerManager method)
stop_record()
built-in function
T
TCPServer (built-in class)
TCPServerHandler (built-in class)
type_keyboard()
built-in function