Состоялся релиз пакета скриптов UIScanner, предназначенного для исследования интерфейсов приложений на macOS. Это может быть полезно для последующей разработки скриптов, предполагающих взаимодействие с интерфейсами различных приложений с целью автоматизации выполнения каких-то задач или повышения их доступности.

UIScanner представляет собой пакет скриптов на AppleScript, который сканирует графические пользовательские интерфейсы всех открытых приложений, создавая документ со всей доступной информацией о каждом элементе управления GUI. При выполнении, он вызывает фоновый процесс, который исследует все элементы пользовательского интерфейса, после чего сохраняет собранную информацию в HTML-файл. Для работы UIScanner потребуется предоставить разрешение универсального доступа.

Напомним, что VoiceOver не имеет функциональности пользовательских программных расширений, подобно скриптам для JAWS или дополнениям для NVDA, но в macOS есть общесистемный инструмент автоматизации с функциональностью написания скриптов на специальном языке программирования AppleScript. Такие скрипты могут ограниченно взаимодействовать с приложениями и системой, например, извлечь какую-то информацию и отобразить её через речевой или брайлевский вывод VoiceOver, а также выполнить взаимодействие с элементами интерфейса приложения, ускоряя работу или даже делая какие-то действия более доступными, чем при обычном использовании VoiceOver.

Исходный код UIScanner доступен на GitHub и допускает переиспользование в других проектах.