新人に仕事を教えるとき、分厚いマニュアルを書くのと、隣に座らせて一度やって見せるのと、どちらが早いでしょうか。多くの現場の答えは後者のはずです。
そして今週、AIへの教え方も同じになってきました。Microsoftが、PCの画面操作を録画するとAIがその作業を覚え、代わりに実行できるようになるデスクトップアプリ「Skill Recorder（スキルレコーダー）」を無料公開したのです（ITmedia AI＋）。
今日はこの新アプリと、ほぼ同じタイミングで日本のゲーム開発の現場から届いた「画面を見て働くAI」の実例をセットで紹介します。
Skill Recorder──録画が「AIのスキル」に変わる
仕組みはシンプルです（GitHub公式リポジトリ）。
- いつもの作業を、画面録画しながら音声で説明する（クリック、アプリの切り替え、開いたページなどが記録される）
- AIコーディング支援の「GitHub Copilot CLI」が、録画から**「何をしたかったのか（意図）」と「どういう手順でやったか」**を分析する
- Microsoftのエージェントサービス「Copilot Cowork」「Scout」やローコード開発ツール「Copilot Studio」で実行できる**「スキル」**に変換される
できあがったスキルは、必要なときにAIに実行させるだけでなく、**スケジュールや特定の合図（トリガー）で自動実行する「自動化」**にもできます。手順はMarkdownファイル（SKILL.md）として書き出すこともできます。
提供はGitHub上で、MITライセンス・商用利用可・無料。そして少し意外なことに、メインターゲットはmacOSで、Windows 11もサポートという「Mac優先」の出し方です。利用にはGitHub Copilotにアクセスできる GitHubアカウントが必要なので、「アプリは無料だが、変換に使うAI側の利用資格は別途必要」という点だけ押さえておいてください。
ポイントは「録画の再生」ではなく「意図の理解」
「操作を記録して再生する」だけなら、昔からあるマクロやRPA（作業自動化ソフト）と同じです。Skill Recorderが一線を画すのは、公式リポジトリに書かれた設計思想です。
- 記録したUIクリックをそのまま再生することはせず、AIエージェントが持つ道具（ネイティブツール）で同じ目的を達成することを優先する
- たった1回の実演から、手順を「一般化」する──画面の細部が多少変わっても通用する、意図ベースの手順として覚える
これは、画面の座標を覚えるのではなく、仕事の意味を覚えるということです。従来のRPAが「ボタンの位置が変わると壊れる」ことに悩まされてきたのと対照的です。
実はこの「録画からスキルを作る」方式は、7月にAnthropicのClaudeが「Record a Skill」として先行していました（詳しくはこちら: 見て覚えるAI──Claudeの画面録画スキル機能）。今回のMicrosoftの参入で、「やって見せて教える」がAI業界の標準的な教え方になりつつあることがはっきりしました。しかもMicrosoftはこれをオープンソースで、無料で配ってきたわけです。
先週、日本の現場では──スクエニがゲームのテストをAIに任せ始めた
「画面を見て働くAI」は、実験段階の話ではありません。先週の7月30日、スクウェア・エニックスの荒牧岳志氏（AI＆エンジン開発ディビジョン ジェネラル・マネージャー）が「Google Cloud Next Tokyo ‘26」の基調講演で、ゲームの品質テスト(QA)をGoogleのAI「Gemini」で自動化する取り組みを披露しました（ITmedia AI＋）。
実演動画では、AIがゲーム画面を見て状況を把握し、コントローラーを自動で操作。テストのタスクに沿って、自らゲーム内の地図を開いて現在地を確認し、キャラクターを動かして検証を進めていきます。画面にはAIの思考過程やタスクリストも表示されました。基盤はGoogle Cloudの「Gemini Enterprise Agent Platform」（旧Vertex AI）で、開発チームが「よりクリエイティブな作業に専念できる」「開発期間が短縮される」効果があると説明されています。
ゲームのテストプレイは「人間が画面を見て、操作して、確認する」作業の塊です。そこにAIが入り始めたということは、画面を見ながら行う定型作業の多くが、同じ道をたどるということでもあります。「画面を操作するAI」の基本的な仕組みは以前に整理しています（あわせて読みたい: 画面を操作するAIエージェントの現在地）。
中小企業はどう活かすか──3つだけ
1. 「マニュアルのない属人作業」こそ引き継ぎの候補にする これまで自動化の相談で最初に躓くのは「手順書がない」ことでした。やって見せれば覚えるAIは、この順序を逆にします。手順書を書けないから自動化できなかった仕事こそ、録画1回で引き継げる候補です。頭の中にしかない月末処理や、ベテランだけが知る受発注の流れは、まさにそれです。
2. 録画に機密情報を映さないルールを先に決める ITmediaの記事でも、パスワードなどの機密情報をレコーディングしないよう注意が促されています。録画は便利な半面、画面に映るものすべてが記録されるということです。試す前に「録画中はパスワード入力をしない」「顧客情報が映る画面では使わない」といった簡単なルールを決めておきましょう。
3. まず毎週の定型作業を1つ、やって見せてみる いきなり基幹業務に入れる必要はありません。毎週やっている経費の転記、レポートのダウンロードと整形、定例メールの下準備──「説明しながら一度やって見せられる作業」を1つ選んで試すのが、いちばん安全で速い入り口です。
まとめ──「教え方」が変わると、任せられる仕事が変わる
- Microsoftが録画からAIのスキルを作る「Skill Recorder」を無料公開（オープンソース・macOS優先・Windows 11対応）
- 仕組みは操作の再生ではなく意図の理解。1回の実演から手順を一般化する
- 先週にはスクエニがGeminiでゲームQAの自動化を披露。「画面を見て働くAI」は既に実務段階
- 中小企業は属人作業の引き継ぎ候補化・機密の録画ルール・定型作業1つからの試行で波に乗る
プロンプトの書き方を勉強しなくても、いつもの仕事をやって見せればいい──AIの使い方のハードルが、また一段下がりました。
※本記事は複数の公開情報をもとに作成しています。