GitHub Copilot Computer Useの使い方｜デスクトップ操作の設定と注意点

こんにちは。AIあれこれ散歩道、運営者のもっちゃんです。

GitHub Copilotが、コードだけでなくパソコン画面のボタンまで操作できるようになりました。新機能の名前はComputer Use。2026年10月1日に公開プレビューとして案内され、Copilot CLIとGitHub Copilot appからWindowsやmacOSのデスクトップアプリを扱えます。

ただし、便利そうだからすぐ常時許可にするのはおすすめできません。Computer Useは画面を読み、クリックや文字入力を行う機能です。つまり、人が押すはずだったボタンをAIが押せる一方で、対象を取り違えたり、画面上の情報を意図せず扱ったりする可能性もあります。

この記事では、GitHub公式の発表と説明書をもとに、設定から停止までを初めての人にも分かる言葉で解説します。結論はシンプルです。ほかの安全で確実な操作手段があれば先に使い、Computer Useは画面操作しか残っていない低リスクな作業へ絞る。この順番なら、便利さを試しながら危険も小さくできます。

CopilotのPC操作と使い方

GitHub Copilot Computer Useの使い方は、機能をオンにし、操作の許可を確認し、終わったらオフにする流れです。まずは何ができる機能なのかをつかみ、CLIとデスクトップアプリの違い、小さく試す手順、ほかの操作手段との使い分けを順に見ていきましょう。

Computer Useとは

Computer Useは、AIエージェントがパソコンの画面を見ながらデスクトップアプリを操作する仕組みです。エージェントとは、質問に答えるだけでなく、目的に向けて複数の手順を進めるAIを指します。GitHubの2026年10月1日公式発表では、画面上の読み取り可能な情報や見た目を手掛かりにし、クリック、文字入力、キー操作、スクロール、ドラッグを実行できると説明されています。

従来のCopilotは、コードやファイル、ターミナル、ブラウザなど、あらかじめ接続された道具を使うのが中心でした。Computer Useでは、人と同じように画面へ触れるため、専用の連携機能がないアプリでも操作できる可能性があります。たとえば、設定画面を開いて項目を確認する、デスクトップアプリのフォームへ短い文字を入れる、一覧をスクロールして必要な場所へ移動する、といった作業です。

一方で、画面を操作できることと、正しく安全に操作できることは同じではありません。画面の配置が変わったり、似たボタンが並んだりすると、意図とは違う対象を選ぶかもしれません。GitHubもこの点を理由に、Computer Useを既定でオフにし、操作開始前の許可を求める設計にしています。

対応OSと操作範囲

2026年10月3日に確認したGitHub公式情報では、Computer Useの公開プレビューはWindowsとmacOSに対応しています。利用場所はCopilot CLIとGitHub Copilot appです。ここでいうCopilot appは、GitHubのデスクトップ向けAIアシスタントを指し、Web版GitHubの通常画面やVisual Studio Codeの補完機能と同じものではありません。公式手順ではCopilot app自体は全Copilotプランで利用できると案内されています。

操作できるのは、画面で確認できる範囲です。クリック、入力、キー押下、スクロール、ドラッグという基本動作を組み合わせます。アプリ固有の内部データへ直接アクセスするわけではないため、画面に表示されていない情報を当然に理解できるとは限りません。また、アプリ側の権限、OSのアクセシビリティ設定、組織の方針によって利用できない場合があります。

公開プレビューは、正式版の前に試せる段階です。機能や画面、対象プラン、管理方法が変わる可能性があります。この記事では公式に確認できた操作だけを扱い、日本語UIの表記や特定のクライアント版での見え方は未実測です。あなたの画面に同じ項目がない場合は、すぐ故障と決めず、後半の確認順を使ってください。

CLIで有効にする方法

Copilot CLIから使う場合は、Computer Useの状態をコマンドで切り替えます。CLIはCommand Line Interfaceの略で、文字を入力してパソコンへ指示する画面です。ターミナルに慣れていない人は、コマンドをコピーする前に、それぞれが何をするかを読んでください。

GitHubのComputer Use公式手順によると、有効化は/computer on、現在の状態や対象を確認するには/computer show、停止は/computer offです。最初から長い作業を渡すのではなく、オンにしたあとでshowを使い、どの環境が操作対象になっているかを確かめます。対象が分からない、想定外の画面が含まれる、許可表示を理解できない場合は、そこでoffに戻しましょう。

依頼文も小さくします。「設定アプリを開き、通知の項目がある場所まで移動して。変更や保存はしない」のように、対象、目的、禁止する操作、止まる位置を一文に含めると確認しやすくなります。逆に「全部いい感じに設定して」のような依頼は、何を変えてよいか境界がありません。

アプリで有効にする方法

GitHub Copilot appでは、SettingsのComputer Useから有効にします。公式手順では、初期状態はオフで、利用者が設定を変えてから使います。項目が表示されたら、いきなりAlways allowへ進まず、最初の作業では一回ごとの許可を選ぶのが無難です。

アプリで始める流れは、設定を開く、Computer Useをオンにする、低リスクな作業を一つ頼む、制御許可の内容を読む、実行中の画面を確認する、終了後にオフへ戻す、の順です。クリックの前に確認が出たら、操作対象と内容が依頼に合っているかを見ます。知らないアプリや別ウィンドウへ移動していたら許可しません。

GitHub様の公式YouTube動画「Meet the GitHub Copilot app: Your new AI desktop assistant」では、2026年7月時点のCopilot app全体が紹介されています。00:55からホームとプロジェクト、02:08から並行セッション、03:33からブラウザのCanvas、05:11からエージェントの変更統合という流れです。ただし、これは10月1日のComputer Use専用デモではありません。アプリの雰囲気を知る資料として使い、Computer Useの仕様は最新の公式Docsで確認します。

複数の作業を視覚的に進める機能を知りたい人は、当サイトのGitHub Copilot Canvasの使い方も参考になります。Canvasは作業を広げる画面、Computer Useはデスクトップを操作する権限なので、同じ機能として混ぜないでください。

最初に試す低リスク作業

最初の一回は、失敗してもデータやお金が動かない作業を選びます。おすすめは、設定項目の場所まで移動して停止する、読み取り専用の画面をスクロールする、空のテスト文書へ短い文字を入力して保存前に止める、といった課題です。重要なファイル、顧客情報、ログイン情報、送信フォームが見える作業は避けます。

たとえば「空のテスト用メモを開き、『Computer Use確認』と入力して。保存、共有、削除はしない」と頼みます。成功の判定は、正しいアプリが開いたか、指定文字だけが入ったか、保存前に止まったかの三つです。最後に人が画面を見て、不要なら文字を消します。これなら、AIの操作精度と許可画面の流れを小さく確かめられます。

慣れてきても、作業の一段ごとに確認点を残しましょう。「移動まで」「入力まで」「保存前まで」と区切れば、間違いを早く見つけられます。自動化は一気に長くするほど便利に見えますが、問題が起きた時にどこでずれたか分かりにくくなります。

ほかの手段を先に使う

GitHubのComputer Use概念説明は、API、MCP、ターミナル、ファイルシステム、専用ブラウザなど、より直接的な方法が使える場合はそちらを優先するよう案内しています。APIはサービス同士が決められた形式でやり取りする入口、MCPはAIが外部の道具へ安全に接続するための共通方式です。

直接の入口は、どのデータを読み、どの操作を行ったかを追いやすい利点があります。画面上のボタン位置に頼らないため、表示が少し変わっても動作が安定しやすいでしょう。ファイルを編集するならファイル操作、コマンドを実行するならターミナル、Webサイトだけなら専用ブラウザ、サービスがAPIを持つならAPIという順で考えます。

Computer Useが向くのは、ほかの入口がなく、デスクトップのGUIを通る必要がある場面です。GUIはボタンやメニューを見て操作する画面のこと。古い社内ツールや、専用連携を持たない小さなアプリで、読み取りや単純な入力を補助してもらう時に候補になります。

この使い分けは、Copilotへ権限を渡す全体設計ともつながります。ファイル、リポジトリ、外部サービスの境界を先に決めたい場合は、AIエージェントの権限管理も合わせて確認してください。

CopilotのPC操作と安全設定

GitHub Copilot Computer Useの使い方で最も大切なのは、操作できるかより、どこまで許可するかです。ここでは、毎回の制御許可、Always allow、画面情報、高影響操作、組織で表示されない場合の切り分けを具体的に説明します。

制御許可を毎回読む

Computer Useは、デスクトップを制御する前に許可を求めます。この画面は面倒な確認ではなく、人が最後の境界を決める場所です。許可する前に、対象アプリ、操作内容、依頼した目的との一致を見ます。依頼していない画面、別のユーザー情報、送信や削除につながる操作が含まれていたら止めてください。

許可は「AIを信頼するか」という抽象的な判断ではありません。「この一回、ここに表示された操作を、この画面で進めてよいか」という具体的な判断です。新しいタブやダイアログが出たら、最初の許可だけで全部を任せず、状況を見直します。

特に、ファイル削除、メール送信、投稿公開、購入、契約、権限変更、認証情報の入力は高影響です。間違えた時に元へ戻せないか、他人へ影響する作業は、Computer Useへ完了まで任せないほうが安全です。AIには候補の場所まで移動してもらい、最後の確定操作は人が行います。

Always allowは慎重に

Always allowは、同じ種類の制御を毎回確認せず許可する設定です。繰り返しの確認を減らせますが、許可の範囲を理解しないまま使うと、人が止める機会も減ります。最初の試用、初めて使うアプリ、機密情報が混ざる画面では選ばないのが基本です。

常時許可を検討するなら、作業が十分に限定され、失敗しても戻せて、入力データに機密がなく、操作結果を別の方法で確かめられることが条件です。たとえば、検証用環境の読み取り専用画面を定期的に移動する程度なら候補になるかもしれません。それでも、アプリ更新で画面が変わった時には見直しが必要です。

許可した内容は設定から管理できます。使わなくなった許可を残さず、対象アプリや目的が変わったらいったん削除して、必要な範囲で再設定します。「前に大丈夫だったから今回も大丈夫」と考えず、画面とデータが変われば別の作業として扱いましょう。

画面情報を守る方法

Computer Useは画面の見た目を手掛かりにします。そのため、作業に関係のない通知、メール、顧客名、チャット、認証コード、社内URLが同じ画面に出ていないかを確認します。必要のないアプリは閉じ、通知を一時的に隠し、テスト用のデータだけを表示するのが安全です。

macOSでは、アプリの操作に使うアクセシビリティ権限と、画面を確認するための画面収録権限が必要です。公式手順のPrerequisitesで両方がGrantedになっているかを確認します。権限を広げる前に、使うMacとアカウントが業務ルール上の対象かも確かめてください。

また、対象のウィンドウを明確にします。複数モニターで似たアプリを開いていると、どちらを操作しているか分かりにくくなります。最初は一つの画面、一つのアプリ、一つの作業に限定しましょう。アカウントも、本番管理者ではなく検証用の権限が小さいものを使えると安心です。

作業後は、入力履歴や下書き、クリップボード、開いたファイルが残っていないかを見ます。Computer Useをオフにするだけで、アプリ側の変更が自動で消えるわけではありません。保存された内容、送信履歴、最近使ったファイルも人が確認してください。

安全に使う4つの順番

安全な始め方は、難しい設定を増やすことではありません。操作の前後に短い確認を置くことです。まず、APIやMCP、ターミナル、ファイル操作、専用ブラウザで同じ目的を達成できないかを見ます。直接の手段があるなら、それを使うほうが対象と結果を確かめやすくなります。

次に、Computer Useが必要なら毎回の許可を読みます。最初からAlways allowにせず、操作を一段ずつ見ましょう。三つ目は画面情報です。不要なウィンドウと通知を閉じ、テストデータへ切り替えます。最後に、作業が終わったら/computer offまたはアプリ設定から停止し、変更結果を人が確認します。

この四つをチェックリストにすると、チームでも同じ基準を使えます。依頼文に「保存前で停止」「送信しない」「削除しない」を入れ、確認者を決めておくと、操作の責任が曖昧になりません。便利な機能ほど、停止条件を先に書く。これはComputer Useに限らず、AIエージェント全体で役立つ考え方です。

表示されない時の確認

Computer Useが表示されない時は、何度も再インストールする前に条件を順番に確認します。最初に、使っているものがCopilot CLIまたはGitHub Copilot appかを見ます。次に、クライアントが最新か、WindowsまたはmacOSか、アカウントに対象機能が提供されているかを確かめます。

会社や学校のアカウントでは、組織の管理者がComputer Useを無効にしている可能性があります。この場合、利用者側で設定を探し続けても解決しません。管理者へ、OS、アプリ名、クライアント版、対象組織、表示されない設定項目、確認日時を伝えます。権限を勝手に広げるのではなく、必要な業務と対象アプリを説明してください。

プランや段階展開の差も考えられます。公開プレビューでは、全利用者へ同じ時刻に表示されるとは限りません。公式Docsと自分の契約画面を確認し、未提供なら待つ判断も必要です。表示されないことを理由に、非公式の拡張や認証回避へ進まないようにしましょう。

利用量やAI Creditsが気になる場合は、Copilot AI Creditsの料金と上限で基本を確認できます。ただし、Computer Useの具体的な消費量は作業やモデルで変わるため、古い固定値を当てはめず、実際の利用画面を見てください。

公式情報と利用者の声

2026年5月5日には、GitHub CommunityでComputer Use対応を求める投稿がありました。これは、デスクトップアプリを直接扱いたい利用者がいたことを示す需要の手掛かりです。しかし、投稿者の要望はGitHubの仕様書ではありません。対応OSや許可方式は10月1日の公式発表と現行Docsを根拠にします。

YouTubeについても同じです。GitHub様の7月動画はCopilot app全体の紹介として役立ちますが、Computer Use専用の同日リリース動画ではありません。動画タイトルや検索結果の短い説明だけで、新機能の操作を確認済みとは扱わないことが大切です。

記事を読む時は、公式発表、第三者の体験、自分の実測を分けて見てください。公式発表は提供条件の根拠、第三者投稿は具体的な困りごとの手掛かり、自分の画面は現在の利用可否を確認する材料です。この三つを混ぜないと、古い体験を現在の不具合だと思い込むことを避けられます。

Computer Useのよくある質問

Q1. GitHub Copilot Computer Useは無料ですか？

A. GitHub公式手順ではCopilot appは全Copilotプランで利用できると案内されています。ただし、各プランの利用枠、AI Credits、組織方針は別に確認が必要です。あなたの契約画面と最新の使用量表示を確認してください。

Q2. Visual Studio Codeから使えますか？

A. 2026年10月1日の発表で明記された入口はCopilot CLIとGitHub Copilot appです。Visual Studio Codeのコード補完やチャットと混同せず、最新の対象クライアントを公式Docsで確認しましょう。

Q3. Always allowを使っても大丈夫ですか？

A. 最初の試用や機密情報がある画面では避けるのがおすすめです。対象と失敗時の影響を理解でき、検証用環境で結果を確認できる限定作業だけを候補にし、不要になった許可は削除してください。

Q4. 勝手に購入や削除をすることはありますか？

A. GitHubは意図しない高影響操作をリスクとして挙げています。購入、送信、公開、削除、権限変更はComputer Useへ完了まで任せず、確定ボタンの前で止めて人が操作してください。

Q5. 操作をすぐ止めるにはどうしますか？

A. 実行中に想定外の動きをしたら、Copilot CLIではEscを2回、アプリではStopまたはEscを使います。機能自体を無効にする時は/computer offまたはSettingsを使います。停止後もアプリ側の変更は残るため、保存、送信、削除の履歴を人が確認してください。

GitHub Copilot Computer Useの使い方まとめ

GitHub Copilot Computer Useは、Copilot CLIとGitHub Copilot appからWindowsやmacOSのデスクトップアプリを操作する公開プレビュー機能です。画面の内容を手掛かりに、クリック、文字入力、キー操作、スクロール、ドラッグを組み合わせます。

CLIでは/computer onで始め、/computer showで確認し、/computer offで終了します。アプリではSettingsのComputer Useから切り替えます。どちらも既定はオフです。最初は空のテスト文書や読み取り専用画面を使い、保存、送信、購入、削除の前で止めましょう。

安全に使う順番は、ほかの手段を先に検討する、制御許可を毎回読む、画面上の不要な情報を隠す、終わったら停止する、の四つです。Always allowは、作業の範囲と失敗時の影響を理解できる場合だけ検討します。会社や学校では組織policyも確認してください。

今日の最初の一歩は、Computer Useをオンにすることではなく、自動化したい作業を一つ書き出し、保存や送信の前にどこで止めるか決めることです。安全な停止位置が決まってから、低リスクな画面で小さく試してみましょう。