「RPAを導入したのに、画面のレイアウトが少し変わっただけでロボットが止まってしまった。」こうした経験をお持ちの方は少なくありません。
RPAは本来、パソコン上の定型作業を自動化してくれる便利な仕組みですが、従来型の多くは画面構造の変化に弱いという課題を抱えていました。
そこで注目を集めているのが「画像認識RPA」です。人間と同じように画面の”見た目”を頼りに操作対象を見つけ出す仕組みで、レイアウト変更やシステム更新の影響を受けにくいという特長があります。
本記事では、画像認識RPAの基本的な仕組みから従来型RPAとの違い、実際の活用事例、そして導入前に知っておきたい限界まで、初めての方にも分かりやすく解説します。
画像認識RPAとは？従来RPAとの決定的な違い
RPAという言葉自体は聞いたことがあっても、「画像認識RPA」と言われるとピンとこない方も多いのではないでしょうか。ここでは、画像認識RPAの仕組みと、従来のRPAとどこが違うのかを整理していきます。
画像マッチング技術で「見た目」を認識して操作する自動化ツール
画像認識RPAとは、パソコンの画面をスクリーンショットのように画像として捉え、あらかじめ登録しておいた画像と照合（マッチング）することで操作対象を見つけ出すタイプのRPAです。
たとえば、「OKボタンをクリックする」という作業を自動化したい場合、あらかじめ「OK」と書かれたボタンの画像を登録しておきます。ロボットは画面全体を画像として取り込み、その中から登録画像と一致する部分を探し出して、そこをクリックするという流れです。
人間が目でボタンの位置を確認してマウスを動かすのと感覚的に近く、「画面のどこに何があるか」をロボットが視覚的に判断できる点が凄いポイントです。
「この画像を見つけたらクリック」といった設定ができるため、毎回レイアウトが変わる実際のPC環境に強いものとなっています。
株式会社ニューラルオプト 営業部部長 / DX事業部部長
古谷優輝
東京農工大学大学院 工学府 応用化学専攻 修士課程を修了後、外資系自動車会社にてエンジニアとして自動運転のAI開発などに従事。その後ニューラルオプトに参画し、クライアントのAI開発やSEOツールの開発、RAGなどベクトル検索を活用した検索エンジン開発なども行っています。
従来RPAは座標指定やセレクタ指定が画面変更で動かなくなることも
画像認識RPAの利点をより深く理解するために、まずは従来型のRPAがどのように画面を認識しているかを押さえておきましょう。代表的な認識方法は「座標認識」と「オブジェクト認識（セレクタ指定）」の2つです。
座標認識は、「画面の左上から横○ピクセル、縦○ピクセルの位置をクリックする」というように、操作位置を数値で指定する方法です。設定がシンプルで動作も速い反面、ウィンドウの位置やサイズが少しでも変わると、まったく違う場所をクリックしてしまうリスクがあります。
オブジェクト認識（セレクタ指定）は、アプリケーション内部のHTML要素やUI部品の構造情報を読み取って対象を特定する方法で、座標認識より安定性は高くなります。ただし、システムのバージョンアップなどで内部構造が変わると、ロボットが対象を見つけられなくなるケースも珍しくありません。
つまり、どちらの方式も「画面側の変更」に対して脆い面を持っており、せっかく作ったロボットが突然動かなくなるという問題が、RPA導入企業の悩みの種になっていました。
画像認識RPAが解決した3つの技術的課題
従来型のRPAが抱えていた課題に対し、画像認識RPAは以下の3つのポイントで改善をもたらしています。
- 画面レイアウト変更への耐性
- 対応アプリケーションの幅の広さ
- 設定・メンテナンスの負担軽減
画面レイアウト変更への耐性について、画像認識RPAはボタンやアイコンの”見た目”を頼りに操作対象を探し出します。
そのため、ウィンドウの表示位置が多少ずれたり、周囲のデザインが変わったりしても、登録した画像と同じ見た目のパーツが画面上に存在する限り、ロボットは正しく動作を続けることが可能です。
座標認識のように「ピクセル単位のずれで止まる」というトラブルを大幅に減らせるでしょう。
対応アプリケーションの幅の広さも大きな強みです。オブジェクト認識はアプリケーションの内部構造を読み取る必要があるため、対応できるソフトウェアに制限が生じることがあります。一方、画像認識RPAは画面の”表示”さえあれば動作するため、古い業務システム（レガシーシステム）やリモートデスクトップ環境など、内部構造へのアクセスが難しいシステムでも自動化の対象にできます。
設定・メンテナンスの負担軽減については、操作対象のスクリーンショットを撮って登録するだけで基本的な設定が完了する点が挙げられます。座標を調べたり、HTMLの構造を解析したりする専門知識が不要なので、業務担当者自身が自動化の設定やメンテナンスを行いやすくなるはずです。
結果として、IT部門への依頼待ちが減り、現場主導でスピーディに自動化を進められる体制を構築しやすくなるでしょう。
画像認識RPA導入を検討すべき企業の3つの判定基準
画像認識RPAの仕組みやメリットが分かっても、「自社に本当に必要なのか」と迷う方は多いのではないでしょうか。導入にはツールの費用だけでなく、設定や運用に割くリソースも必要になるため、費用対効果を見極めることが大切です。
ここでは、画像認識RPAの導入を前向きに検討すべき企業の特徴を、3つの判定基準で整理します。
- 月間100時間以上の定型作業があり、年間人件費300万円以上削減できる
- フォーマット統一が困難な書類・画面を複数扱っている
- 既存システムのAPI連携が不可能またはコストが高い
月間100時間以上の定型作業があり、年間人件費300万円以上削減できる
RPA導入の効果を最も実感しやすいのは、「同じ操作を、大量に、繰り返している」業務を抱えている企業です。
一つの目安として、月間100時間以上をデータ入力や転記、コピー＆ペーストといった定型作業に費やしている場合は、画像認識RPAで自動化する恩恵が大きくなります。
具体的な数字で考えてみましょう。たとえば、時給換算2,500円のスタッフが月100時間の定型作業を担当している場合、その人件費は月額25万円、年間で約300万円にのぼります。
RPAツールの年間ライセンス料が数十万〜100万円程度であれば、差し引きで年間200万円前後のコスト削減が見込める計算です。
もちろん、削減できるのはコストだけではありません。定型作業から解放されたスタッフが、顧客対応や企画立案といった付加価値の高い業務に時間を使えるようになる点も、大きなメリットといえるでしょう。
まずは自社の業務を棚卸しして、「毎月何時間を定型作業に使っているか」を可視化するところから始めてみてください。
フォーマット統一が困難な書類・画面を複数扱っている
「取引先ごとに請求書のフォーマットが違う」「部署ごとに使っている業務システムの画面が異なる」。こうした状況は、多くの企業で日常的に発生しています。
フォーマットがバラバラの書類や画面を相手にする場合、従来のRPAでは書類やシステムの種類ごとにロボットの設定を細かく作り分ける必要があり、導入や保守の手間が膨れ上がりがちでした。
画像認識RPAであれば、画面上に表示された”見た目”をもとに操作対象を探すため、フォーマットが多少異なっていても、共通する視覚的パターン（ボタンの形やラベルの文字など）を手がかりに処理を進めることができます。
たとえば、レイアウトが異なる複数の発注書であっても、「合計金額」の欄を画像として登録しておけば、その文字列を画面上から見つけ出して値を読み取る、という使い方も可能です。
統一フォーマットへの移行が現実的に難しいケースでも、画像認識RPAなら柔軟に対応できる余地が生まれるため、こうした業務環境の企業にとっては有力な選択肢になるでしょう。
既存システムのAPI連携が不可能またはコストが高い
システム同士を連携させる方法として一般的なのが、API（Application Programming Interface）を利用する方法です。APIとは、あるソフトウェアの機能やデータを外部のプログラムから呼び出すための窓口のようなもので、これを使えばシステム間のデータ受け渡しを自動化できます。
しかし、すべてのシステムがAPIを用意しているわけではありません。とくに、長年使い続けている基幹システム（いわゆるレガシーシステム）や、パッケージソフトの古いバージョンでは、APIが存在しないケースが珍しくないのが実情です。
仮にAPIが用意されていたとしても、連携のための開発費が数百万円単位でかかることもあり、費用対効果が見合わないと判断されるケースもあります。
こうした場面で力を発揮してくれるのが、画像認識RPAです。画像認識RPAはシステムの内部構造やAPIに依存せず、あくまで画面上の表示をもとに操作を行うため、API連携ができないシステムでも自動化を実現できます。
「システムを入れ替えるほどの予算はないが、手作業はなんとか減らしたい」という状況の企業にとって、現実的かつ即効性のある解決策になるでしょう。
■少しでもAI・システム開発やPoCに興味があれば、まずはお気軽にご相談ください。目的・課題を伺ったうえで、弊社から手堅く進める方法・お見積りをお伝えさせていただきます。
AIシステム開発サービスのお問い合わせはこちら＞＞
AIシステム開発サービス概要資料のダウンロードはこちら＞＞
AIシステム開発サービスの詳細はこちら＞＞
AIシステム受託開発
相談だけで発注しなくても構いません。
画像認識RPAの実際の活用事例を3つ紹介
ここまで、画像認識RPAの仕組みや導入を検討すべき企業の特徴について解説してきました。しかし、「理屈は分かったけれど、実際にどう使われているの？」という疑問をお持ちの方も多いでしょう。ここでは、異なる業種・業務で画像認識の技術が活用されている3つの事例を紹介します。
- 【帳票処理】特別定額給付金の申請処理
- 【システム操作】レガシーシステムの自動入力
- 【検品・監視】食品原料の不良品検知
【帳票処理】特別定額給付金の申請処理｜奄美市役所
自治体における大量の紙書類処理に、画像認識技術が活用された事例です。鹿児島県の奄美市役所では、特別定額給付金の申請処理にAI-OCR（AIを活用した光学文字認識）とRPAを組み合わせた仕組みを導入しました。
具体的な流れはこのようになっています。まず、市民から届いた手書きの申請書をスキャナで読み取り、AI-OCRが氏名や口座番号といった手書き文字をテキストデータに変換します。次に、RPAがそのテキストデータを住民基本台帳システムへ自動で転記・照合するという二段階の仕組みです。
この自動化によって、職員が一件ずつ手入力していた作業が大幅に効率化され、1日最大4,000件の処理を実現。給付金の迅速な支給につながりました。
手書き文字の読み取りという、従来は人の目に頼らざるを得なかった工程を画像認識技術が担うことで、正確性とスピードの両立に成功した好例といえます。
参考：WinActor®導入事例・自治体編【鹿児島県奄美市役所】高精度なAI-OCRサービスとWinActorの連携により特別定額給付金の支給を最短4日で実現 | WinActor NTTデータ
【システム操作】レガシーシステムの自動入力｜日野興業株式会社
「古いシステムを使い続けているが、API連携ができないため手作業が減らせない」。こうした悩みを、画像認識RPAで解決した事例もあります。
仮設トイレのレンタル事業などを手がける日野興業株式会社では、自社開発の業務システムへのデータ入力を画像認識RPAで自動化しました。
この企業が使っていた業務システムは、外部からデータを自動連携するためのAPIが用意されていないタイプのもの。従来は、Excelに入力された注文データを、担当者が一件ずつ手動でシステムに転記していました。
導入した画像認識RPA（RoboTANGO）は、画面上に表示された入力フォームや登録ボタンを画像マッチングで特定し、人間と同じようにクリック・入力を行う仕組みです。システムの内部構造に手を加える必要がないため、既存環境をそのまま活かしながら自動化を実現できた点がポイントといえるでしょう。
結果として、9拠点合計で月間170時間の工数削減を達成しました。APIが使えない古いシステムであっても、「画面の見た目」を頼りに操作することで自動化が可能になるという、画像認識RPAならではの強みが発揮された事例です。
参考：RPA活用でシステム間のデータ連携や転記などの単純作業を自動化し、会社全体で月170時間の作業工数削減を実現
【検品・監視】食品原料の不良品検知｜キユーピー株式会社
画像認識技術の応用範囲は、パソコン上の作業だけにとどまりません。製造ラインでの検品・監視にも活用が広がっています。
キユーピー株式会社では、ベビーフード用のカット野菜の選別作業に、ディープラーニング（大量のデータをもとにAIが自ら学習する技術）を用いた画像認識システムを導入しました。
従来、変色した野菜や異物の除去は熟練の作業員が目視で行っていましたが、長時間の集中を要するうえ、見逃しのリスクも完全にはゼロにできないという課題がありました。
導入後の仕組みはシンプルながら強力です。ベルトコンベアを流れる野菜をカメラで高速撮影し、画像認識AIが「良品」と「不良品」を瞬時に判別します。不良品と判断された場合、連動するエアジェット（圧縮空気で対象を弾く装置）が自動的に作動し、不良品だけをラインから取り除くという流れになっています。
この導入によって、1日あたりの検査量は2倍以上に増加し、ヒューマンエラーによる見逃しも解消。食品安全のレベルを大幅に引き上げることに成功しました。
参考：キユーピー + ブレインパッド + Google の取り組みで次世代の AI 検査装置を実現
失敗しないために知っておくべき自動化の限界
画像認識RPAは非常に便利な技術ですが、万能ではありません。導入してから「思ったほど使えなかった」と後悔しないためには、あらかじめ苦手な領域や運用上の注意点を把握しておくことが重要です。
ここでは、導入前に必ず知っておきたい4つの限界について解説します。
- 手書き文字が多い複雑な申請書は精度70%未満になるケースも
- リアルタイム性が求められる業務は不向き
- 頻繁に業務フローが変わる作業は運用コストが増大する
- 人間の判断が絶対に必要な場面も存在する
手書き文字が多い複雑な申請書は精度70%未満になるケースも
前章の活用事例で紹介したとおり、AI-OCRと組み合わせることで手書き文字の読み取りも可能にはなります。しかし、すべての手書き文字を正確に認識できるわけではありません。
とくに精度が落ちやすいのは、崩し字や極端に小さい文字で書かれた書類、記入欄の枠線と文字が重なっている申請書、そして複数の言語（日本語・英語・数字）が混在するフォームなどです。
こうした条件が重なると、文字認識の精度が70%を下回ることも珍しくありません。精度70%とは、10文字中3文字が誤認識される計算であり、金額や口座番号のように1文字のミスも許されないデータでは、結局、人の目による確認作業が不可欠になります。
画像認識RPAの導入を検討する際は、「読み取り対象の書類がどの程度きれいに記入されているか」を事前に確認しておくことをおすすめします。活字が中心の帳票であれば高い精度が期待できますが、手書き中心の複雑な書類が多い場合は、自動化できる範囲を現実的に見積もっておくことが大切です。
リアルタイム性が求められる業務は不向き
画像認識RPAは、画面全体をスキャンして登録画像と照合するという処理を行うため、座標認識やオブジェクト認識と比べると動作に時間がかかる傾向があります。通常の事務作業であれば問題にならない程度の差ですが、ミリ秒（1,000分の1秒）単位の応答速度が求められるような業務には適していません。
たとえば、株式の高速取引システムや、工場のラインで高速に流れる製品を1つずつリアルタイムで判定するような場面では、画像認識RPAの処理速度がボトルネック（足を引っ張る要因）になってしまう可能性があります。
また、画像認識は画面の解像度や表示状態に処理速度が左右されるという特性も持っています。画面上の情報量が多いほどスキャンに時間がかかるため、大量のデータがリアルタイムで更新され続けるダッシュボード画面などでは、処理が追いつかないケースも考えられるでしょう。
「数秒の遅れが許容される定型業務」であれば画像認識RPAは十分に力を発揮しますが、即時性が最優先の業務には別のアプローチを検討するほうが賢明です。
頻繁に業務フローが変わる作業は運用コストが増大する
画像認識RPAは画面レイアウトの多少の変化には強いものの、業務フローそのものが頻繁に変わる環境では運用の負担が大きくなります。
たとえば、操作手順が月に何度も変更されるような業務の場合、そのたびにロボットのシナリオ（操作手順の設定）を修正し、登録画像を差し替え、テストを行う必要が出てきます。変更頻度が高ければ高いほど、この修正作業にかかる時間と人手が積み重なり、結果的に「手作業のままのほうが早かった」という本末転倒な状況に陥るリスクも否定できません。
さらに、画像認識ならではの注意点として、操作対象の見た目が大きく変わった場合には画像の再登録が必要になる点も挙げられます。ボタンのデザインが一新されたり、使用するシステムのUIが全面リニューアルされたりした場合は、既存の登録画像がすべて使えなくなる可能性もあるため、変更の規模によっては修正にかなりの工数がかかってしまうことも。
画像認識RPAの導入効果を最大化するには、「業務フローが比較的安定している定型作業」を自動化の対象に選ぶことがポイントです。
人間の判断が絶対に必要な場面も存在する
RPAはあくまで「あらかじめ決められたルールに従って操作を自動実行するツール」であり、状況に応じた柔軟な判断はできません。これは画像認識RPAであっても同様です。
たとえば、クレーム対応の内容を読み取って適切な対応方針を決める、契約書の条項を解釈してリスクを評価する、といった業務には、文脈の理解や経験にもとづく判断が求められます。
画像認識RPAが得意とするのは「画面上のこの画像を見つけたら、この操作をする」という明確なルールにもとづく処理であり、ケースバイケースの意思決定を委ねることはできません。
また、例外処理への対応にも限界があります。想定外のエラーメッセージが表示された場合や、通常とは異なるパターンのデータが入力された場合、ロボットは処理を停止するか、誤った操作を続けてしまうおそれも。こうした「判断が必要な分岐点」には、人間が介在する仕組みをあらかじめ設計しておくことが欠かせません。
画像認識RPAを最大限に活かすコツは、「ロボットに任せる作業」と「人間が判断する作業」の境界線を明確に引いておくことです。
すべてを自動化しようとするのではなく、定型的な部分をロボットに任せ、判断が必要な部分に人間が集中できる体制を作ることが、導入を成功させる鍵になるでしょう。
画像認識AIならニューラルオプト
ここまで解説してきたとおり、画像認識RPAは業務効率化の強力な手段ですが、導入効果を最大限に引き出すには、自社の業務課題に合った技術選定や運用設計が欠かせません。
「画像認識RPAが自社に合うのか分からない」「AI-OCRとの組み合わせも含めて検討したい」という方は、AI開発の専門企業に相談するのが近道です。
株式会社ニューラルオプトは、ChatGPTの日本展開にも携わるAI開発企業であり、画像認識AI分野でも豊富な実績を持っています。
弊社の最大の特徴は、単なる開発の受託ではなく、課題の整理・提案から対応できる点です。「失敗リスクを最小化する」というコンセプトのもと、業務課題の洗い出し、最適な技術の選定、開発、そして組織への定着支援まで一貫したサポートを提供しています。
「画像認識RPAだけで解決できるのか、それともAI-OCRや他の技術を組み合わせるべきか」といった判断も含めて相談できるため、技術選定の段階から不安を抱えている方にも心強いパートナーになるでしょう。
画像認識を活用した業務自動化に少しでも関心がある方は、まずはニューラルオプトに相談してみてはいかがでしょうか。
