ヤフオクストアへの出品を支援するiPhoneアプリ「しゅっぴんこ」を v1.3 にアップデートしました。今回の目玉は、商品写真に写っている文字やJANコードから商品を検索し、タイトル・ストア内検索キーワード・カテゴリの入力をまとめて支援する「AI入力支援(ベータ)」です。あわせて、JANコード読み取り画面の改善や、撮影後の処理速度の見直しも行っています。

この記事では、AI入力支援(ベータ)で実際に何ができるのか、あえて「ベータ」として公開した理由、そしてJANコード読み取りやOCR辞書まわりの細かな改善点まで、実装時に考えたことを交えて紹介します。

しゅっぴんこ アップデート v1.3 告知バナー

目次

「しゅっぴんこ」とは

「しゅっぴんこ」は、ヤフオクストアを運営する方向けの出品支援アプリです。商品撮影からデータ整理、CSV書き出しまでをiPhoneで進められるようにし、これまでPCの前で行っていた商品情報の整理や画像管理の負担を減らします。テンプレート管理やカテゴリ推論、OCRによる入力支援など、「同じ作業の繰り返し」を減らすための機能を中心に開発してきました。

v1.3で追加した「AI入力支援(ベータ)」

v1.3の一番の追加要素は、「AI入力支援(ベータ)」です。商品写真に写っている文字やJANコードから商品を検索し、次の3項目をまとめて入力できるようになりました。

  • タイトル
  • ストア内検索キーワード
  • カテゴリ

これまでも、しゅっぴんこにはOCRで撮影画像から文字を読み取る機能や、入力履歴からカテゴリを推論する機能がありましたが、それぞれ個別に使う場面が中心でした。AI入力支援は、その先の「タイトル・検索キーワード・カテゴリをまとめて埋める」ところまでを一度に支援します。

そのほか、今回のアップデートではJANコード読み取り画面の改善、OCR辞書の補正候補表示の改善、撮影後の処理速度の改善も行っています。これらは後半で詳しく説明します。

AI入力支援の使い方(操作の流れ)

使い方はシンプルです。商品写真を撮影したあと、入力画面に表示される「AIで入力する」をタップします。すると、写真から読み取った文字やJANコードをもとに商品を検索し、候補が表示されます。表示された商品を確認してから実行すると、タイトル・ストア内検索キーワード・カテゴリへまとめて反映される流れです。

操作の順序を整理すると、次のようになります。

  1. 商品写真を撮影する
  2. 写真内の文字をOCRで読み取る
  3. JANコードや文字情報から商品を検索する
  4. 商品候補を確認する
  5. 「AIで入力する」を実行する
  6. タイトル・検索キーワード・カテゴリへ反映される

ポイントは、写真を撮っただけで自動的に入力が始まるわけではなく、ユーザーが「AIで入力する」を押した時だけ実行されることです。この設計にした理由は、後述の「AIに全部任せず、入力を楽にするための機能という考え方」で説明します。

JANコードの有無で商品特定の方法を切り替え

AI入力支援は、商品ごとの状況に応じて商品特定の方法を切り替えています。JANコードが入力済み、または写真などからJANコードを取得できた場合は、商品特定にJANコードを利用します。JANコードのない商品については、写真から読み取った文字情報を使って商品を検索します。

どちらの経路を通っても、最終的にユーザーが商品候補を確認してから反映する流れは変わりません。JANコードがあるほうが特定の精度は安定しやすいものの、JANコードが読み取れない・記載がない商品でも、AI入力支援自体は使える設計にしています。

なぜ「ベータ」なのか

ここは率直に書いておきます。AI入力支援は便利になったものの、現段階では「何でも自動で完璧に入力できる」というものではありません。商品によっては、検索候補から商品を選び直す必要があったり、そもそも商品をうまく特定できなかったり、生成されたタイトルなどを手直しした方がよい場合もあります。

そのため今回は、あえて「AI入力支援(ベータ)」として公開しました。個人的にも、まだ完成形というよりは、これから実際に使いながら育てていく機能という感覚です。生成された内容は確認・編集したうえで利用してもらうことを前提にしています。

AIに全部任せず、入力を楽にするための機能という考え方

今回の機能を作るうえで意識したのは、完全自動出品を目指すのではなく、「人が入力する作業を少し減らす」ことです。AIが勝手に出品内容を確定するのではなく、商品を確認し、候補を生成し、ユーザーが確認・修正するという順番を崩さないようにしました。

特にカテゴリのように、間違えると後の管理に響きやすい項目については、安全側に倒した設計にしています。これは、しゅっぴんこの既存機能である「カテゴリ推論」が、AIによる決定ではなくあくまで提案にとどめているのと同じ考え方です。今回のAI入力支援でも、タイトル・検索キーワード・カテゴリのいずれも、反映後にユーザーが手直しできることを前提にしています。

AI入力支援で反映される内容は、あくまで下書きとしての候補です。特にカテゴリなど、誤りがあとの管理や出品作業に影響しやすい項目は、反映後に必ず内容を確認してから登録することをおすすめします。

JANコード読み取り画面に読み取り枠を追加

JANコードをカメラで読み取る画面も改善しました。これまではカメラ画面全体が読み取り対象になっていましたが、今回から画面内に読み取り枠を表示するようにしています。基本的な操作は「枠の中に読み取りたいバーコードを合わせる」という形に変わりました。

複数のバーコードが近くに並んでいる商品タグなどでも、以前より狙ったコードを読み取りやすくなっています。

OCR辞書の補正候補の表示順を改善

しゅっぴんこには、OCRでよく誤認識される文字などを登録できる「OCR辞書」機能があります。今回、このユーザー辞書による補正候補の表示も改善しました。「画像から文字を入力」を開いたとき、これまでとは順番を変え、OCR辞書の補正候補 → OCRで読み取ったテキスト一覧の順で表示するようにしています。

例えば、OCRの読み取り結果が「ポケツトリファレンス」で、OCR辞書に「ポケットリファレンス」を登録していた場合、辞書に登録した正しい文字列を候補として上位から選べるようになりました。また、OCR結果と辞書の文字列が完全に一致している場合でも、登録済みの辞書候補として表示されるように改善しています。

撮影後の処理を軽量化

今回、機能追加だけでなく、写真撮影後の内部処理も見直しました。これまでは撮影直後に、アプリが内部に持っている大規模なOCR辞書との照合処理が走っており、撮影画面を閉じる際に少し待たされる場合がありました。調査したところ、現在の主要な自動入力処理ではこの大規模な辞書照合を必要としていなかったため、この処理を撤去しています。

現在は、写真のOCR・JANコード取得・商品検索の準備など、必要な処理を中心に実行する形にしたことで、撮影後の画面操作も以前より軽くなりました。

削除したのは、アプリ内部に持っていた大規模な内蔵辞書との自動照合処理です。設定画面からユーザー自身が登録する「OCR辞書」は、これまで通り利用できます。ユーザー辞書だけを軽量に照合し、OCRの補正候補として表示する仕組みに変更しました。なお、この辞書データの持ち方や検索方法については、今後さらに最適化していく予定です。

AI入力支援は今後も改善予定

今回でAI入力支援の土台はできましたが、まだ改善したい部分は多くあります。現時点で検討している候補は次の通りです。

  • 商品を特定できない場合でも、OCRの結果だけからタイトルを生成する
  • 商品種別ごとの認識精度の改善
  • 商品検索候補の改善
  • タイトル生成・検索キーワード生成の精度改善
  • カテゴリ判定精度の改善
  • OCR辞書のデータ構造・検索方式の最適化

まずは「ベータ」として実際に使える状態で公開し、今後のアップデートで少しずつ育てていく予定です。

まとめ:しゅっぴんこ v1.3の変更点

しゅっぴんこ v1.3では、主に以下の変更を行いました。

  • 「AI入力支援(ベータ)」を追加。写真の文字やJANコードから商品を特定し、タイトル・検索キーワード・カテゴリの入力を支援
  • JANコードの有無に応じて商品特定の方法を切り替え
  • AIは「提案」までを担当し、最終確認・修正はユーザーが行う設計
  • JANコード読み取り画面に読み取り枠を追加
  • OCR辞書の補正候補の表示順を改善(辞書候補を優先表示)
  • 大規模な内蔵辞書照合を撤去し、撮影後の処理を軽量化(ユーザー辞書は維持)

AI入力支援については、まだ完成形とは思っていません。ただ、これまで手入力していた部分を減らせる土台としては、かなり形になってきました。今後も実際に使いながら改善していく予定です。

感想や要望を教えてください

AI入力支援(ベータ)を使ってみた感想や、「こういう商品もうまく特定してほしい」といったご要望があれば、XのDMで気軽に教えてください。

アプリの詳しい機能や対応機種については、以下のアプリ詳細ページをご覧ください。

しゅっぴんこ アプリ詳細ページ