명세서 사진 인식, 세부 항목 분류 정확도 궁금합니다.

---

최근 개인 가계부 앱들 기능이 많이 좋아져서, 카드 명세서 사진만 찍어 넣으면 알아서 지출 내역을 정리해 준다는 걸 봤습니다.

원래는 이걸 하나하나 수기로 입력하거나, 영수증 사진 찍어서 분류하는 과정이 번거로웠는데, 이 자동화 기능이 핵심이잖아요.

다만 제가 궁금한 건, 단순히 '식비' 같은 큰 카테고리 분류를 넘어, 영수증에 적힌 '세부 항목' 수준까지 정확하게 인식해서 분류가 가능한지 여부입니다.

예를 들어, 마트 영수증에서 '생필품', '과일 코너', '가전 잡화' 같은 좀 더 디테일한 분류가 가능한 수준인지, 아니면 어느 정도의 오분류는 감안해야 할지 경험자 의견이 필요합니다.

안녕하세요.
가계부 자동화 기능 때문에 고민이 많으신 것 같네요.
저도 비슷한 경험으로 여러 앱 써보면서 느낀 점들 위주로 말씀드릴게요.
일단 결론부터 말씀드리면, '원하는 수준의 세부 분류'가 가능한지 여부는 사용하는 앱의 기술력 수준과, 영수증 자체의 형태에 따라 편차가 엄청 크다고 보셔야 해요.
'이거면 완벽하다!'라고 단정하기는 어려워서, 몇 가지 시나리오별로 나누어서 설명드릴게요.
--- ### 1.
'세부 항목 분류'의 현실적 수준 이해하기 질문자님이 원하시는 '생필품', '과일 코너', '가전 잡화' 같은 수준의 분류는, 사실 일반적인 가계부 앱들이 기본적으로 제공하는 범위를 넘어서는 영역에 가깝습니다.
대부분의 앱들은 **'거래처(가게 이름) 기반의 큰 카테고리 분류'**에 초점을 맞추고 있어요.
현재 일반적인 수준 (대부분의 앱): * 레벨 1 (매우 높음): 금액, 날짜, 거래처명 인식 (OCR 기술력) * 레벨 2 (보통): 거래처명 기반 카테고리 자동 지정 (예: '스타벅스' → '카페/음료', '이마트' → '식료품') * 레벨 3 (도전적): 세부 품목 분류 (질문자님이 원하시는 수준) 왜 어려운가? OCR 기술이 아무리 좋아져도, 영수증은 '텍스트 덩어리'일 뿐, 그 텍스트가 가진 '맥락적 의미(Contextual Meaning)'까지는 100% 파악하기 어렵습니다.
예를 들어, '이마트' 영수증에 '사과 1kg', '세제 1개', '샴푸 1개'가 적혀있다고 칩시다.
앱은 '사과'는 '과일', '세제'와 '샴푸'는 '생활용품'이라고 묶을 수는 있지만, 이걸 '과일 코너' vs '생활용품 코너'로 구분하는 건, 그 영수증을 찍은 사람이 '무엇을 사기 위해 방문했는지'에 대한 추가 정보가 필요해요.
--- ### 2.
상황별 예상 정확도 및 실사용 팁 A.
대형마트/백화점 영수증 (가장 까다로운 경우) * 예상 정확도: ️️️ (3/5점, 기본 정보는 잘 잡음) * 실제 경험: 상품명 자체를 읽어내기는 어려워요.
'상품명'이 너무 길고, 품목 코드가 복잡하게 나열되는 경우가 많습니다.

• 꿀팁: 이런 영수증은 앱의 자동 분류 기능에 너무 의존하지 마시고, 최초 1~2번 수동으로 '분류 예시'를 잡아주는 것이 중요합니다.
• 예시: '이마트' 영수증을 찍고, 앱이 '식료품'으로 분류함.
  → 질문자님이 '여기는 주로 생필품을 사서 생활용품으로 분류해야겠다'라고 수정해주는 행위.
• 이 '수정' 과정이 앱 학습에 반영되어 다음번에 비슷한 종류의 영수증을 찍을 때 정확도가 올라갑니다.
  (이게 가장 중요해요.) B.
  전문점/단일 매장 영수증 (가장 쉬운 경우) * 예상 정확도: ️️️️️ (5/5점, 매우 정확함) * 실제 경험: 예를 들어, '동네 꽃집' 영수증이라면, '꽃', '화분', '액세서리' 정도의 분류는 명확하게 떨어집니다.
• 팁: 거래처명이 명확하고, 판매 품목이 한 가지 카테고리로 묶여 있을수록 자동 분류 정확도가 높아집니다.
  C.
  온라인 쇼핑몰 결제 내역 (카드사/앱 연동 시) * 예상 정확도: ️️️️ (4/5점, 매우 편리함) * 실제 경험: 이건 영수증 사진이라기보다는 '거래 승인 내역'에 가깝기 때문에, 앱들이 카드사 API나 간편 인증을 통해 거래처명과 기본 카테고리(예: 쿠팡 → 쇼핑/잡화)를 잘 가져옵니다.
• 주의점: 여기도 '생활용품' 안에 '건강 보조제'가 들어갔다면, 앱이 그냥 '잡화'로 뭉뚱그릴 수 있어요.
  --- ### 3.
  오분류 최소화 및 효율화 전략 (필수 체크) 질문자님처럼 디테일을 추구하는 분들은 '자동화'와 '수정/보완'의 비율을 잘 맞추는 게 핵심입니다.

초기 설정/학습 데이터 구축이 핵심입니다: * 새로운 앱을 쓰거나, 평소에 잘 안 찍던 곳의 영수증을 찍었을 때, 첫 번째 오분류가 발생했을 때 절대 그냥 넘기지 마세요. * "이건 분명히 '미용용품'이야"라고 수동으로 수정하고 저장하는 과정이, 앱의 학습 데이터가 됩니다.
이 과정을 반복해야 '세부 분류'가 가능해집니다.
2.
카테고리 체계를 나만의 기준으로 재정립하세요: * 앱이 제공하는 카테고리(예: '잡화')가 너무 광범위하다면, 앱 자체의 기능을 활용하거나, 앱 내에서 '사용자 정의 카테고리'를 만들 수 있는지 확인해 보세요.

• 예: '식료품' (기본) $\rightarrow$ '생필품' (세부) $\rightarrow$ '주방용품' (초세부) 와 같이 나만의 계층 구조를 만들어 넣는 것이, 앱의 자동 분류보다 훨씬 정확합니다.

사진 품질과 구도에 신경 쓰세요 (OCR 관점): * 영수증을 찍을 때는 빛 반사를 최소화하고, 영수증 전체가 그림자 없이 선명하게 나오도록 평평한 곳에 두고 찍는 게 중요합니다.

• 접혀 있거나, 글자가 겹쳐 보이는 부분은 아예 사진 찍지 않는 게 나아요.
  --- ### 요약 정리 (나의 체크리스트) | 목표 분류 레벨 | 가능한가?
  | 성공 조건 | 주의할 점 | | :--- | :--- | :--- | :--- | | 큰 카테고리 (식비, 교통비 등) | (높음) | 거래처명/카드사 연동이 잘 될 때 | 주기적인 수동 검토 필요 | | 중간 카테고리 (과일, 세제, 옷 등) | (보통) | 해당 카테고리 내 품목이 명확할 때 | 마트처럼 복합 구매 시 혼재 가능성 높음 | | 세부 품목 (생필품, 가전잡화 등) | (조건부) | 사용자가 수동으로 '규칙'을 학습시켜야 함 | 앱 자체 기능만으로는 한계가 있음 | 결론적으로, 현재 시장의 기술 수준은 '어느 정도의 정확도'를 **'꾸준한 사용자와 사용자의 개입'**을 통해 끌어올리는 단계에 있다고 보시면 됩니다.
  완벽한 'AI가 알아서 완벽하게'는 아직 어렵고, '초안을 잡아주고 나머지는 내가 다듬는다'는 관점으로 접근하시는 게 스트레스 덜 받고 오래 쓰실 수 있을 거예요.
  혹시 사용하시는 앱 이름 같은 거 아시면, 그 앱의 특징 위주로 좀 더 구체적으로 찾아봐 드릴 수도 있어요.
  궁금한 점 또 있으시면 편하게 다시 질문해주세요!