DevOn

Java/Spring 기반 통합 개발 프레임워크

DevOn logo
Tech Blog 목록으로
Featured

DevOn Enterprise 배치 기능 소개

온라인 처리와 배치의 차이를 짚고, DevOn Enterprise가 JOB·STEP과 Reader–Worker–Writer 기반의 표준 배치 실행 구조, 그리고 운영관리 도구의 구성·이력 관리 기능을 어떻게 제공하는지 정리합니다.

|DevOn솔루션팀
techbatchjob-stepreader-worker-writerdevon-enterpriseoperations

DevOn Enterprise 배치 기능 소개

매일 업무가 끝난 뒤, 하루 동안 쌓인 거래 데이터를 집계하고 외부 기관에 전달할 정산 파일을 만들어야 한다고 가정해 보겠습니다.

이 업무는 누적된 거래 데이터를 업무 기준에 따라 검증하고 계산한 뒤, 정해진 순서와 마감 시간 안에 전체 처리를 완료해야 합니다. 오류가 발생했을 때는 어느 단계까지 처리되었는지와 문제의 원인도 확인할 수 있어야 합니다. 하지만 개별 요청에 대한 응답을 중심으로 하는 온라인 처리만으로는 여러 단계의 업무를 하나의 흐름으로 묶고 처리 과정과 결과를 일관되게 관리하기 어렵습니다.

이처럼 개별 요청보다 전체 작업의 흐름과 결과를 함께 관리해야 하는 업무에는 배치(Batch)가 활용됩니다. 배치는 반복되거나 여러 건의 데이터를 다루는 업무를 작업 단위로 구성해 사전에 정의한 흐름에 따라 실행하는 처리 방식입니다. 대량 데이터 처리에 자주 활용되지만, 데이터 양 자체보다 반복 가능한 작업 흐름과 실행 결과를 일관된 기준으로 관리한다는 점이 핵심입니다.

1. 온라인 처리와 배치, 무엇이 다를까?

온라인 처리는 사용자나 외부 시스템의 개별 요청을 중심으로 거래를 처리하는 방식이며, 사용자가 계좌를 조회하거나 단건 이체를 요청하는 경우가 대표적입니다.

반면 배치는 사전에 정의한 작업 흐름에 따라 업무를 처리하며, 개별 요청의 응답보다 전체 작업의 완료와 정합성, 처리량 관리가 중요한 업무에 적합합니다.

모든 대량 업무를 배치로 만들어야 하는 것은 아닙니다. 요청에 즉시 응답해야 하는지, 정해진 시점에 반복되는 업무인지, 처리량이 집중되는 구간이 있는지, 재실행과 이력 추적이 필요한지 등을 종합적으로 고려해야 합니다.

판단 기준 온라인 처리 배치 처리
실행 계기 사용자 또는 시스템의 요청 정해진 시간 또는 업무 요청
처리 단위 거래·요청 단위 사전에 정의된 작업 단위(필요 시 다수 데이터 포함)
주요 목표 개별 거래의 처리와 결과 전달 전체 작업의 완료·정합성·처리 효율
대표 업무 계좌 조회, 단건 이체, 개별 승인 일 마감, 정산, 대사, 통계, 파일 연계

2. 배치 프로그램이 복잡해지는 이유

데이터 조회와 반복문만으로도 간단한 배치 프로그램을 만들 수 있습니다. 그러나 배치 업무의 유형과 처리 요건이 다양해지면, 개발자는 업무 로직뿐 아니라 입출력 데이터의 종류, 처리 순서, 커밋 단위, 오류 처리 방식까지 함께 설계해야 합니다. 파일과 DB를 함께 사용하거나 여러 처리 단계가 연결될수록 프로그램 구조가 복잡해지고 개발과 테스트에서 고려해야 할 조건도 많아집니다.

이때 업무 데이터와 처리 로직은 각기 달라도, 입출력과 트랜잭션, 오류 처리 등 반복적으로 필요한 영역에는 일관된 개발 기준이 필요합니다. 이러한 공통 영역을 프로그램마다 별도로 구성하면 개발자는 작업마다 다른 구조와 설정을 파악해야 하며, 기능을 추가하거나 변경할 때 살펴봐야 할 범위도 넓어집니다.

이러한 복잡성은 개발 단계에서 끝나지 않습니다. 운영 단계에서는 작업의 시작·진행·종료 상태와 오류 발생 단계를 확인해야 합니다. 작업마다 상태와 이력을 기록하는 방식이 다르면 여러 배치를 동일한 기준으로 관리하기 어렵습니다.

따라서 배치 시스템에는 공통 개발 구조와 함께 작업 구성과 실행 정책, 이력 저장, 오류 확인을 아우르는 운영 기반도 필요합니다.

DevOn Enterprise는 이러한 개발·운영 요구 사항을 일관된 방식으로 처리할 수 있도록 표준화된 배치 실행 구조와 운영 기반을 제공합니다.

3. DevOn Enterprise 배치의 기본 구조

Java 플랫폼의 배치 처리 모델은 배치 애플리케이션 표준 규격인 JSR-352를 통해 Job과 Step, Chunk와 Batchlet 등을 중심으로 표준화되어 있습니다.

DevOn Enterprise 배치도 하나의 업무를 JOB으로 정의하고, JOB을 구성하는 처리 단계를 STEP으로 나눕니다. 하나의 JOB은 하나 이상의 STEP으로 구성되며, 여러 STEP을 사용하는 경우 STEP 간 의존 관계를 통해 실행 순서를 정의할 수 있습니다. 또한 JSR-352의 Chunk와 Batchlet 처리 개념에 각각 대응하는 Iterable Worker와 Custom Worker 방식을 제공합니다.

DevOn Enterprise 배치 아키텍처

DevOn Enterprise 배치 아키텍처

위 아키텍처는 실행 요청부터 업무 처리, 실행 정보 저장까지의 흐름을 보여줍니다.

  • 실행 요청: 스케줄러·운영 도구와 Shell, On-Demand 요청이 JOB ID와 실행 일자, 파라미터를 배치 실행자에게 전달합니다.
  • 작업 실행: 배치 실행자는 실행 가능 여부를 확인하고, 정의된 순서에 따라 JOB과 STEP을 실행합니다.
  • 정보 관리: JOB·STEP 구성과 파일·DB 입출력 정보는 Repository에서 조회되어 배치 실행에 활용됩니다. 실행 파라미터와 단계 간 공유 정보는 Context를 통해 전달되며, 실행 과정에서 생성된 JOB·STEP 실행 정보는 Repository에 저장되어 상태와 이력 조회에 활용됩니다.

하나의 JOB에 여러 STEP을 구성하는 Multi Step 구조에서는 STEP 간 의존 관계를 바탕으로 실행 순서와 분기 흐름을 정의할 수 있습니다. 선행 조건을 충족한 여러 STEP은 병렬로 실행할 수 있어, 업무 특성에 맞는 처리 흐름을 구성할 수 있습니다.

Multi Step: 순차 실행과 의존 관계 기반 병렬·후속 실행 구조

Multi Step: 순차 실행과 의존 관계 기반 병렬·후속 실행 구조

입출력 데이터를 반복 처리하는 STEP은 일반적으로 Reader–Worker–Writer 구조로 처리됩니다. Reader는 DB나 파일에서 입력 데이터를 읽고, Worker는 검증·변환·계산과 같은 업무 로직을 수행하며, Writer는 처리 결과를 DB나 파일에 기록합니다. 입력, 업무 로직, 출력을 분리함으로써 개발자는 업무 규칙에 집중하고 공통 처리 방식은 일관되게 적용할 수 있습니다.

Worker 실행 방식 가운데 Iterable Worker는 Reader가 읽은 데이터를 프레임워크가 Worker에 반복적으로 전달하는 방식입니다. Custom Worker는 STEP 실행 시 한 번 호출되며, 필요한 경우 Reader와 Writer를 활용하면서 개발자가 작업 전체의 흐름을 직접 구성할 수 있습니다.

이러한 배치 구조를 사용하면 정해진 시간에 실행하는 작업과 운영자 또는 사용자의 요청으로 시작하는 작업을 동일한 흐름으로 처리할 수 있습니다. 또한 복잡한 업무를 의미 있는 단계로 나누고, 각 단계의 실행 상태와 결과를 운영 정보로 남길 수 있습니다.

4. 업무 특성에 맞게 배치 구성하기

업무 데이터의 형태와 배치의 실행 목적은 다양합니다. 어떤 작업은 DB에서 읽어 다른 테이블에 저장하고, 어떤 작업은 수신 파일을 검증해 DB에 반영하거나 처리 결과를 파일로 전달합니다. 따라서 입출력 데이터, 실행 계기, 처리 규모, 실행 정책 등을 함께 고려해 구성 방식을 선택해야 합니다.

구성 기준 지원 방식 활용 예
입출력 데이터 DB 및 SAM·CSV·TXT·RAW 등 다양한 Reader·Writer DB 집계, 수신 파일 반영, 결과 파일 생성
파일 구조 파일 유형·인코딩·구분자 설정과 I/O Spec 연계 고정 길이 SAM 파일의 필드 구조 매핑
실행 계기 Shell·엔터프라이즈 스케줄러 연계, On-Demand 일 마감, 정기 작업, 업무 요청에 따른 실행
처리 단위 처리 건수에 따른 커밋 단위 설정 대량 DB 반영 시 일정 건수 단위로 커밋
실행 제어 JOB 실행 가능 여부, 중복·동시 실행 정책 동일 작업의 중복 실행 방지와 동시 실행 정책 관리
처리 방식 순차 처리, 멀티스레드 병렬 실행, Partition 기반 분할 처리 데이터 규모와 업무 특성에 따른 처리 방식 선택

DevOn Enterprise는 업무별 입출력 데이터와 실행 방식이 달라져도 배치 업무를 JOB과 STEP이라는 공통 구조로 구성할 수 있도록 지원합니다.

특히 SAM 파일처럼 필드 구조의 정의가 필요한 경우에는 I/O Spec(입출력 데이터 구조)을 등록하고 배치 파일 정보와 연결할 수 있습니다. Reader와 Writer는 연결된 스펙을 기준으로 파일 데이터를 읽고 쓰므로, 파일 구조를 코드마다 별도로 구현하지 않고 공통 정의로 관리할 수 있습니다.

입출력 구조를 일관되게 관리하는 한편, 데이터 처리 방식도 규모와 업무 특성에 맞춰 선택할 수 있습니다. 순차 처리를 적용하거나, 필요한 경우 멀티스레드 또는 Partition 방식을 활용해 작업을 여러 실행 단위로 구성할 수 있습니다.

멀티스레드는 하나의 STEP에 정의된 처리 구성을 여러 실행 단위로 확장합니다. Partition은 하나의 STEP 정의를 사전에 나눈 입력 범위에 대응하는 실행 단위로 확장하며, 파일 Partition에서는 각 실행 단위가 서로 다른 분할 파일을 처리합니다.

멀티스레드와 파일 Partition을 활용한 STEP 단위 병렬 실행 구조

멀티스레드와 파일 Partition을 활용한 STEP 단위 병렬 실행 구조

DevOn Enterprise는 파일 Partition 방식뿐만 아니라 DB Partition 처리 기능도 제공합니다. 이를 통해 배치 구성 시 주요 입출력 데이터인 파일과 DB를 각각의 특성에 맞게 분할하여 효율적인 배치 처리가 가능합니다.

이와 함께 데이터 저장 시에는 처리 건수에 따른 커밋 단위를 적용할 수 있으며, JOB별 실행 가능 여부와 중복·동시 실행 정책도 업무에 맞게 설정할 수 있습니다.

5. 배치 프로그램, 개발만 하면 끝일까?

배치 프로그램을 작성했다고 바로 운영할 수 있는 것은 아닙니다. 실제 실행을 위해서는 어떤 JOB을 실행할지, JOB이 어떤 STEP으로 구성되는지, 각 STEP은 어떤 순서와 의존 관계로 동작하는지 정의해야 합니다. 실행 이후에는 현재 상태와 종료 결과, 소요 시간, 오류 정보도 추적할 수 있어야 합니다.

엔터프라이즈 스케줄러는 여러 작업을 언제, 어떤 순서로 실행할지 관리합니다. 반면 DevOn Enterprise 배치는 사전에 등록된 JOB과 STEP 구성 정보를 바탕으로 애플리케이션 내부의 처리 흐름을 구성하고 실행 결과를 기록합니다. 따라서 스케줄러의 실행 제어와 배치 애플리케이션 내부의 구성·운영 정보는 서로 다른 관점에서 관리할 필요가 있습니다.

DevOn Enterprise Management(이하 운영관리 도구)는 DevOn Enterprise 기반 시스템의 거래, 로그, 실행 상태와 주요 설정 정보를 통합적으로 관리하는 웹 기반 도구입니다. 온라인 거래뿐 아니라 연계와 배치 등 다양한 영역의 운영 정보를 한 곳에서 확인할 수 있습니다.

운영관리 도구의 배치 기능은 실행 전 구성과 실행 후 운영 정보를 함께 관리할 수 있도록 지원합니다.

구분 주요 관리 정보
실행 전 구성 JOB 기본 정보와 실행 정책, STEP 구성과 의존 관계, Worker 클래스, 실행 파라미터, 파일·DB 입출력 정보와 파일 I/O Spec 연결
실행 후 운영 JOB·STEP 실행 이력, 작업 상태, 정상·오류 여부, 시작·종료 시간, 소요 시간과 오류 상세 정보

실행 전: JOB·STEP 구성 관리

운영관리 화면의 ‘배치작업관리’ 메뉴에서는 JOB과 해당 JOB에 속한 STEP을 등록하고, STEP의 실행 순서와 의존 관계를 정의할 수 있습니다. 실행 파라미터와 로깅 설정, STEP에서 사용하는 파일과 DB 입출력 정보도 함께 관리할 수 있습니다.

파일 기반 작업의 경우에는 파일 유형과 인코딩, I/O Spec 연결 정보를 설정해 배치 실행에 필요한 구성을 일관된 방식으로 유지할 수 있습니다.

DevOn Enterprise Management의 JOB·STEP 구성 관리 화면

DevOn Enterprise Management의 JOB·STEP 구성 관리 화면

실행 후: 실행 이력과 오류 확인

배치가 실행된 이후에는 JOB과 STEP의 실행 이력을 조회하고 작업 상태와 정상·오류 여부, 시작·종료 시간, 소요 시간 등을 확인할 수 있습니다. 오류가 발생한 경우에는 오류 정보를 바탕으로 어느 작업과 단계에서 문제가 발생했는지 추적할 수 있습니다.

DevOn Enterprise Management의 JOB·STEP 실행 이력 조회와 오류 정보 확인

DevOn Enterprise Management의 JOB·STEP 실행 이력 조회와 오류 정보 확인

운영관리 도구에서는 JOB 이력과 STEP 이력을 함께 조회할 수 있어 전체 작업 결과와 세부 처리 단계의 상태를 연결해 볼 수 있습니다. 이를 통해 스케줄러가 여러 배치 작업의 실행 시점과 순서를 관리하는 동안, 운영관리 도구에서는 배치 애플리케이션 내부의 구성 정보와 실행 결과를 일관된 흐름으로 관리할 수 있습니다.

이러한 구성과 운영 정보는 실제 업무에 맞게 JOB과 STEP을 설계하고 안정적인 실행 흐름을 만드는 기반이 됩니다.

6. 적용 예시: 전일 거래 정산 업무

지금까지 살펴본 DevOn Enterprise의 배치 구조와 운영 방식을 전일 거래 정산 업무에 적용해 보겠습니다. 아래에서는 전체 흐름을 이해하기 쉽도록 대상 거래 조회부터 정산 결과 저장까지를 하나의 STEP으로 단순화했습니다. 먼저 정산 JOB과 STEP, 입출력 정보를 업무에 맞게 구성한 뒤, 스케줄러의 실행 요청부터 데이터 처리와 결과 확인까지 다음과 같이 이어집니다.

DevOn Enterprise 배치를 활용한 전일 거래 정산 처리 흐름

DevOn Enterprise 배치를 활용한 전일 거래 정산 처리 흐름

  1. JOB 실행: 스케줄러가 정해진 시간에 JOB ID와 실행 정보를 전달해 정산 JOB을 실행합니다.
  2. 대상 거래 조회: 정산 STEP의 Reader가 처리 대상 거래 데이터를 DB에서 읽습니다.
  3. 검증·정산: Worker가 필수값과 업무 규칙을 검증하고 정산에 필요한 값을 계산합니다.
  4. 정산 결과 저장: Writer가 검증을 통과한 데이터를 정산 파일이나 결과 테이블에 기록합니다.
  5. 실행 결과 확인: 운영자는 운영관리 도구에서 JOB과 STEP의 종료 상태, 처리 시간, 오류 여부를 확인합니다.

Reader–Worker–Writer로 대상 거래 조회, 검증·정산, 정산 결과 저장의 역할을 나누면 각 구성 요소의 책임과 처리 흐름을 명확하게 구분할 수 있습니다. 실행 결과는 JOB과 STEP 단위로 기록되므로, 오류가 발생한 경우에도 어느 단계에서 문제가 발생했는지 확인할 수 있습니다.

7. 기대 효과와 적용 시 고려사항

이러한 구조를 적용하면 개발과 운영 관점에서 다음과 같은 효과를 기대할 수 있습니다.

관점 기대 효과
개발 JOB·STEP과 Reader–Worker–Writer라는 공통 구조로 역할을 나누고, 입출력 방식이 달라져도 일관된 개발 표준을 적용할 수 있습니다.
운영 JOB·STEP 구성과 실행 정책을 일관된 기준으로 관리하고, 실행 후에는 상태와 처리 시간, 오류 정보를 확인해 전체 작업과 세부 단계를 연계해 추적할 수 있습니다.

실제 적용 시에는 다음 기준을 업무 특성에 맞게 정리하는 것이 좋습니다.

  • 업무 흐름과 실행 시점을 반영한 JOB·STEP 구성과 실행 순서
  • 입출력 데이터의 특성과 처리 규모, 시스템 자원을 고려한 커밋 단위와 실행 방식
  • 운영 단계에서 확인할 실행 상태와 오류 정보, 필요 시 재실행 기준

이러한 기준을 미리 정리하면 개발 단계의 구성부터 운영 단계의 실행 결과 확인까지 일관된 절차로 관리할 수 있습니다.

8. 마무리

배치의 역할은 프로그램을 정해진 시간에 실행하는 데 그치지 않습니다. 반복되는 업무를 예측 가능한 흐름으로 구성하고, 처리 과정과 결과를 추적할 수 있어야 개발과 운영 전반의 안정성을 높일 수 있습니다.

DevOn Enterprise는 JOB·STEP과 Reader–Worker–Writer 기반의 공통 개발 구조를 제공하며, 운영관리 도구에서는 실행 전 구성 정보와 실행 후 이력·오류 정보를 함께 관리할 수 있습니다. 이를 통해 개발자는 업무 로직에 집중하고, 운영자는 배치 구성과 처리 상태를 체계적으로 확인할 수 있습니다.

배치 업무를 새로 개발하거나 기존 운영 체계를 개선할 때는 개발 편의성뿐 아니라 실행 정책, 상태와 이력, 오류 확인을 아우르는 운영 기반까지 함께 살펴봐야 합니다. 개발 구조와 운영 관리가 자연스럽게 이어지는지도 엔터프라이즈 배치 프레임워크를 선택하는 중요한 기준입니다.

이러한 관점에서 DevOn Enterprise는 표준화된 배치 실행 구조와 운영관리 기능을 바탕으로, 다양한 배치 업무에 일관된 개발 방식과 운영 기준을 적용할 수 있도록 지원합니다.

다음 글에서는 대량 데이터를 보다 효율적으로 다루기 위한 배치 최적화 방안을 조금 더 자세히 살펴보겠습니다.

※ 본 게시글의 이미지는 AI를 활용해 제작되었습니다.