Tarayıcıdan DMS’ye API Entegrasyonu: OCR, Metaveri ve Hata Kuyruğu Akışı

Kısa cevap: Sağlam DMS entegrasyonu; dosyayı yüklemekten fazlasıdır. Her belgeye benzersiz işlem kimliği verilir, OCR ve metaveri sonucu doğrulanır, yinelenen aktarım önlenir ve başarısız işlemler izlenebilir hata kuyruğunda tutulur.

Bu rehber, DMS API entegrasyonu aramasındaki kullanıcıya doğrudan uygulanabilir bir karar çerçevesi sunar. Konu; tanım, uygulama adımları, kontrol noktaları ve sık sorulan sorularla ele alınmıştır.

Hızlı karar özeti

• Her belge için benzersiz işlem ve doküman kimliği üretin
• Metaveri alanlarını sözlük ve doğrulama kurallarıyla eşleyin
• Tekrarlanan API çağrılarında idempotency uygulayın
• Başarısız işlemleri kaybetmeden yeniden çalıştırılabilir kuyruğa alın

İdempotent ve gözlemlenebilir belge aktarım mimarisi

1. Her belge için benzersiz işlem ve doküman kimliği üretin

Her belge için benzersiz işlem ve doküman kimliği üretin. Bu adım yazılı bir kural, sorumlu kişi ve doğrulama kanıtıyla desteklenmelidir. Uygulama sırasında istisnalar ayrı kaydedilmeli; aynı hatanın tekrar etmesi halinde süreç, ekipman veya eğitim kaynağına yönelik düzeltici faaliyet açılmalıdır.

2. Metaveri alanlarını sözlük ve doğrulama kurallarıyla eşleyin

Metaveri alanlarını sözlük ve doğrulama kurallarıyla eşleyin. Bu adım yazılı bir kural, sorumlu kişi ve doğrulama kanıtıyla desteklenmelidir. Uygulama sırasında istisnalar ayrı kaydedilmeli; aynı hatanın tekrar etmesi halinde süreç, ekipman veya eğitim kaynağına yönelik düzeltici faaliyet açılmalıdır.

3. Tekrarlanan API çağrılarında idempotency uygulayın

Tekrarlanan API çağrılarında idempotency uygulayın. Bu adım yazılı bir kural, sorumlu kişi ve doğrulama kanıtıyla desteklenmelidir. Uygulama sırasında istisnalar ayrı kaydedilmeli; aynı hatanın tekrar etmesi halinde süreç, ekipman veya eğitim kaynağına yönelik düzeltici faaliyet açılmalıdır.

4. Başarısız işlemleri kaybetmeden yeniden çalıştırılabilir kuyruğa alın

Başarısız işlemleri kaybetmeden yeniden çalıştırılabilir kuyruğa alın. Bu adım yazılı bir kural, sorumlu kişi ve doğrulama kanıtıyla desteklenmelidir. Uygulama sırasında istisnalar ayrı kaydedilmeli; aynı hatanın tekrar etmesi halinde süreç, ekipman veya eğitim kaynağına yönelik düzeltici faaliyet açılmalıdır.

Örnek durum makinesi

Belge; alındı, ön kontrolde, OCR tamamlandı, doğrulama bekliyor, DMS’ye aktarıldı veya hata kuyruğunda durumlarından birinde olmalıdır. Durum atlamaları loglanmalı ve her geçiş zaman damgası taşımalıdır.

Güvenlik sınırları

API anahtarları içerikte saklanmamalı; TLS, kısa ömürlü erişim belirteci, rol bazlı yetki, dosya bütünlüğü kontrolü ve denetim kaydı birlikte kullanılmalıdır.

Uygulama kontrol tablosu

Ayrıntılı uygulama rehberi

Giriş — neden gerekli?

Kurumsal seviye dijital arşivleme projelerinde, tek adımda tarama yapmak yeterli değildir. Tarayıcı çıktısının işe yarar hale gelmesi için otomatik OCR, doğru metaveri eşlemesi ve sorunsuz DMS entegrasyonu gerekir. Bu rehberde amaç, tarayıcıdan çıkan dosyanın nasıl güvenli, aranabilir ve mevzuata uygun biçimde DMS’e aktarılacağını adım adım göstermektir.

1. Ana akış (high-level): TARAYICI → INGEST → OCR → INDEX → DMS

1. Tarama (Scanner): Belgeler taranır; her tarama bir master (TIFF) ve/veya erişim kopyası (PDF/A) üretir.
2. Ingest (Alım katmanı): Tarayıcıdan gelen dosya, ingest sunucusuna güvenli kanaldan aktarılır. (Yerinde: lokal ingest; off-site: şifreli transfer)
3. OCR & Metin Çıkarımı: OCR motoru görselden metni çıkarır; sayfa düzeyi confidence (güven) hesaplanır.
4. Metaveri Eşleme ve İndeksleme: Otomatik algılama (barkod, regex) + manuel veri girişi ile DMS alanlarına haritalama yapılır.
5. DMS API ile Yükleme: Dosya + metadata REST API ile DMS’e gönderilir. Teslim paketinde PDF/A, master TIFF, OCR .txt veya ALTO/HOCR bulunur.
6. QA & Audit: İnsan kontrolü (QA), loglama ve denetim izi (audit trail) ile süreç tamamlanır.

2. Teslim paketleri — ne gönderilmeli?

Her proje tipine göre birden fazla teslim paketi sunulur; tipik paket:

• Master file: TIFF (yüksek çözünürlük, renk profili, koruma)
• Erişim dosyası: PDF/A (araçlarla uyumlu, uzun süreli saklama)
• OCR metni: Searchable PDF içi veya ayrı TXT/ALTO/HOCR
• Thumbnail: Önizleme amaçlı küçük JPEG/PNG
• Metadata: JSON dosyası (aşağı örnek)
• Checksum: SHA256 ile doğrulama

Örnek metadata.json minimal yapısı:

{
  "document_id": "ARŞIV-2025-000123",
  "original_filename":"sozlesme_001.tif",
  "document_type":"Sozlesme",
  "party_1":"Firma A",
  "party_2":"Firma B",
  "date":"2021-08-10",
  "pages":12,
  "dpi":300,
  "color_mode":"color",
  "ocr_confidence":0.92
}

3. API akışı — örnek adımlar (pratik)

İki temel yaklaşım: push (tarayıcı/ingest sunucusu DMS’e doğrudan gönderir) veya pull (DMS ingest endpoint’ten dosyayı çeker).

Push örneği (REST multipart/form-data)
POST https://dms.example.com/api/v1/documents
Form-data:

• file = PDF/A veya TIFF (binary)
• metadata = JSON string (örn. yukarıdaki)
  Headers:
• Authorization: Bearer <token>
• Content-Type: multipart/form-data

Basit JSON payload (metadata-only, DMS’in S3’den çekmesi için)

{
 "external_id":"ARŞIV-2025-000123",
 "storage_url":"https://secure-storage.example.com/bucket/sozlesme_001.pdf",
 "metadata": { ... }
}

Bu akışta önce dosya güvenli object storage’a (S3-compatible) yüklenir, sonra DMS’e metadata gönderilir.

4. Metaveri şeması & alan eşleştirme (mapping)

Başarılı entegrasyonun anahtarı metadata uyumudur. Önerilen alanlar:

• document_type, title, date, author, party_names, tapu_no (varsa), page_count, dpi, original_location, index_tags
  Eşleme tablosu hazırlayıp DMS alanlarıyla kesin kural oluşturun (örn. tapu_no → DMS.field_23).

İndeks stratejisi:

• Document-level indeks (çoğu sözleşme, fatura)
• Page-level indeks (raporlar, uzun sözleşmeler için)
• Keyword tagging + tam metin arama (OCR çıkışı)

5. Kalite kontrol (QA) & insan döngüsü

• OCR confidence threshold belirleyin (örn. %85 altı → insan doğrulaması).
• Barkod okuma hataları, eksik sayfa tespiti, skew/rotasyon kontrolleri için otomatik QA kuralları oluşturun.
• QA sonuçları DMS’e işlenmeli; hatalı kayıtlar “redline” queue’sunda toplanıp düzeltildikten sonra yeniden ingest edilir.

6. Güvenlik, KVKK ve izlenebilirlik

• Transfer: HTTPS/TLS (mutual TLS opsiyonel)
• At-rest: KMS ile AES-256 şifreleme
• Erişim: RBAC (rol bazlı erişim), maskeleme ihtiyaçları için alan bazlı maskleme
• Log / Audit: Tüm yüklemeler, erişimler ve indirmeler loglanmalı; sorgulanabilir olmalı.
• Veri imha: Proje sonunda fiziksel evrak imha ve dijital verilerin silinmesi prosedürü sözleşmede açık olmalı.

7. Performans, kuyruklama ve hata yönetimi

• Batch veya stream mode: Büyük hacimler için batch, gerçek zamanlı iş için stream.
• Kuyruk sistemi (message queue) ile ingestion kontrolü: retry, backoff, dead-letter handling.
• SLA belirleyin: sayfa/saniye, günlük maksimum, bekleme süreleri.

8. On-site (yerinde) entegrasyon notları

• Yerinde taramada lokal ingest sunucusu kurulur; veriler önce lokal storage’a yazılır, ardından şifreli hat üzerinden merkeze gönderilir.
• Offline senaryoda: taşınabilir storage ile transfer + checksum + teslim tutanağı.
• Donanım ve network testleri önceden planlanmalı (bant genişliği, elektrik, yerleşim).

9. Pilot proje (ölçme ve kabul kriterleri)

Pilot: 500–2.000 sayfa önerilir. Test maddeleri:

• OCR doğruluk testi (örnek set ile)
• Metadata otomatik eşleme başarısı (% hedef)
• SLA uyumu (teslim süresi)
• QA hata oranı (< %0.5 eksik sayfa hedefi)
  Başarılı pilot sonrası tam projeye geçiş.

10. Özet — uygulanacak adımlar (kısa)

1. Metadata şemasını ve DMS alan eşlemesini çıkarın.
2. Pilot dosya seti ile OCR + API akış test edin.
3. Güvenlik (KVKK) ve SLA maddelerini sözleşmeye ekleyin.
4. Kuyruk/ingest, retry ve monitoring kurun.
5. QA kriterleri ile tam projeye geçin.

1. DMS entegrasyonu nedir?

DMS entegrasyonu, tarayıcıdan çıkan dijital belgelerin OCR ile metin çıkarımı yapıldıktan sonra belge yönetim sistemine (DMS) otomatik ve güvenli şekilde aktarılması sürecidir.

2. Neden tarayıcı → OCR → DMS akışı gereklidir?

Çünkü sadece taramak yeterli değildir. Belgelerin aranabilir hale gelmesi, doğru metadata ile indekslenmesi ve uzun vadeli arşiv standartlarına (PDF/A, TIFF) uygun saklanması için OCR ve DMS entegrasyonu şarttır.

3. Hangi tarayıcı tipleri DMS entegrasyonu için uygundur?

Yüksek hacimli ADF tarayıcılar, hassas belgeler için flatbed tarayıcılar, kitap projeleri için planetary tarayıcılar ve fotoğraf/dia için film tarayıcıları entegrasyon sürecine dahil edilebilir.

4. OCR neden kritik bir aşamadır?

OCR sayesinde belgeler tam metin aranabilir hale gelir. Ayrıca indeksleme maliyetini düşürür, hızlı erişim sağlar ve yanlış dosya eşleştirmelerini önler.

5. API ile DMS’e dosya yüklemek nasıl çalışır?

Genellikle REST API kullanılır. Tarama sonrası dosya (PDF/A, TIFF) ve metadata (JSON) tek paket halinde veya ayrı gönderilir. DMS tarafında kimlik doğrulama (Bearer token, TLS) zorunludur.

6. Metadata eşleme (mapping) neden önemlidir?

Metadata olmadan belgeler bulunamaz. Doğru alan eşleştirme (ör. “tapu_no” → DMS.field_23) yapılmazsa belgeler yanlış kategorilere düşer, erişim sorunları doğar.

7. Kalite kontrol (QA) hangi aşamada yapılır?

Tarama ve OCR sonrası, metadata eşlemeden önce QA yapılır. Eksik sayfa, OCR güven puanı, barkod hatası gibi kriterler kontrol edilir ve gerekirse insan doğrulaması yapılır.

8. Bu süreçte KVKK uyumu nasıl sağlanır?

Veri aktarımı şifreli kanallardan (TLS/HTTPS) yapılmalı, dosyalar AES-256 ile saklanmalı, erişim ise rol bazlı yetkilendirme (RBAC) ile sınırlandırılmalıdır.

9. Pilot proje yapmak neden gereklidir?

Pilot, küçük bir belge setiyle tüm sürecin test edilmesini sağlar. Bu sayede OCR doğruluk oranı, API akışı, metadata eşleme ve QA kriterleri ölçülerek büyük hacimli projeye geçmeden sorunlar görülür.

10. DMS entegrasyonunda sık yapılan hatalar nelerdir?

• Sadece PDF/JPEG kaydedip OCR’siz ilerlemek
• Metadata eşleme tablosu hazırlamamak
• API güvenlik katmanlarını (token, TLS) atlamak
• QA sürecini insan gözüyle test etmeden projeye geçmek

Konuyu tamamlayan rehberler

• OCR, DMS ve RPA otomasyonu
• DMS ve EBYS karşılaştırması
• Metaveri standardı
• OCR Motoru Seçimi: Türkçe Belgelerde Doğruluk, Hız ve Maliyet Testi

Sık sorulan sorular

Idempotency neden önemlidir?

Aynı belgenin ağ hatası veya tekrar denemesi nedeniyle DMS’ye birden fazla kez kaydedilmesini önler.

OCR sonucu doğrudan kaydedilmeli mi?

Kritik alanlar güven puanı ve doğrulama kurallarından geçmeden kesin kayıt yapılmamalıdır.

API hatasında belge kaybolur mu?

Doğru tasarımda hayır; belge, işlem durumu ve hata nedeni kalıcı kuyrukta saklanır.

Projeniz için sonraki adım

Belge türü, yaklaşık hacim, çalışma lokasyonu ve beklenen çıktı formatını belirleyerek dijitalleştirme fiyat teklifi isteyebilir veya e-Arşivleme ile iletişime geçebilirsiniz.