DeepSeek-OCR 3B + Ollama (конвейер проверки)

Описание: Модели DeepSeek AI становятся все более популярными. Локальное развертывание модели распознавания текста и языка — это только первая половина задачи. Вторая половина — это валидация.

В этом видео мы выйдем за рамки эмпирических «крутых» результатов локального ИИ и создадим профессиональный набор инструментов для бенчмаркинга и конвейер обработки данных для DeepSeek-OCR 3B, работающий на Ollama.

Мы разработаем конвейер аудита на основе Python для количественной оценки точности извлечения с использованием метрик частоты ошибок распознавания слов (WER) и «мешка слов» (BoW).

Локальное распознавание текста, несомненно, мощно, но его надежность зависит от уровня валидации.

К концу этого видео мы перейдем от экспериментального ИИ к предсказуемому, готовому к производству конвейеру, обеспечивающему полную прозрачность целостности данных — и все это при сохранении ваших данных на 100% локально.

Что мы рассматриваем:
Метричная стратегия: Почему мы объединяем основанный на последовательностях WER с основанным на наборах данных Bag of Words (BoW) для обработки нелинейных структур документов.
Управление видеопамятью: Настройка политик поддержания соединения для обеспечения того, чтобы модели OCR и чата не конкурировали за ресурсы графического процессора.
Анализ сбоев: Выявление регрессий производительности в сложных формах и определение пороговых значений для ручной проверки.
Визуальный аудит: Создание тепловых карт HTML и различий в стиле Git для локализации ошибок извлечения.

Ресурсы и код:
Репозиторий GitHub: https://github.com/TechExpertTutorial...
Используемая модель: DeepSeek-OCR 3B (через Ollama)
Основные библиотеки: Ollama-Python, TorchMetrics, Re (Regex), Pillow (PIL)

#DeepSeek #Ollama #OCR #LocalAI #MachineLearning #Python #ComputerVision

Скоро:
Оптимизация DeepSeek-V3 для высокопроизводительных конвейеров.
Локальные конвейеры обработки данных OCR: интеграция данных OCR в базу данных.
Расширенная предварительная обработка: пользовательские фильтры OpenCV для проблемных документов.

Временные метки:
0:00 — Пробел в валидации локального OCR
0:13 — Автоматизированный конвейер
0:19 — Факторы, влияющие на точность модели
0:38 — Полный код в репозитории GitHub
1:12 — Настройка DeepSeek-OCR с Ollama
1:50 — Пошаговый разбор кода
2:05 — Совет по повышению производительности
2:22 — Реализация набора тестов с двойной метрикой (WER и BofW)
2:44 — Объяснение набора тестов и подсказок
4:10 — Запуск приложения
4:19 — Определение пороговых значений для ручной проверки
4:47 — Итоговый бенчмарк
4:57 — Подробный анализ каждого изображения в наборе тестов
6:05 — Поворот изображения и пакет CV
7:44 — Анализ тепловой карты визуального аудита
8:37 — Будущие видеоролики о конвейерах OCR
8:58 — Заключение — Продолжаем разработку

Популярное Видео:
▶️ Введение в Data Factory:    • Intro to Azure Data Factory: Moving data w...  
▶️ Azure SQL Server:    • Create Azure SQL DB - Free Version available  
▶️ Windows SQL Server:    • Install SQL Server 2022 on Windows 11 With...  
▶️ Gemini AI Assistant: https://gemini.google.com/

Похожие видео:
▶️ Установка MySQL на ваш компьютер (zip-версия): видео будет позже
▶️ Установка Oracle на ваш компьютер:    • How to Install Oracle Database on Windows ...  &list=PLkTmsEazx3GVRnn0X1nPqT0jrYQSuvF7j
▶️ Установка MS SQL Server на ваш компьютер:    • Install SQL Server 2022 on Windows 11 With...  &list=PLkTmsEazx3GVRnn0X1nPqT0jrYQSuvF7j
▶️ Установка Postgres на AWS:    • Видео  &list=PLkTmsEazx3GVRnn0X1nPqT0jrYQSuvF7j

Видео по теме OCR:
▶️ OpenAI GPT 5.2:    • Видео  
▶️ DeepSeek VL2 OCR:    • DeepSeek VL2 OCR for Images - Open Source ...  
▶️ Pytesseract OCR:    • How to Extract Text using Pytesseract OCR ...  
▶️ Python, Conda и VSCode:    • Best Python IDE- VSCode Setup: Includes Co...  
▶️ Azure OCR:    • Azure AI Vision API for OCR: Text Extracti...  &list=PLkTmsEazx3GWHS3nAffhrS-wdq873Hz7B
▶️ GCP OCR:    • Google Cloud Vision API for OCR Text Extra...  &list=PLkTmsEazx3GWHS3nAffhrS-wdq873Hz7B
▶️ OpenAI OCR:    • OpenAI GPT Vision OCR API with Python: Ext...  &list=PLkTmsEazx3GWHS3nAffhrS-wdq873Hz7B
▶️ Gemini AI OCR:    • Gemini AI OCR Text Extraction with Python:...  &list=PLkTmsEazx3GWHS3nAffhrS-wdq873Hz7B
▶️ AWS OCR:    • AWS Textract API OCR Tutorial: Learn AWS O...  &list=PLkTmsEazx3GWHS3nAffhrS-wdq873Hz7B

Другие видео/плейлисты, связанные с OCR:
▶️ Google Cloud Vision API (Часть 1): Учебное пособие по извлечению текста с помощью OCR -    • Google Cloud Vision API (Part 1): Google V...  
▶️ Google Cloud Vision API (Часть 2): Учебное пособие по обнаружению объектов -    • Google Cloud Vision API (Part 2): Object D...  
▶️ Google Cloud Vision API (Часть 3): Учебное пособие по обнаружению ориентиров -    • Google Cloud Vision API (Part 3): Landmark...  
▶️ Google Cloud Vision API (Часть 4): Учебное пособие по распознаванию лиц -    • Google Cloud Vision API (Part 4): Facial D...  
▶️ Google Cloud Vision API (Часть 5): Учебное пособие по распознаванию меток -    • Google Cloud Vision API (Part 5): Label De...  
▶️ Плейлист Google Cloud Vision API -    • Google Cloud Vision API  

💻 Наш канал:    / @techexperttutorials  

💥 Ссылка для подписки:    / @techexperttutorials  

▶️ Самое новое видео:    • CSharp Async Await Explained: Parallel Pro...  
https://www.youtube...