Сообщения

Удивительное рядом

Изображение
  Одной из самых жутких проблем для любого любителя, как и для профессионала в data science является качество разметки. Качество разметки способно погубить самую толковую и красивую идею. Но не всё оказалось так плохо и вашему вниманию предлагается, как и всегда в моих постах, красивая идея с кодами и примером. Будем учить сеть находить круг в квадратной картинке. Т.е у нас есть квадрат, заполненный случайными точками с заранее заданными параметрами распределения и там же круг, но уже с точками из другого распределения. Создадим для обучения также маску обучающую и маску истинную. И так у нас есть картинка с кругом, маска для обучения, явно не совпадающая с картинкой, и точная маска. Вот пример картинок. Для экспериментов возьмем ту же самую, очень хорошо изученную U-net. import numpy as np import matplotlib.pyplot as plt %matplotlib inline import math from tqdm import tqdm_notebook, tqdm import tensorflow as tf import keras as keras from keras import Model from keras.models import lo

Чистый AI также опасен, как и чистый С2H5OH

Изображение
  Специалист подобен флюсу: полнота его односторонняя Козьма Прутков Банки и предсказания. Рассмотрим самую простую задачу предсказания поведения, проще некуда, но весьма распространенную и пользующуюся повышенным спросов в некоторых кругах. Это задача скоринга в банке. Получить массив параметров, вектор, матрица, куб - это уже на вкус разработчиков, обработать и выдать вероятность возврата средств, если они будут выданы тому, кого описал массив информации. Упростим её и представим, что в городе есть всего три завода и банк. Ну и жители. И мы будем применять чистый AI, без примесей, будем принимать решение только на основе предсказания сети, без всякого иного интеллекта и здравого смысла. Это как 96% C2H5OH + 4% H2O и без закуски. Нужно построить алгоритм предсказания вероятности возврата только на основе AI. Для DS это рутинная задача. В смысле "предсказать". И не только с помощью регрессии и бустинга, а легко даже с помощью нейронной сети. Не буду сейчас рассказывать про ра

Кручу-верчу, обмануть хочу

Изображение
  Long story short Создают ли повороты ложные зависимости в датасете? Небольшое исследование свойств rotate. Представим себе, в существенно упрощенном виде, процесс скоринга. Некто присылает информацию о себе, некую матрицу себя, банк запускает сеть и в первую очередь хочет понять, настоящая ли это матрица или обработана консультантами или просто подделана жуликами. После этой сети банк уже понимает, что информация скорее всего неподдельная и её можно обрабатывать и применяет другие аргументы и иные сети и соглашается или отказывает заявителю. Если банк использует только предсказание сети, то он прогорит, но об этом другая статья. И представим для простоты,  что человеческое тело это шар  соискатель предоставляет просто матрицу W_SIZE x W_SIZE, ну или 128х128, например. Почему бы и нет! И мы не станем пытаться объять необъятное и искать все те способы обработки, что могли быть применены. Мы возьмем матрицу w_size х w_size, заполненную случайно, мы же не знаем, что там, в реальности, и