Artificial Intelligence. Code and comments

  Одной из самых жутких проблем для любого любителя, как и для профессионала в data science является качество разметки. Качество разметки способно погубить самую толковую и красивую идею. Но не всё оказалось так плохо и вашему вниманию предлагается, как и всегда в моих постах, красивая идея с кодами и примером. Будем учить сеть находить круг в квадратной картинке, но так, что найти и все ошибки разметки. Т.е у нас есть квадрат, заполненный случайными точками с заранее заданными параметрами распределения и там же круг, но уже с точками из другого распределения. Создадим для обучения также маску обучающую и маску истинную. И так у нас есть картинка с кругом, маска для обучения, явно не совпадающая с картинкой, и точная маска. Вот пример картинок. Для экспериментов возьмем ту же самую, очень хорошо изученную U-net. import numpy as np import matplotlib.pyplot as plt %matplotlib inline import math from tqdm import tqdm_notebook, tqdm import tensorflow as tf import keras as keras from k...

  Специалист подобен флюсу: полнота его односторонняя Козьма Прутков Банки и предсказания. Рассмотрим самую простую задачу предсказания поведения, проще некуда, но весьма распространенную и пользующуюся повышенным спросов в некоторых кругах. Это задача скоринга в банке. Получить массив параметров, вектор, матрица, куб - это уже на вкус разработчиков, обработать и выдать вероятность возврата средств, если они будут выданы тому, кого описал массив информации. Упростим её и представим, что в городе есть всего три завода и банк. Ну и жители. И мы будем применять чистый AI, без примесей, будем принимать решение только на основе предсказания сети, без всякого иного интеллекта и здравого смысла. Это как 96% C2H5OH + 4% H2O и без закуски. Нужно построить алгоритм предсказания вероятности возврата только на основе AI. Для DS это рутинная задача. В смысле "предсказать". И не только с помощью регрессии и бустинга, а легко даже с помощью нейронной сети. Не буду сейчас рассказывать про ра...

На примере простой задачи с простой нейронной сетью. Навеяно вот этой статьей и сеть взята без изменений. Просто выполнить код было неинтересно и пытливый ум решил внести изменения в предмет распознавания. А именно, нужно взять и перемешать точки в 28х28 и посмотреть. Вот код из статьи с некоторыми изменениями и особо прошу обратить внимание на блок “permutations” — там и будем вносить и удовлетворять свое любопытство. from keras.datasets import mnist from keras.models import Model from keras.layers import Input, Dense from keras.utils import np_utils import numpy as np %matplotlib inline import matplotlib.pyplot as plt batch_size = 128 num_epochs = 16 hidden_size_1 = 512 hidden_size_2 = 512 height, width, depth = 28 , 28 , 1 # MNIST images are 28x28 and greyscale num_classes = 10 # there are 10 classes (1 per digit) (X_train, y_train), (X_test, y_test) = mnist.load_data() # fetch MNIST data num_train, width, depth = X_train.shape num_test = X_test.shape[...