так как прошлый утонул на 5 страницу
Код в колабе aka гугл дает тебе виртуальную машину с теслой за бесплатно сразу говорю, за майнинг гугл банит:
https://colab.research.google.com/drive/19fsKZn-eUZgGE2b_P9mpXsg6cMbD6gJ4?usp=sharing
В январе OpenAI выпустила нейронку DALL-E которая может генерировать изображения по текстовому описанию без обучения (на этот счет они немного напиздели), а пару недель назад выложила код в открытый доступ.
https://openai.com/blog/dall-e/
Что есть на данный момент:
- Единственный код в колабе который не забеливает пик
- Адаптивный learning rate
- Возможность сделать гифку из сгенерированных пикч
- Комментарии к той части кода что я понял
- Кучка параметров которые действительно влияют на выполнение
- Хуевая оптимизация
- Возможно проебана суть нейронки
Примеры в оп-пиках.
Фак-Ю:
Гыы ты майнишь а долбаебы ведутся гыы
Все выполняется на облаке гуглов, ничего скачивать не надо. Код голый и можешь сам проверить хоть под лупой.
Практическое применение?
Если ты это спрашиваешь то попробуй в креативность, никто лучше тебя самого не ответит на этот вопрос.
Почему такое говно?
Потому что опенхуи не сделали лёгкого кода для запуска нейронки. Возможно причина - контраст между официальной демкой и оп-пиками.
Почему то безудержно начал смеяться от этой пикчи
Криповая хуйня. Но никто не держит играться с параметрами.
Где то в прошлых тредах.
А, видимо пропустили реквест. Можешь сам сделать, нужен только гуглоакк и 7 IQ.
ранние интерации менее детализированы и более интересно выглядят, можно художнику отдавать для придания вменяемого вида
хорош плодить треды
>гуглоакк
У меня нет.
хорошо, больше не буду так рано перекатывать
если конечно тред доживет до новых перекатов
Идите опасаться корпораций в другое место
Ладно, сейчас начну генерацию.
Спасибо.
>>242907945
У меня телефона нет прост.
годно сочно интересно, прикольно поиграться с таким механизмом чтобы делать картиночки для ответов в тредах
>>242908055
Там не нужен телефон.
ты всматривался в лицо своей сексуальной тяночке?
Она предобучена, но по сути обучается на твой фразе. После завершения все что она обучила пропадает.
Ну и рисует каждый раз разное, тем более параметров много и почти каждый влияет на то как рисует (правда не совсем ясно как).
А еще примерно после 40 семпла изменения в картинке почти отсутствуют. это так и должно быть, или что то пощелкать?
Нужно щелкать, но что точно не знаю. Ещё бы дописать сохранение состояния чтобы можно было поменять параметры и продолжить, но сейчас не ща компом.
Но всё равно прикольная штука, спасибо, оп
Фу, это даже стремнее чем реальная расчлененка
Найс, особенно скейп.
Я тоже увидел )
Только если абу это meatgrinder.
>>242910162
охуеть, не ожидал что нейронка перекрасит
Нет, это фейк.
Что случилось?
Сложно сложно не понятно
Сгенерировался нейросетью.
Ужас какой
Финальная версия золотой кирпичной стены
Какие-то яства, фап-салфетки, комп.
Комната питурда.
Первый пик, гоптика или везьмак.
Второй это какой-то ТЦ.
Второй пик, гречневого намотало на станок.
Чет здоровый. Фотошоп.
Фраза в имени файла, сталкаш и куб.
Так. Шо делать с колабой?
Космическая утка врывается в тред. Порезал до 64 семплов, изначальную гифку двощ не пропускал по причине 20+ мб.
>>242913288
На самом деле не особо целесообразно делать больше 100, есть шанс краша, медленно, но при этом качество не сильно выше.
Открыть, вписать фразу в поле Фраза, запустить первые три ячейки.
Круто получилось
Всё, пизда акку твоему
test
Чекай квитанцию на электроэнергию.
> На самом деле не особо целесообразно делать больше 100
Ну вон видел что на поздних интерациях стена окрасилась в золотой цвет.
Алсо пока появилась идея - сейчас белые пятна появляются и закрашиваются на основе общего пика. Если настроить скорость при увеличении, креативность и ещё что нибудь, есть шанс что на месте белых пятен будет создаваться новое а не почти то же самое что и было. Возможно в коде ещё остались переменные которые отвечают за это, но пока не уверен какие именно.
Повторяю 5 тред подряд. Нужно твое тройное согласие и ручной ввод ключа чтобы я получил хоть милипиздрический доступ. И при этом все что я смогу делать будет уже прописано в колабе. Если параноишь раскрой ячейку и посмотри код.
@
На телефоне
Аккумулятор взорвется
Собственно так всё примерно и было
Сначала запусти ту что сверху, потом эту. Результат будет под этой ячейкой.
Спасибо
А я выставил креативность 1.3 и критичность 10к и рисую бога
Анонче, сколько примерно по времени оно рисует?
20 минут и изменения становятся еле заметными.
Оп, а нельзя ли сделать адаптивный лр более умным?
Можешь вкратце описать алгоритм, по которому он у тебя адаптируется?
А со стороны клиента какие ресурсы задействованы? То што я с телефона, влияет?
>со стороны клиента какие ресурсы задействованы?
Загрузка html странички.
>То што я с телефона, влияет?
Конечно! Это дает дебафф к креативности нейронки.
Заеб угарать, я сурьёзно
Разве что отображение браузера.
>>242917938
Сейчас алгоритм такой - перед стартом новой интерации проверяются прошлые потери, текущие записываются в переменную. Если потери увеличились переменная хорошо/плохо принимает значение плохо, иначе хорошо. Затем во время цикла который на том месте в котором раньше стояло статичное изменение лр в зависимости от нее лр либо умножается на множитель увеличения либо на множитель уменьшения. Так как тут потери число отрицательное, на всякий случай сделал метод плюс - увеличение при снижении потерь и наоборот, и минус - увеличение при увеличении.
Не качай, смотри, эта хуйня сожрала почти 12 гигов учитывая то что у меня она 6гигов у моей видюхи, точно биткоин майнит себе.
Не твоей а гугловской. И снизу есть ячейка где код для очистки памяти.
Я с телефона, алло
То есть тебя скоро дисконнектнет от колаба и нужно делать все по новой.
ну я же шучу
Это котик?
Wool lamb - шерсть овечка
Бля, прям иллюстрация к Жулю Верну какому нибудь
Космический корабль.
Можешь сделать вывод семплов чаще, там есть такой параметр. Скорость самой нейронки модно увеличить уменьшив размер.
>прошлые потери
Т.е. у тебя есть доступ к функции потерь?
Нельзя ли в таком случае организовать её вывод? В идеале бы вообще захреначить график из нее, а то непонятно то ли у меня текст кривой, то ли нейронке намана.
А также стоит сделать не просто умножение, а что-то более хитрое. Ты же ищешь экстремумы, а точнее минимум, поэтому не лучше ли будет сделать ступенчатое повышение?
К примеру при потерях больших n мы ставим лр = 1, при потерях меньших n, но больших z мы ставим лр = 0.75 и так далее. Еще можно это дать пользователю настраивать.
Это решит проблему того, что лр не может быть меньше 0 и больше 1, а также даст более гибкую настройку.
Попробуешь реализовать, что-то подобное?
Там выводятся потери. При дефолтных настройках это число около -40.
Хм. Ну уже неплохо.
Тогда нельзя ли это все в лист сохранять, а потом найти модуль для рисования графиков и вывести как-нибудь?
Сейчас я немного передохну и подумаю над этим. Хотя не думаю что добьюсь успехов.
Ну вот, что я нашел парой запросов.
https://habr.com/ru/company/ruvds/blog/517450/
>Хотя не думаю что добьюсь успехов.
Обязательно добьешься. Удачи тебе.
А также оп, обрати внимание на готовы поисковик оптимального лр.
https://fastai1.fast.ai/callbacks.lr_finder.html
Не хочу запускать высер от анона или колупать его код
Нет официального или надежного коллаба что ли?
>официального
Нет. Им это нахрен не надо.
>надежного коллаба
Прошло 2 месяца, поэтому сейчас есть только пиздузиасты по типу опа. Можно, конечно попробовать отрефакторить его код, ну или написать с нуля.
Тут и постройка графиков встроена. В общем попробуй, пожалуйста, внедрить эту приблуду.
Похож
>Нет официального
И не будет с вероятностью в 9.9+n/10. OpenAI не настолько уж и Open.
Что это?
Смерть
Что-то опять мазня какая-то.
Надеюсь хотя бы к вечеру эта хрень сможет выводить что-то более менее адекватное.
>>242922622
Чому у тебя все коричневое. Ты офнул нормализацию-то?
Да я и не трогал ничего. Просто английский текст написал и все.
Kirill and Kostya
На.
Так це ж Тарас!
Какие-то мутные типы эти ваши Кирилл и Костя
Немного передохнул и вчитался. Сейчас лр так и работает, и это можно настроить, типо на сколько умножить текущий лр и насколько поделить. И они разные. Могу допилить вывод потерь в график но сразу предупреждаю, потери и те что показываются и те что передаются нейронке зависят от самокритичности. Поэтому график нужно будет рассматривать отдельно от значений потерь.
>>242920859
Этот пока самый допилненный. Есть официальный колаб но там пара строчек кода которые превратят загруженный пик пингвина в более всратый.
Я тебе кинул готовое решение по оптимизации лр. Попробуй внедрить его, заместо wtf-параши.
Слишком сложно и классы на голову выше моего дерьмокода.
Ну блин. Это же очень круто, возможно нейронка будет куда круче.
И график там встроенный. Огромные перспективы же.
Я в тебя верю. Ты обязательно сможешь внедрить эту хрень. Dall-E же смог обуздать)
Чет сейчас немного херово, график и фиксы откладываются. Ну и как сказал, по сути отличие от того кода - компактность и график, тут нужно идти в направлении параметров >>242914303.
Да нет.
Half Life?
лафкрафтина какаято
>график
Достаточно важная же штука. Так будет четкое понимание того как влияет изменение параметров на обучение нейронки. Ну как знаешь в принципе-то.
Жидомассоны?
Чтобы ты угадал, няш.:3
>>242925937
>>242925932
>>242925864
Анон угадал
"Lovecraft horror"
>>242925704
Напиши сам. Хули нас просишь?
Бросай английский и китайский - учи нейросетевой.
Слишком сложно
Ну и иди нахуй тогда.
Gay club Apple?
Постер к какому-то двачерскому фильму.
Атака титанов Мисаки убьет Эрена
>>242926745
>>242927208
Неее
просто "horror"
Похоже на загрузочные экраны из морровинда
У тебя какое максимальное значение лосс было?
Я ничего не трогал. Где лосс находится?
Всего 280 интерация же. Вот если к 1к остался кусок бесформенной блевоты тогда да, лучше уже не будет.
Я тоже миллион лет жду уже.
Почему у всех в треде быстро генерируется, а у меня 380 за час дошло?
ОП на твоём компе майнит.
Вышло похоже на какой нибудь сериальчик.
>>242929682
Хз. Сбрось среду и перезапусти. Мб гугл выделил более слабый гп или что то в этом роде.
Сейчас пожрет все, возможно скорость обучения стала слишком велика. Добавь в параметр multip_up ещё один ноль перед пятеркой.
Я вроде ничего не менял кроме сохранения картинок которое замедливает код примерно на 10-20%. Специально утром допиливал и вроде не сильно уменьшилась скорость по сравнению со вчерашнем вечером.
Настоящий фан блэкухи. Нейронка никогда не была настолько точна
Ну да, преданный воин зла, штурмфюрер ада, убийца ангелов, в свободное время каратель пазеров. Проблемы?
пиздец ты долбоёб
блять с картинкой пообщался
Алсо та гора из воды изначально вырисовывалась как светло-синяя гора со снегом.
Скинь отдельные картинки на 1к, 2к, 3к интераций.
Сильно отличаются?
Хуйцы с гречкой?
Поскринил гифку. Пики уже потерлись.
Кажется дед с батей набухались и снова устроили драку где то в Андромеде.
Чед ОП-программист версус Вирджин рядовой анон.
20 итераций за полчаса - это норм разве? Антон там выше 10к за 49 минут провел, что я не так делаю?
if timee > 0:
first_time = False
else:
first_time = True
На
first_time = timee > 0
Почему код такое говно? Ты вообще каким образом пишешь?
Хотя не заметил, что ты намутил.
Лучше будет так:
first_time = timee == 0
Я не питонист и крайне хуев в плане программирования. Суть понял, позже перепишу.
хотя не совсем ясно в чем разница кроме сокращения объема и усложнения для чтения
В том, что это антипаттерн и выдает твое неумение программировать.
Да я и не спорю.
Вот это:
!apt-get -y install imagemagick
CUDA_version = [s for s in subprocess.check_output(["nvcc", "--version"]).decode("UTF-8").split(", ") if s.startswith("release")][0].split(" ")[-1]
print("CUDA version:", CUDA_version)
if CUDA_version == "10.0":
torch_version_suffix = "+cu100"
elif CUDA_version == "10.1":
torch_version_suffix = "+cu101"
elif CUDA_version == "10.2":
torch_version_suffix = ""
else:
torch_version_suffix = "+cu111"
#!pip install torch==1.8.0{torch_version_suffix} torchvision==0.9.0{torch_version_suffix} -f https://download.pytorch.org/whl/torch_stable.html ftfy regex
!pip install torch==1.8.0 torchvision==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html ftfy regex
Можно заменить на:
!apt-get -y install imagemagick
!pip install torch==1.8.0 torchvision==0.9.0 -f https://download.pytorch.org/whl/torch_stable.html ftfy regex
Т.к. остальные переменные ты не используешь.
Ну и пиздец.
Они понадобятся если качать блокнот и запускать локально. Наверное. Ну и там нужен суффикс, без него у меня ругалось при установке других пакетов.
>если качать блокнот и запускать локально
Ты все закомментил же.
>Ну и там нужен суффикс
Насколько я вижу он используется только в 6 местах. И все они закомментированны.
А, забыл об этом.
Вот это все можешь смело в параметры колаба переделать.
И модель CLIP и размер и пр.
На счет jit, просто ты грусишь non-JIT модель. Поэтому и проблемы.
im_shape не получится, это размер пика и он должен совпадать с другим тензором. За него отвечает код со сглаживанием, но я хз как 244 там превращается в 512.
Так пихай туда не 244, а значение im_shape.
Но ведь сейчас там 244. Хотя посмотрю.
Бля. Не заметил. Вот это:
im_shape = [512, 512, 3]
sideX, sideY, channels = im_shape
batch_size = 1
В это можешь переписать:
sideX, sideY, channels, batch_size = 512, 512, 3, 1
Дай угадаю, это война во Вьетнаме?
Какой же я догадливый. Невероятно.
Мне больше интересно откуда там арбуз с глазами и ртом
Очевидно из-за американских ядохимикатов вырос.
Endless space
Void
Chaos
Momentum
Singularity
Time
Infinity
Пошел нахуй Оп, научись в гайды
Это суд тройка?
С параметрами по умолчанию в 3м боксе не запускалось
Chaotic erection Infinity creampie into void pussy
Это Николай Романов и Иосиф Сталин танцуют украинский гопак.
Камшот галактической туманности
У тебя какой-то затык на порнухе?
Да.
Нет.
Нет никаких вытраханных проблем, всё течет ровно как конча по ляжкам проститутки, ровненько.
Сгенерируйте Doom Gay пж
Мило
главное не пытайтесь генерить аниме
Pudge aka fresh meat boyyy
пишите в названии пикчи хотя бы фразу, по которой генерили плиз
Chimpanzee oral sex action или что-то на подобии
Ля, ну это Босх
Напоминает арты скиллов Disco Elysium
Вот кстати для лавкрафта такой формат подходит, на картинке и сущности, обезображенный человек, ктулху\йогсотот на заднике и справа доки портового города
if-else антипаттерн? иди нахуй ебанутый, наслушаются умных слов, а сами нихуя в них не соображают
Запилите the simpsons или любого персонажа "marge simpson" "moe from the simpsons"
Хочу посмотреть, у меня не получилось.
>>242954095
спасибо, это предел или мало итераций?
>>242954075
Вот это очень годно
Пока ещё мало итерраций, но есть табличка барт
Я на часа два оставлю, по возможности - потом гифку сюда закину.
motogen
metal will boil in the heat of psychoplasma
pornotronic energy
warp deformation
Бери и сам делай, пидор
Я ПОПОБАВА и я к тебе прилечу, пидор.
Попобавы нет
total slitting of throats
scary and happy man with sad smile on his eyes
пидора ответ
Следствие Вели с Леонидом Каневским?
Я хз, опа подожди, это у него скрипты жопой писанные (возможно не его)
Ваще Я, когда кодил, не давал нечитаемые имён переменным, объектам и прочим сущностям. Видать потому меня никуда и не брали
10000 критичность
128 размер
2 креативность
соус???
Гугли «псковское порно»
Ты бы ещё в 12 дня это зареквестил.
Зелёный слоник?
Смерть похожа на ничто (>>242960248), что как бы намекает...
Текстурами - да. Контентом - нет.
Скорее анон научился это запускать.
Бамп нептуном
Лафкравтовская ебака какая то
RuntimeError: Error(s) in loading state_dict for CLIP:
size mismatch for logit_scale: copying a param with shape torch.Size([]) from checkpoint, the shape in current model is torch.Size([1]).
>>242966242
Хватит оскорблять нейроночку!
у меня так же
Че за поебень уровня яслей???
Вот настоящие шедевры
>>242964818
>>242961552
>>242959775
Кстати вот эта наебОчка от маркетологов в примерах - сосаны, а мб стоит замутить статью разоблачение врунишек маркетологов, скрывающих правду о нейросетях где нить на хабре, или прости саспади яндекс зене???
У меня тоже. Очевидно чет сменилось в тех шматах кода библиотеках что это дерьмо подгружает при инициализации, и теперь не совместимо со скриптами запуска. Ждём ОПа.
Так вы попробуйте добавить Illustration в начале запроса, и проверить. Судя по всему никто и не пробовал. У самого к сожалению некропека
а ещё пиздец, я сегодня после 2 дней непрерывного кодинга едва заснул и словил головную боль, если кто может пока без меня создайте копию блокнота с фиксами, не думаю что сам сейчас смогу
> загрущить
*загрузить
быстрофикс
Алсо даже если поменять модель на альтернативные та же хуйня.
> некропека
Можно даже с телефона.
Jong Wook Kim залогинся
Они кто такие, чтобы это сделать?
Владельцы датацентра, в которых стоят вычислительные мощности.
Есть огромное и оправданное подозрения что их код лучше а делали примеры они на суперкомпе, то есть до вменяемого результата проходило по меньшей мере в несколько сотен раз меньше времени.
Гуглы.
Вчера выдавали т4, а сегодня к80, пиздец, она раза в 3 медленнее.
Берешь и сбрасываешь среду выполнения пока не иссякнет лимит пока не дадут Т4 или что то вроде неё. И К80 в почти в 10 медленнее. Просто запускай первую ячейку и гугли хешрейт.
Фраза в названии пика.
Да ладно, я же не гандон, может кто-то что-то полезное считает на т4.
Может нейронка подумала что ты про замок с названием инсульт, кто ее знает.
А самое смешное, что в этих мазках она всё же узнаётся, пряди висящие, щербатое ебало, какие-то набросик мейкапа. Вот это в нейронке странно всё.
Вот и я про это. Сорсов я так понимаю хуйма? Наверняка там охуилиард запросов к пинтересту какому-нибудь.
Покажи свои настройки.
Если что это 3,6к интерация.
Не получится как в примерах, лол. Они выпустили лишь d-VAE, а не исходный код всей нейронки.
OpenNotSoOpenAI
Откуда инфа?
Ясно, хуйня
Как и тред
Хотя с хардкор мытищи поржал
>>242972784
Блять, пацаны, я вам больше скажу - я тут Цири по превьюхе пикчи увидел. ПО, БЛЯТЬ, ПРЕВЬЮ. Либо я совсем конченный ведьмакодрочер, либо эта нейросеть постаралась на славу.
О, тоже поехавший. Привет. Как дела? Пока.
Покажи мне кто в наше время не поехавший.
вау, лучшая пикча
Домой приду попробую тоже до 4к интераций добить.
А ты что?
Отсосу.
Cначала отсоси, а потом проси
Vice city sodomia vs liberty city sodomia
