Сап, анонаны.Дело было вечером, делать было нечего, поэтому я взял в руки змею и панду (Python и Pandas, для тех кто в теме) и решил немного развлечь обитателей /b/.Суть проста - вы запрашиваете какую-нибудь простую статистику о b, дабл - думаю, трипл и более - делаю.Доступен для анализа снапшот /b/ на 2016-04-02 20:21:21 UTC, то бишь на полдвенадцатого ночи 2 апреля. 147 тредов, 17869 постов (включая оп-посты), 6776 изображений.На пике примерная доступная структура данных, но она немного почищена от лишних полей.Если кому надо, могу код или даже весь jupyter notebook кинуть, мне не жалко.
С пандой я раньше не работал, так что пилить буду долговато. Ща сделаю график количества постов в минуту.
Бампецкий
Уфф, блядь, пришлось поипацца, но вот. По горизонтали - время публикации (разбито на сегменты по пять минут), по вертикали - количество постов.
>>122177735То же самое, но для тредов.
Среднее количество слов на пост.
Средняя длина оп-поста - 136 символов (без учёта разметки), обычного поста - 27.
>>12217978019.2 и 3.5 для оп-постов и обычных соответственно.
Сколько "+15"?
Сколько процентов постов, содержащих "ОП" также содержат "хуй"?
Средний размер файла - полтора мегабайта. Характерно что медианный размер - всего 180 килобайт. Что это означает? Что есть несколько дохуя больших файлов, но мелких всё же куда больше.
>>122180238Лол, всего один - >>122172165
>>122179919Все, двач может смело превращаться в свитор./threadвсе любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса, все любят распределение Гаусса - это так, для статистики :3
>>122180756В Ольгино экономят.
>>12218029411%
>>122180863Медиана ещё меньше (0 и 11), что означает что больше половины (!) оп-постов - пустые. Ну и больше половины постов содержат меньше 15 символов.
>>122181081Можно ли сказать, что 11% ОПов - хуи? Относишь ли ты себя к этой категории?
Сколько процентов сообщений имеют в себе слово трап?
>>122181337Leet speak, bitch!
>>122181478Ryadom
>>122181337Нет, нельзя. Мы не знаем распределения постов по тредам, вполне возможно что все эти посты сосредоточены в двух-трёх тредах. Себя не отношу.
Годный тред, анонимус одобряет.
>>122181447Пять штук, меньше трёх сотых процента.
Тупой тред
>>122174477 (OP)g
>>122181510Сколько тредов превысило бамплимит? Абсолютно и процентно.И на сколько постов превышен?
>>122181701Бля.
Среднее количество постов в треде
t_t
>>122181757Всего три.
>>122174477 (OP)в шахту иди пидор
>>122181920Шахтер, не могущий в статистику, порвался.
>>122181805120. Медианное - 52, что означает что большинство тредов имеет куда меньше постов чем в среднем.
>>122174477 (OP)А причем тут игрушка из оп-поста, про червячков? Что ты там считал?
Сколько раз упоминали слово абу/макака и сколько это процентов?
Какой процент сообщении имеют в себе корень - пил.
Сколько всего даблов, триплов и квадриплов
А вот например размер вебмок в среднем - шесть мегабайт и распределение нормальное, потому как среднее и медиана у них практически одинаковы.
>>122182161Вут? Python - язык программирования, с помощью которого я всё это считаю.
>>12218239648 постов, чуть более четверти процента.
>>122174477 (OP)Я бы по граматике хотел узнать подробности.
>>122182586Блять, я говорю про http://slither.io
>>12218225913 постов, менее десятой доли процента.
>>122182822Да это просто какой-то пост с ней попал в выборку.>>122182820Что именно?
Грамматика
>>122182892Ошибки в тся/ться.Вообще, у меня была идея создавать 2-3 треда в неделю о грамматике, попутно собирая статистику и через какое-то время узнать можно, помогают подобные треды или нет. Но срезом в один день тут не обойтись.
Бля, ОП, ты сдулся?
>>122183785Нет, пытаюсь по реквесту >>122182458 вытащить даблы и тыды. Чёт регэкспы как-то не очень правильно работают.
Так перебери их в цикле, не тупи
>>122184244>>122184118
Тьфу, блядь. Чёт панда никак не хочет с бэкрефами дружить, ну и поебать. Какие ещё реквесты кроме даблов/триплов? Те тоже ща сделаю.
Как часто встречалось слово "демон"?
>>122174477 (OP) ОПЧик а твоей прогой можно другой сайт проанализировать? и вообще знающие аноны где можно узнать почасовую динамику посещяймости сайта?
>>122182458Во, смотри пикрил.
>>122185135Другую доску двача - изи, хоть прям щас. Под другой сайт надо будет делать новую.
>>122185130Трижды.
Блин, годный тред. Но никого нет.
Самые часто встречаемые слова
>>122183105Ну вот тут скорее всего нихуя не выйдет. Глубокий анализ сообщения, серьёзно? Хотя ща гляну сколько там вообще тся/ться встречается.
>>122183105361 пост с тся/ться есть, но сколько там ошибочных употреблений сказать нельзя, на эту тему вполне можно дипломную работу в вузе забабахать и ещё работы на магистерскую может останется.
>>122186163А вот это интересно, ща запилю.
Сколько раз писали слово "сап"?
Блин, а можно проверить весь массив на индекс удобочитаемости Флеша. Пикрил.
>>122186836картинку только у меня пидорасит?
>>122186836Бля, хотя со слогами проеб же, сорри. Но было бы интересно.
>>122186894Нет. Это из за альфа канала. У графиков верху у опа такая же фигня.
>>122186836Лол. Полезный инд?
>>122187486>Полезный индИндекс как индекс. Можно было бы сравнить доски между собой, дажст фо фан.
Может какой-нибудь лингвист зайдет, посоветует что-то интересное.
>>122186385>искать слова с тся/ться>проверять по словарюЧто-то ты загнул.
Уфф. Короче, более менее уникальных слов без учёта морфологии и с отсевом явного мусора - 30к. Что с ними делать?
>>122188698Это без учёта слов с длиной 3 и меньше, там слишком много предлогов.
>>122188741Самые частые интересно посмотреть, только отсортированные по частоте. Может залить лучше куда нибудь, на rghost там или на pastebin.
>>122188698Покажи самые частые 50
>>122188698Кстати, да - залей, может какой-то упоротый двочер сделает контент-анализ.
>>122188859http://pastebin.com/dRLsBp7PАбсолютная частота инклудед.
Хoрoший трeд.Тoлькo нyжнo бoльшe дaнныx, oп.
>>122188915Первые пятьдесят, отброшены все слова с длиной менее 5глава 184только 115просто 108когда 81может 79будет 77можно 77травля 70вообще 60этого 59потом 59очень 53чтобы 52какой 47нахуй 46лучше 46теперь 45время 44потому 43нибудь 38диванон 38блять 37сейчас 37после 37который 37через 37ничего 36делать 35набегаем 35нужно 35деньги 35почему 34всегда 34более 34такой 33можешь 33первый 33больше 33тогда 33хочешь 33говно 32совсем 32вроде 31оружие 30оптус 30никогда 30стоит 29работать 28немного 28блядь 27
>>122189537А тебе что нужно-то? Может и так получится вытащить.
>>122189614>простоВся суть двача
>>122189657Дa вooбщe, чтoбы выбoркa пoрeпрeзeнтaтивнeй пoлyчилacь.А мнe ничeгo нe нyжнo, я пьян и вeceл.
Спасибо, оп, за годный тред.Вот бы исходных данных побольше было.
>>122189838Может можно как-то архивач распарсить? Хотя получится, что проебется огромный пласт тредов.
>>12218651716, из них только 6 - как приветствие, остальные всё частями в других словах.
>>122190069Выборка по тредам, которые оказались дороги чьему-то сердцу. Ценно само по себе, не?
припекло
вкинь код, если не жалко
>>122190069Нy и прaвильнo, вcякoe гoвнo yрoвня "двaч я пocрaл" oтceeтcя.
>>122190069Да наверно можно, но там еботни больше будет. Макака-то готовое апи предоставил, которое я и юзаю.
>>122190165Ты пользоваться-то умеешь? Там с одной установкой требуемого софта заебёшься, если не делал никогда подобного.
>>122174477 (OP)Катя?
>>122190295Так выложи на nbviewer и всё будет ок: кто не умеет, сможет посмотреть, а кто умеет сможет взять.
http://arhivach.org/thread/161462/
>>122189614ОП, ты мудак. Частотность сама по себе ничего не значит.
>>12218245810 даблов на 100 постов 10 триплов на 1000Итд
Воннаби ml? Пиздуй отсюда нахуй, это тупой поебенью на перле можно собрать. Аналитику хуев.
>>122190411Меня попросили, я запилил, чего тебе не нравится?>>122190365Бля, а вот это хорошая идея. Щас. Только я там код для всякой мелочёвки постоянно перезаписывал, так что хз поможет ли оно кому-нибудь незнающему особо, лол.
>>122190565Иди на перле графики порисуй. Да и тащемта, не нравится - сагаскрываешь, да и всё.
>>122190661graphviz для этого есть, долбоебушка
>>122190704Да мне поебать, я обфускаторами кода всё равно не пользуюсь. Тебе штоле делать нехуй? Иди да запили такой же тред на перле.
>>122174477 (OP)Опчик, кидай jupiter notebook
>>122190565>на перле можноНа чем угодно можно, ебанько.
sage
>>122190809Это тебе делать нехуй.>Я распарсил бесполезную кучу json, могу сказать сколько за сутки было картинок и сколько раз сказали "хуй". Я охуенен?R в следующий раз возьми, школочи из /b/ точно оценят.
Мoжнo мoнитoрить чиcлo cлoв, xaрaктeрныx для биoпрoблeмныx трeдoв (или чиcлo пocтoв в ниx), и yзнaвaть кoгдa шкoльники приxoдят из шкoлы.Тoлькo зaчeм?
>>122190964>Я распарсил бесполезную кучу json, могу сказать сколько за сутки было картинок и сколько раз сказали "хуй". Я охуенен?Чего у тебя бомбит так?>R в следующий раз возьмиПройди в следующий раз нахуй, ебанько.
>>122190922>>122190565-кун не любит перл и пытается указать на тривиальность задачи.
Блокнот на гитхабе - https://gist.github.com/Amareis/b0a723e698783929c5b1f6c81d412f85Возможен диванон, но похуй уж.
>>122191040А можно мониторить интересные темы почти риалтайм. И перед заходом на двощ видеть стоит ли туда идти вообще.
>>122174477 (OP)Оп хуй. А так годно, Скинь код.
>>122191144Нe cтoит.
>>122191040Вообще говоря, по отпечатку треда (включающему в себя, кроме слов, ещё и структуру приложений) можно примерно 50% тредов довольно точно категоризировать.>>122190964Ну да, нехуй. Я об этом ещё в оп-посте написал.
У кого-нибудь есть хоть какие-нибудь мысли как это можно применить? Я прост чёт не особо вижу.
>>122191470Рaкoмeтр — измeряeт cooтнoшeниe типoвыx рaкoвыx (webm, фaп, рyлeтки) трeдoв к oригинaльным.
,я на питоне в качестве ознакомления написал парсер который искал посты на двоще с нужным словом и заливал в вк в лс пикчу сам пост и ссылку тогда еще апи не было. мне доставило.
>>122191796Что за слово?
>>122191874ну сам задаешь же. сперва «пикрандом», потом тян
>>122191874цп
>>122191470Оп, красавчик. Стукани на фейк nkassad@mail.ru, есть мысли, как это можно поразвивать.
>>122190411А чё значит?
