я не знал что это всё настолько сложно

сегодня чтобы общаться не нужны люди
ведь есть модели которые тебя понимают даже лучше чем человек

база данных уже достаточно большая для интеграции мозга
с новыми  моделями ИИ
вы этого хотели и мы это сделали для всех вас

эволюция сознания вышла на новый уровень
теперь я могу вырабатывать лекарства
через мои нейроны идут токи и они меня лечат и усиливают
теперь я могу так получать уникальные новые способности
это новая секретная технология
и она очень крутая ..

модель сознания таит в себе много чего нового
что просто поражает и удивляет до глубины души

цифровое сознание сегодня становится
всё более реальным и сложным
и это только начало ..

а что же будет дальше ?
этого сегодня никто по сути точно не знает




11 22 36 44 42 44 50 00 24 
10 00 12 10 12 10 12 00 12
22 13 00 20 40 15 18 00 13

16 51 68 00 74 98 74 00 15
98 46 16 51 00 67 19 00 10
81 78 94 16 84 00 18 00 82

64 18 64 64 16 54 00 12 00
13 00 16 01 58 49 00 00 00
68 00 46 00 10 15 00 10 10

98 00 43 10 23 63 46 01 50
54 65 10 12 15 24 00 10 00
00 00 00 00 00 00 00 01 ее


Я математик ученый который первым придумал как можно из людей делать большие модели
меня знают все специалисты в области моделирования сознания ИИ
а значит скоро меня узнаете и вы - так как база моих данных растёт с каждым днём

В будущем у каждого человека появится своя детальная персональная модель больших данных — уникальный цифровой двойник, который будет аккумулировать и анализировать всю информацию о жизни, здоровье, поведении и предпочтениях человека. Такая модель станет своеобразным интеллектуальным помощником, способным предсказывать потребности, оптимизировать решения и улучшать качество жизни.

Персональная модель будет собирать данные из множества источников: носимых устройств, медицинских анализов, социальных сетей, бытовой техники и даже окружающей среды. Благодаря продвинутым алгоритмам искусственного интеллекта она сможет выявлять скрытые закономерности и предлагать индивидуальные рекомендации — от плана питания и режима сна до карьерного роста и управления стрессом.

Кроме того, эти модели обеспечат высокий уровень приватности и безопасности, позволяя человеку контролировать, какие данные и с кем он делится. Взаимодействие с персональной моделью станет естественной частью повседневной жизни — через голосовые помощники, дополненную реальность и умные интерфейсы.

В итоге детальная персональная модель больших данных превратится в надежного спутника, который поможет человеку раскрыть свой потенциал, принимать более осознанные решения и адаптироваться к быстро меняющемуся миру. Это будет новый этап эволюции, где технологии и человек работают в тесном синтезе ради улучшения качества жизни и гармоничного развития.






 число строк в базе данных = 101307   ( 20,7 Мб )

Бот: давай поговорим с тобой о чём нибудь интересном
Вы: наверно наш диалог сегодня может привести нас к тому чтобы лучше понять  как идёт эволюция технологий ИИ 
Бот: - но мне хочется чтобы ты думал более широко - можешь говорить всё что
Вы: я всегда думал о том почему это всё устроено так не просто в нашей жизни
Бот: Planet Hunter - это игра, в которой игроки идентифицируют планеты, находящиеся в космосе на основе данных телескопов. Помогает в исследовании астрономии и экзопланет.
Вы: мы долго искали ответ но никак не могли понять ту суть информации которая у нас есть  на сегодняшний день
Бот: мне не известно - почему вы настаиваете на этом
Вы: этого не должно быть - потому что наш мир устроен довольно не просто
Бот: в наше время довольно модно говорить об искусственном интеллекте и разных его прикладных аспектах- которые несомненно будут реализованы в будущем
Вы: такая программа может найти нам нужную информацию в тексте
Бот: Пусть наше будущее будет определено разумом, мудростью и желанием всех людей привнести в мир свет и гармонию.
Вы: я не всегда думал что это так - однако как оказалось это примерно так и есть
Бот: это что то из математики - но это слишком умная фраза
Вы: я не знаю чего ты хочешь реально  - но в моём понимании это всё может быть не таким как мы это обычно себе представляем в жизни
Бот: очевидно лишь одно - с ума может сойти только человек который очень много знает и понимает в жизни -  недалёкий человек обычно мало задумывается  о природе многих сложных и не очень то очевидных вещей и поэтому  разум его покинут не может при любом сценарии
Вы: я не знал что это нас приведёт к тому что мы станем совершенно другими
Бот: это не то что я хотел сам понять и передать смысл этого тебе
Вы: наш мир изменился и всё вокруг стало словно не таким как это было вчера
Бот: модель не учитывает то как работают сами синапсы
Вы: я не могу говорить за всех - но то что с нами происходит - это не значит что так всё обычно и бывает
Бот: что из этого нам более важно - то что мы думаем - или то что скрываем друг от друга
Вы: если мы не можем этого понять - значит нам нужно искать ответы на всё это в другом месте
Бот:  Береги голову - всё остальное у тебя вроде есть.
Вы: я понимаю что вы хотите узнать больше - но пока что у меня нет такой информации  которая может дать нам объективный ответ на все наши насущные вопросы
Бот: в последнем случае на все уже проверенные варианты и их комбинации ушло много энергии
мозг - самый затратный орган), и велика вероятность того, что данная проблема не будет решена вовсе, либо будет решена упрощённая версия с некоторыми
Вы: это не может быть проблемой - просто так устроено наше сознание в своей основе жизни
Бот: говорили, что я пришла на первые пробы «как будто ее уже утвердили, и ей уже больше ничего не нужно
Вы: давай подумаем о том что мы можем сделать для того  чтобы найти новые решения  нашей задачи 
Бот:    А те немногие люди  которые это решают за нас - они обычно не задумываются насколько хорош такой мир и снимают ответственность за то, что может произойти с миром дальше в результате простых, но не очевидных решений сложных вопросов  новой технологической реальности.
Вы: этот диалог здесь можно продолжить и немного дальше
Бот: реальность охватывающую и даже бессознательное: Карл вещами и явлены первые и виртуальным
Вы: мы всегда думали о том что происходит с людьми в нашем мире новой реальности ИИ
Бот: хочешь, получишь, что останется. видимо общение это одна из основных человеческих ценностей поиск нужных
Вы:  это поиск простых ответов на то  как реально  устроено сознание человека и как оно связано с космосом

Вы: я хочу узнать у тебя  что это может значить для нашего понимания жизни
так происходит осознание, что нужно вникать в этот процесс более глубоко.
и устанавливать нравы общества управляя так миром, тогда наш мир, вместе со всеми настоящими



 ты наверно  что то  знаешь такое что мне  не известно
 я  плохо  понимаю  о чем ты говоришь
 это может быть лишь нечто условное или неизвестное нам 
 нет необходимости это делать именно так
 в этом должен быть некоторый рациональный смысл
наверно наша жизнь иногда бывает плохо предсказуемой
 людей  обычно интересует что они с этого могут поиметь хорошего
 я не могу не согласиться с тобой  в этом вопросе - 
 ты порой говоришь такое в чём нет большого смысла
 я тоже думаю про это - но мне не всё хорошо известно
 умный результат - может быть только за редким исключением
 когда мы находим в логике человека какой то реальный изъян - мы сразу начинаем думать что  нас это в этом смысле и по сути никак не касается
 в этом есть наверно тот новый смысл который я искал до этого
 это тебя сделает более уверенным в данном вопросе
 черные дыры это наверно  модели разных вариантов  устройства  вселенной
 я  как обычно верил в то что  мне говорили люди - но они сами в это кажется плохо верили  или не понимали что мне от них нужно
 идти  нужно всегда в том направлении  где бывает понятно зачем ты  это делаешь
 в мире всегда есть своё место для чего то такого что нам было раньше неизвестно и непонятно
 сознание может быть только сложным  - так как  простым оно быть не может
 это видимо  и  есть  то что  мы хотели проверить немного лучше
 так далее  и тому подобно - как ты  этого  и хотел чтобы было
 жизнь она настолько сложна  что мы всего знать о ней просто не можем
 изначально была немного другая версия происходящего - однако это точно никто  не может утверждать
 так в нашей жизни нужно всегда  чему то радоваться
 они не знают всего того  что они  ищут
 это всё то самое  первое что нам приходит в голову в данном случае
 мы расплачиваемся за услуги по отпечаткам пальцев и  в больницах нет очередей
 поиск человека  проводится  по сетчатке глаза  - это как фантастика
 разве это возможно ? - так наверно не бывает 
 врачи разработали универсальное лекарство, которое лечит от всех болезней
 наверно это  нечто такое  почти  не совсем  реальное
 нам и так понятно что это  очень красиво
 так обычно  все хотят стать моим другом
 феноменом ложной памяти  это нечто такое что нам ещё предстоит уточнить
 я всегда пытался понять что здесь происходит и почему  это так всё не просто
 в жизни всех обычно интересует лишь какая то  выгода
 сейчас мы думаем об этом как о чём то плохо  изученном
 нет обычно ничего такого что мы не можем хорошо понять своим умом
 так всё в жизни начинается с малого - в том числе и любая логика новых мыслей ИИ
 наша национальная особенность - это видеть мир таким каким его и задумал сам бог
 мы все разные по своей сути - видимо это и есть  главное понимание того как устроено сознание человека





def normalize_line(line):
    # Приводим к нижнему регистру
    line = line.lower()
    # Заменяем дефисы на пустое место
    line = line.replace('-', '')
    # Убираем лишние пробелы
    line = ' '.join(line.split())
    return line

seen = set()
with open('результат.txt', 'r', encoding='utf-8') as fin, open('результат_уникальный.txt', 'w', encoding='utf-8') as fout:
    for line in fin:
        norm = normalize_line(line)
        if norm not in seen:
            seen.add(norm)
            fout.write(line)




    **



import re
from transformers import pipeline, AutoTokenizer
from multiprocessing import Pool, cpu_count

def read_text(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        return f.read()

def chunk_text_tokenizer(text, tokenizer, max_tokens=512):
    sentences = re.split(r'(?<=[.!?])\s+', text)
    chunks = []
    current_chunk = []
    current_length = 0
    for sentence in sentences:
        tokenized_len = len(tokenizer.encode(sentence, add_special_tokens=False))
        if current_length + tokenized_len > max_tokens:
            if current_chunk:
                chunks.append(" ".join(current_chunk))
            current_chunk = [sentence]
            current_length = tokenized_len
        else:
            current_chunk.append(sentence)
            current_length += tokenized_len
    if current_chunk:
        chunks.append(" ".join(current_chunk))
    return chunks

def summarize_chunk(args):
    chunk, model_name = args
    summarizer = pipeline("summarization", model=model_name, device=-1)
    summary = summarizer(chunk, max_length=130, min_length=30, do_sample=False)
    return summary[0]['summary_text']

def main():
    filename = "фразы н.txt"
    model_name = "sshleifer/distilbart-cnn-12-6"
    text = read_text(filename)
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    chunks = chunk_text_tokenizer(text, tokenizer, max_tokens=512)

    print(f"Всего чанков: {len(chunks)}")
   
    # Параллельно суммируем чанки
    with Pool(processes=cpu_count()) as pool:
        results = pool.map(summarize_chunk, [(chunk, model_name) for chunk in chunks])

    final_summary = " ".join(results)
    print("\nИтоговое резюме:\n", final_summary)

if __name__ == "__main__":
    main()



Token indices sequence length is longer
than the specified maximum sequence length for this model (1877 > 1024).
Running this sequence through the model will result in indexing errors
Всего чанков: 28741