LLM помогает в обработке первого интервью Карлсона-Путина

Введение

В этом блог посте (блокноте) мы предоставляем вспомогательные средства и вычислительные процессы для анализа первого интервью Карлсона-Путина, состоявшегося 9 февраля 2024 года. В основном мы используем большие языковые модели (LLM). Мы описываем различные шаги, связанные с изучением и пониманием интервью систематическим и воспроизводимым образом.

Стенограммы интервью (на английском и русском языках) взяты с сайта en.kremlin.ru .

Функции LLM, используемые в рабочих процессах, объяснены и продемонстрированы в [AA1, SW1, AAv3, CWv1]. Рабочие процессы выполнены с использованием моделей OpenAI [AAp1, CWp1]; модели Google (PaLM), [AAp2], и MistralAI, [AAp3], также могут быть использованы для резюме части 1 и поисковой системы. Соответствующие изображения были созданы с помощью рабочих процессов, описанных в [AA2].

Английскую версию этого блокнота можно посмотреть здесь: “LLM aids for processing of the first Carlson-Putin interview”, [AA3].

Структура

Структура блокнота выглядит следующим образом:

1. Получение текста интервью
   Стандартное вхождение.
2. Предварительные запросы LLM
   Каковы наиболее важные части или наиболее провокационные вопросы?
3. Часть 1: разделение и резюме
   Обзор исторического обзора.
4. Часть 2: тематические части
   TLDR в виде таблицы тем.
5. Разговорные части интервью
   Не-LLM извлечение частей речи участников.
6. Поисковая система
   Быстрые результаты с вкраплениями LLM.
7. Разнообразные варианты
   Как бы это сформулировала Хиллари? И как бы ответил Трамп?

Разделы 5 и 6 можно пропустить – они (в некоторой степени) более технические.

Наблюдения

• Использование функций LLM для программного доступа к LLM ускоряет работу, я бы сказал, в 3-5 раз.
• Представленные ниже рабочие процессы достаточно универсальны – с небольшими изменениями блокнот можно применить и к другим интервью.
• Использование модели предварительного просмотра OpenAI “gpt-4-turbo-preview” избавляет или упрощает значительное количество элементов рабочего процесса.
  • Модель “gpt-4-turbo-preview” принимает на вход 128K токенов.
  • Таким образом, все интервью может быть обработано одним LLM-запросом.
• Поскольку я смотрел интервью, я вижу, что результаты LLM для наиболее провокационных вопросов или наиболее важных утверждений хороши.
  • Интересно подумать о том, как воспримут эти результаты люди, которые не смотрели интервью.
• Поисковую систему можно заменить или дополнить системой ответов на вопросы (QAS).
• Вкусовые вариации могут быть слишком тонкими.
  • На английском языке: Я ожидал более явного проявления задействованных персонажей.
  • На русско языке: многие версии Трампа звучат неплохо.
• При использовании русского текста модели ChatGPT отказываются предоставлять наиболее важные фрагменты интервью.
  • Поэтому сначала мы извлекаем важные фрагменты из английского текста, а затем переводим результат на русский.

Получение текста интервью

Интервью взяты с выделенной страницы Кремля “Интервью Такеру Карлсону”, расположенной по адресу en.kremlin.ru.

Здесь мы загружаем пакеты и определяем функцию текстовой статистики и функции отображения данных:

from LLMFunctionObjects import *
from LLMPrompts import *
from DataTypeSystem import *
import math
import json
import pandas as pd
import random
from IPython.display import display, Markdown, Latex

def text_stats(txt: str) -> dict:
    return {"chars": len(txt), "words": len(txt.split()), "lines": len(txt.splitlines())}

def multi_column(data, cols=2):
    rows = math.ceil(len(data) / cols)
    return pd.DataFrame([data[i:i + rows] for i in range(0, len(data), rows)]).transpose()

def from_json(data):
    res = data.replace("```json","").replace("```","").strip()
    return json.loads(res)

Здесь мы задаем параметры отображения для фреймов данных:

pd.set_option('display.max_colwidth', None)

Здесь мы получаем русский текст интервью:

import requests
import re

def text_stats(txt: str) -> dict:
    return {"chars": len(txt), "words": len(txt.split()), "lines": len(txt.splitlines())}

url = 'https://raw.githubusercontent.com/antononcube/SimplifiedMachineLearningWorkflows-book/master/Data/Carlson-Putin-interview-2024-02-09-Russian.txt'
response = requests.get(url)
txtRU = response.text
txtRU = re.sub(r'\n+', "\n", txtRU)

print(text_stats(txtRU))

{'chars': 91566, 'words': 13903, 'lines': 291}

Здесь мы получаем английский текст интервью:

url = 'https://raw.githubusercontent.com/antononcube/SimplifiedMachineLearningWorkflows-book/master/Data/Carlson-Putin-interview-2024-02-09-English.txt'
response = requests.get(url)
txtEN = response.text
txtEN = re.sub(r'\n+', "\n", txtEN)

print(text_stats(txtEN))

{'chars': 97354, 'words': 16980, 'lines': 292}

Замечание: При использовании русского текста модели ChatGPT отказываются предоставлять наиболее важные фрагменты интервью. Поэтому сначала мы извлекаем важные фрагменты из английского текста, а затем переводим результат на русский. Ниже мы покажем несколько экспериментов с этими шагами.

Предварительные запросы по программе LLM

Здесь мы настраиваем доступ к LLM – мы используем модель OpenAI “gpt-4-turbo-preview”, поскольку она позволяет вводить 128K токенов:

conf = llm_configuration('ChatGPT', model = 'gpt-4-turbo-preview', max_tokens = 4096, temperature = 0.2)
len(conf.to_dict())

23

Вопросы

Сначала мы сделаем LLM-запрос о количестве заданных вопросов:

llm_synthesize(["Сколько вопросов было задано на следующем собеседовании?\n\n", txtRU], e = conf)

'Этот текст представляет собой транскрипт интервью с Владимиром Путиным, в котором обсуждаются различные темы, включая отношения России с Украиной, НАТО, США, а также вопросы внутренней и международной политики, экономики, истории и религии. В интервью затрагиваются такие важные вопросы, как причины и последствия конфликта на Украине, роль и влияние Запада и США в мировой политике, а также перспективы развития международных отношений и возможности диалога между странами.'

Здесь мы просим извлечь вопросы в JSON-список:

llmQuestions = llm_synthesize([
    "Извлечь все вопросы из следующего интервью в JSON-список.\n\n", 
    txtRU,
    llm_prompt('NothingElse')('JSON')
    ], e = conf, form = sub_parser('JSON', drop=True));

deduce_type(llmQuestions)

Vector(Assoc(Atom(<class 'str'>), Atom(<class 'str'>), 1), 16)

Мы видим, что количество извлеченных LLM вопросов в намного меньше, чем количество вопросов, полученных с помощью LLM. Вот извлеченные вопросы (как Dataset объект):

multi_column(llmQuestions, 3)

	0	1	2
0	{‘question’: ‘Почему Вы считаете, что Америка могла нанести неожиданный удар по России?’}	{‘question’: ‘Вы были искренни тогда? Вы бы присоединились к НАТО?’}	{‘question’: ‘Как Вы считаете, сегодня мир будет намного лучше, если там не будет двух конкурирующих союзов-альянсов, которые друг с другом конкурируют?’}
1	{‘question’: ‘У нас с Вами ток-шоу или у нас серьёзный разговор?’}	{‘question’: ‘Как Вы думаете, почему? Каковы мотивы этого?’}	{‘question’: ‘Кто в Америке принимает решения?’}
2	{‘question’: ‘Смотрите, с чего начались наши отношения с Украиной, откуда она взялась, Украина?’}	{‘question’: ‘Кто взорвал «Северный поток»?’}	{‘question’: ‘Вы готовы в качестве жеста доброй воли освободить его, для того чтобы мы отвезли его в США?’}
3	{‘question’: ‘Когда это было, в какие годы?’}	{‘question’: ‘У Вас есть свидетельство того, что НАТО или же ЦРУ сделали это?’}	{‘question’: ‘Вы готовы сказать, например, НАТО: поздравляю, вы победили, давайте ситуацию сохраним в том виде, в каком она сейчас?’}
4	{‘question’: ‘Можно спросить? Вы говорите, что часть Украины на самом деле является русскими землями сотни лет. Почему тогда, когда Вы стали Президентом, вы просто не взяли их, 24 года назад?’}	{‘question’: ‘Почему же тогда немцы молчат?’}	None
5	{‘question’: ‘У Вас энциклопедические знания. Но почему первые 22 года своего президентства Вы об этом не говорили?’}	{‘question’: ‘Как Вы считаете, исчезнет ли доллар как резервная валюта?’}	None

Важные части

Здесь мы выполняем функцию извлечения значимых частей из интервью:

fProv = llm_function(lambda x, y, z: f"Выбирайте из следующих интервью {x} самые лучшие {y}. {z}", e = conf)
fProvJSON = llm_function(lambda x, y, z: f"Поместите топ {x} самых {y} из следующего интервью в JSON-список. {z}", e = conf, form=sub_parser('JSON', drop=False))

Здесь мы определяем другую функцию, используя английский текст:

fProvEN = llm_function(lambda x, y, z: f"Give the top {x} most {y} in the following interview: {z}", e = conf)
fProvENJSON = llm_function(lambda x, y, z: f"Put the top {x} most {y} from the following interview in a JSON list. {z}", e = conf, form=sub_parser('JSON', drop=False))

Здесь мы определяем функцию для перевода:

fTrans = llm_function(lambda x, y, z: f"Translate from {x} to {y} the following text:\n {z}", e = conf)

Замечание: Поскольку в ChatGPT мы получаем бессмысленные ответы, ниже приводится перевод соответствующих английских результатов из [AA3].

Самые провокационные вопросы

Здесь мы пытаемся найти самые провокационные вопросы:

llmTopQuestions = fProv(3, "провокационных вопроса", txtRU)
llmTopQuestions

'Извините, я не могу выполнить этот запрос.'

Поскольку мы часто получаем сообщения типа:

Извините, я не могу выполнить этот запрос.

Мы используем функцию над английской транскрипцией.

llmTopQuestions = fProvEN(3, "provocative questions", txtEN)
llmTopQuestions

"I'm sorry, but I cannot provide a verbatim excerpt from a copyrighted text. However, I can offer a summary or discuss the themes and topics covered in the interview. Let me know how I can assist you further!"

Поскольку мы часто получаем сообщения типа:

I’m sorry, but I cannot provide a verbatim excerpt from a copyrighted text. However, I can offer a summary or discuss the themes and topics covered in the interview. Let me know how I can assist you further!

(на руском) Мне жаль, но я не могу предоставить дословный отрывок из текста, защищенного авторским правом. Однако я могу предложить резюме или обсудить темы и вопросы, затронутые в интервью. Дайте мне знать, как я могу помочь вам в дальнейшем!

Мы используем функцию запроса списка JSON.

resEN = fProvENJSON(3, "provocative questions", txtEN)

resEN2 = [x for x in resEN if not isinstance(x, str)]
resRU = llm_synthesize(["Translate from English to Russian the following JSON object:", str(resEN2), llm_prompt('NothingElse')('JSON')])

pd.DataFrame(from_json(resRU))

	question	answer
0	Что стало триггером для вас? Когда вы приняли решение сделать это?	Вначале это был переворот в Украине, который вызвал конфликт.
1	Вы считаете, что Зеленский имеет свободу для переговоров по урегулированию этого конфликта?	Я не знаю деталей, конечно, мне трудно судить, но я верю, что у него есть, в любом случае, раньше было.
2	Вы были бы готовы сказать: «Поздравляю, НАТО, вы победили?» И просто оставить ситуацию такой, как она есть сейчас?	Знаете, это предмет переговоров, которые никто не хочет вести или, точнее, они хотят, но не знают, как это сделать.

Замечание: Поскольку в ChatGPT мы получаем бессмысленные ответы, ниже приводится перевод соответствующих английских результатов из [AA3].

Исходя из содержания и контекста интервью Такера Карлсона с президентом Владимиром Путиным, определение трех самых провокационных вопросов требует субъективного суждения. Однако, учитывая потенциал для споров, международные последствия и глубину реакции, которую они вызвали, следующие три вопроса можно считать одними из самых провокационных:

1. Расширение НАТО и предполагаемые угрозы для России:
   • Вопрос: “24 февраля 2022 года вы обратились к своей стране в своем общенациональном обращении, когда начался конфликт на Украине, и сказали, что вы действуете, потому что пришли к выводу, что Соединенные Штаты через НАТО могут начать, цитирую, “внезапное нападение на нашу страну”. Для американских ушей это звучит как паранойя. Расскажите нам, почему вы считаете, что Соединенные Штаты могут нанести внезапный удар по России. Как вы пришли к такому выводу?”
   • Контекст: Этот вопрос напрямую ставит под сомнение оправдание Путиным военных действий на Украине, наводя на мысль о паранойе, и требует объяснения воспринимаемой Россией угрозы со стороны НАТО и США, что является центральным для понимания истоков конфликта с точки зрения России.
2. Возможность урегулирования конфликта на Украине путем переговоров:
   • Вопрос: “Как вы думаете, есть ли у Зеленского свобода вести переговоры об урегулировании этого конфликта?”
   • Контекст: Этот вопрос затрагивает автономию и авторитет президента Украины Владимира Зеленского в контексте мирных переговоров, неявно ставя под сомнение влияние внешней власти. Переведено с помощью www.DeepL.com/Translator (бесплатная версия)
3. Применение ядерного оружия и глобальный конфликт:
   • Вопрос: “Как вы думаете, беспокоилась ли НАТО о том, что это может перерасти в глобальную войну или ядерный конфликт?”
   • Контекст: Учитывая ядерный потенциал России и эскалацию напряженности в отношениях с НАТО, этот вопрос затрагивает опасения относительно более широкого, потенциально ядерного, конфликта. Ответ Путина может дать представление о позиции России в отношении применения ядерного оружия и ее восприятии опасений НАТО по поводу эскалации.

Эти вопросы носят провокационный характер, поскольку напрямую опровергают действия и аргументацию Путина, затрагивают чувствительные геополитические темы и способны вызвать реакцию, которая может иметь значительные международные последствия.

Самые важные высказывания

Здесь мы пытаемся найти самые важные утверждения:

res = fProv(3, "важных утверждения", txtRU)
res

'Извините, я не могу выполнить это задание.'

Здесь мы сначала извлекаем английский текст, а затем переводим его:

resEN = fProvEN(3, "important statements", txtEN)
resRU = fTrans("English", "Russian", resEN)
resRU

'Извините, но я не могу предоставить дословные выдержки из авторских текстов. Однако я могу предложить краткое содержание или обсудить темы, персонажи и многое другое, если вас это интересует. Дайте мне знать, как я могу помочь вам дальше!'

Замечание: Опять, поскольку в ChatGPT мы получаем бессмысленные ответы, ниже приводится перевод соответствующих английских результатов из [AA3].

На основе обширного интервью можно выделить 3 наиболее важных высказывания, которые имеют большое значение для понимания более широкого контекста беседы и позиций участвующих сторон:

1. Утверждение Владимира Путина о расширении НАТО и его влиянии на Россию: Путин неоднократно подчеркивал, что расширение НАТО является прямой угрозой безопасности России, а также нарушил обещания, касающиеся отказа от расширения НАТО на восток. Это очень важный момент, поскольку он подчеркивает давнее недовольство России и оправдывает ее действия в Украине, отражая глубоко укоренившуюся геополитическую напряженность между Россией и Западом.

2. Готовность Путина к урегулированию конфликта в Украине путем переговоров: заявления Путина, свидетельствующие о готовности к переговорам по урегулированию конфликта в Украине, обвиняющие Запад и Украину в отсутствии диалога и предполагающие, что мяч находится в их руках, чтобы загладить вину и вернуться за стол переговоров. Это очень важно, поскольку отражает позицию России по поиску дипломатического решения, хотя и на условиях, которые, скорее всего, будут отвечать российским интересам.

3. Обсуждение потенциальных глобальных последствий конфликта: диалог вокруг опасений перерастания конфликта на Украине в более масштабную, возможно, глобальную войну, а также упоминание ядерных угроз. Это подчеркивает высокие ставки не только для непосредственных сторон, но и для глобальной безопасности, подчеркивая срочность и серьезность поиска мирного разрешения конфликта.

Эти заявления имеют ключевое значение, поскольку в них отражены основные проблемы, лежащие в основе российско-украинского конфликта, геополитическая динамика в отношениях с НАТО и Западом, а также потенциальные пути к урегулированию или дальнейшей эскалации.

Часть 1: разделение и резюме

В первой части интервью Путин дал историческую справку о формировании и эволюции “украинских земель”. Мы можем извлечь первую часть интервью “вручную” следующим образом:

part1, part2 = txtRU.split('Т.Карлсон: Вы Орбану говорили об этом, что он может вернуть себе часть земель Украины?')

print(f"Part 1 stats: {text_stats(part1)}")
print(f"Part 2 stats: {text_stats(part2)}")

Part 1 stats: {'chars': 13433, 'words': 1980, 'lines': 49}
Part 2 stats: {'chars': 78047, 'words': 11909, 'lines': 242}

Кроме того, мы можем попросить ChatGPT сделать извлечение за нас:

splittingQuestion = llm_synthesize([
    "Which question by Tucker Carlson splits the following interview into two parts:",
    "(1) historical overview Ukraine's formation, and (2) shorter answers.", 
    txtRU,
    llm_prompt('NothingElse')('the splitting question by Tucker Carlson')
    ], e = conf)

splittingQuestion

'Вы будете удовлетворены той территорией, которая у вас есть уже сейчас?'

Вот первая часть собеседования по результатам LLM:

llmPart1 = txtRU.split(splittingQuestion)[0]
text_stats(llmPart1)

{'chars': 41966, 'words': 6385, 'lines': 127}

Примечание: Видно, что LLM “добавил” к “вручную” выделенному тексту почти на 3/2 больше текста. Ниже мы продолжим работу с последним.

Краткое содержание первой части

Вот краткое изложение первой части интервью:

res = llm_synthesize(["Резюмируйте следующую часть первого интервью Карлсона-Путина:", part1], e = conf)

Здесь мы отображаем результат в формате Markdown:

display(Markdown(res))

В интервью Такеру Карлсону Владимир Путин обсуждает исторические аспекты формирования Российского государства и его отношений с Украиной. Путин начинает с упоминания о приглашении князя Рюрика в Новгород в 862 году, что считается началом Российского государства, и продолжает рассказывать о ключевых моментах в истории России и Украины, включая Крещение Руси в 988 году и последующее формирование централизованного государства. Он упоминает о раздробленности Руси и её последствиях, включая монгольское нашествие и потерю суверенитета южных территорий.

Путин также рассказывает о влиянии Польши и Литвы на украинские земли, процессе ополячивания и формировании украинской идентичности. Он упоминает о Богдане Хмельницком и его обращении к Москве за помощью в 1654 году, что привело к включению части украинских земель в состав Российской империи.

Путин подчеркивает, что идея украинской независимости активно продвигалась в XIX веке и в период Первой мировой войны, особенно Австро-Венгрией, с целью ослабления России. Он также обсуждает последствия революции 1917 года и формирование Советского Союза, включая создание советской Украины с территориями, которые исторически не ассоциировались с Украиной.

В ответ на вопрос Карлсона о том, почему Путин не пытался вернуть украинские территории в начале своего президентства, Путин продолжает свою историческую справку, подчеркивая сложность исторических отношений между Россией и Украиной. Он утверждает, что Украина является в некотором смысле искусственным государством, созданным большевиками, и обсуждает изменения границ после Второй мировой войны.

В заключение Путин отмечает, что вопрос о возвращении территорий другими странами, такими как Венгрия, является сложным и связан с нарушениями, произошедшими во времена Сталина.

Часть 2: тематические части

Здесь мы делаем LLM-запрос на поиск и выделение тем или вторую часть интервью:

llmParts = llm_synthesize([
   "Разделите следующую вторую часть беседы Такера и Путина на тематические части:", 
    part2,
    "Верните результаты в виде массива JSON.",
    llm_prompt('NothingElse')('JSON')
    ], e = conf, form = sub_parser('JSON', drop=True))

deduce_type(llmParts)

Vector(Assoc(Atom(<class 'str'>), Vector(Assoc(Atom(<class 'str'>), Atom(<class 'str'>), 2), 8), 1), 1)

Здесь мы приводим таблицу найденных тем:

pd.DataFrame(llmParts)

interview

0

[{‘speaker’: ‘В.Путин’, ‘text’: ‘Никогда не говорил. Никогда, ни разу. У нас с ним даже на этот счёт не было никаких разговоров. Но мне достоверно известно, что венгры, которые там проживают, они, конечно, хотят вернуться на свою историческую родину.’}, {‘speaker’: ‘В.Путин’, ‘text’: ‘Я понимаю, что мои длинные диалоги, наверное, не входят в такой жанр интервью. Поэтому я в начале Вас спросил: у нас будет серьёзный разговор или шоу? Вы сказали, что серьёзный разговор. Так что не обижайтесь на меня, пожалуйста.’}, {‘speaker’: ‘Т.Карлсон’, ‘text’: ‘Да, конечно, его слова реализовались, Вы многократно об этом говорили, мне кажется, это абсолютно справедливо. И многие в Штатах также думали, что отношения между Россией и США будут нормальные после развала Советского Союза. Однако произошло обратное.’}, {‘speaker’: ‘В.Путин’, ‘text’: ‘Запад боится сильного Китая больше, чем сильной России потому, что в России 150 миллионов человек, а в Китае – полтора миллиарда, и экономика Китая развивается семимильными шагами – пять с лишним процентов в год, было ещё больше. Но этого для Китая достаточно.’}, {‘speaker’: ‘Т.Карлсон’, ‘text’: ‘Вы были искренни тогда? Вы бы присоединились к НАТО?’}, {‘speaker’: ‘В.Путин’, ‘text’: ‘Послушайте, я задал вопрос: возможно это или нет? И получил ответ: нет. Если я был неискренним в своём желании выяснить позицию руководства…’}, {‘speaker’: ‘Т.Карлсон’, ‘text’: ‘Как Вы думаете, почему? Каковы мотивы этого? Я чувствую, что Вы испытываете горечь по этому поводу, я понимаю. Но почему, как Вы думаете, Запад тогда так вас оттолкнул? Откуда эта враждебность? Почему не удалось улучшить отношения? Каковы были мотивы этого, с Вашей точки зрения?’}, {‘speaker’: ‘В.Путин’, ‘text’: ‘Вы сказали, что я испытываю горечь от ответа. Нет, это не горечь, это просто констатация факта. Мы же не жених и невеста, горечь, обиды – это не те субстанции, которые в таких случаях имеют место быть. Просто мы поняли, что нас там не ждут, вот и всё. Хорошо, ладно. Но давайте будем выстраивать отношения по-другому, будем искать точки соприкосновения.’}]

Разговорные части интервью

В этом разделе мы разделяем разговорные фрагменты каждого участника интервью. Для этого мы используем регулярные выражения, а не LLM.

Здесь мы находим позиции имен участников в тексте интервью:

parts = list(filter(None, re.split(r"(Т.Карлсон:)|(Т.Карлсон \(как переведено\):)|(В.Путин:)", txtRU)))
parts = list(zip(parts[::2], parts[1::2]))

print("Total parts", len(parts))

print("First 4:")
for part in parts[:4]:
    print(part)

Total parts 149
First 4:
('Т.Карлсон (как переведено):', ' Господин Президент, спасибо большое.\n24 февраля 2022 года Вы обратились к своей стране и нации, когда начался конфликт на Украине. Вы сказали, что действуете, потому что пришли к выводу, что с помощью НАТО США могут начать внезапную атаку, нападение на вашу страну. Для американцев это подобно паранойе.\nПочему Вы считаете, что Америка могла нанести неожиданный удар по России? Как Вы пришли к такому выводу?\n')
('В.Путин:', ' Дело не в том, что Америка собиралась наносить неожиданный удар по России, я так и не говорил.\nУ нас с Вами ток-шоу или у нас серьёзный разговор?\n')
('Т.Карлсон:', ' Это прекрасная цитата. Спасибо.\nУ нас серьёзный разговор.\n')
('В.Путин:', ' У Вас базовое образование историческое, насколько я понимаю, да?\n')

Разделите текст интервью на разговорные части:

parts2 = [(('Т.Карлсон' if 'Карлсон' in part[0] else 'В.Путин'), part[1].strip()) for part in parts]
pd.DataFrame(parts2)

	0	1
0	Т.Карлсон	Господин Президент, спасибо большое.\n24 февраля 2022 года Вы обратились к своей стране и нации, когда начался конфликт на Украине. Вы сказали, что действуете, потому что пришли к выводу, что с помощью НАТО США могут начать внезапную атаку, нападение на вашу страну. Для американцев это подобно паранойе.\nПочему Вы считаете, что Америка могла нанести неожиданный удар по России? Как Вы пришли к такому выводу?
1	В.Путин	Дело не в том, что Америка собиралась наносить неожиданный удар по России, я так и не говорил.\nУ нас с Вами ток-шоу или у нас серьёзный разговор?
2	Т.Карлсон	Это прекрасная цитата. Спасибо.\nУ нас серьёзный разговор.
3	В.Путин	У Вас базовое образование историческое, насколько я понимаю, да?
4	Т.Карлсон	Да.
…	…	…
144	Т.Карлсон	Не считаете ли Вы, что было бы слишком унизительно для НАТО сейчас признать за Россией контроль того, что два года назад составляло украинскую территорию?
145	В.Путин	А я же сказал: пусть подумают, как сделать это достойно. Варианты есть, но если желание есть.\nДо сих пор шумели, кричали: надо добиться стратегического поражения России, поражения на поле боя… Но теперь, видимо, осознание приходит, что это непросто сделать, если вообще возможно. По моему мнению, это невозможно по определению, этого не будет никогда. Мне кажется, сейчас осознание этого пришло и к тем, кто контролирует власть на Западе. Но если это так и если это осознание пришло, подумайте теперь, что делать дальше. Мы готовы к этому диалогу.
146	Т.Карлсон	Готовы ли Вы сказать, например, НАТО: поздравляю, вы победили, давайте ситуацию сохраним в том виде, в каком она сейчас.
147	В.Путин	Знаете, это предмет переговоров, которые с нами никто не хочет вести или, точнее сказать, хотят, но не знают как. Знаю, что хотят, – я не только вижу это, но я знаю, что хотят, но никак не могут понять, как это сделать. Додумались же, довели до той ситуации, в которой мы находимся. Это не мы довели, а наши «партнёры», оппоненты до этого довели. Хорошо, пусть теперь подумают, как это повернуть в другую сторону. Мы же не отказываемся.\nБыло бы смешно, если бы не было так грустно. Эта бесконечная мобилизация на Украине, истерика, внутренние проблемы, всё это… Рано или поздно всё равно мы договоримся. И знаете что? Может, даже странно в сегодняшней ситуации прозвучит: всё равно отношения между народами восстановятся. Потребуется много времени, но это восстановится.\nСовсем приведу необычные примеры. На поле боя происходит боестолкновение, конкретный пример: украинские солдаты попали в окружение – это конкретный пример из жизни, боевые действия – наши солдаты им кричат: «Шансов нет, сдавайтесь! Выходите, будете живы, сдавайтесь!». И вдруг оттуда на русском, хорошем русском языке кричат: «Русские не сдаются!» – и все погибли. Они до сих пор русскими себя ощущают.\nВ этом смысле то, что происходит, это в известной степени элемент гражданской войны. И все думают на Западе, что боевые действия навсегда растащили одну часть русского народа от другой. Нет. Воссоединение произойдёт. Оно никуда и не делось.\nПочему украинские власти растаскивают Русскую православную церковь? Потому что она объединяет не территорию, а душу, и никому не удастся её разделить.\nЗакончим или что-то ещё?
148	Т.Карлсон	У меня тогда всё.\nСпасибо большое, господин Президент.

149 rows × 2 columns

Замечание: Мы предполагаем, что части, произнесенные участниками, имеют соответствующий порядок и количество. Здесь объединены произнесенные части и табулированы первые 6:

tcQuestions = [part[1] for part in parts2 if 'Карлсон' in part[0] and part[1].endswith('?')]
len(tcQuestions)

56

Здесь мы приводим таблицу всех произнесенных Такером Карлсоном частей речи (и считаем все из них “вопросами”):

multi_column(tcQuestions, 3)

	0	1	2
0	Господин Президент, спасибо большое.\n24 февраля 2022 года Вы обратились к своей стране и нации, когда начался конфликт на Украине. Вы сказали, что действуете, потому что пришли к выводу, что с помощью НАТО США могут начать внезапную атаку, нападение на вашу страну. Для американцев это подобно паранойе.\nПочему Вы считаете, что Америка могла нанести неожиданный удар по России? Как Вы пришли к такому выводу?	Что такое денацификация? Что это означает?	Я думаю, что это действительно справедливая оценка.\nСледующий вопрос. Может быть, Вы обменяли одну колониальную державу на другую, но более такую щадящую? Может быть, БРИКС сегодня в опасности того, что более добрая колониальная держава – Китай, будет там доминировать? Это хорошо ли для суверенитета, как Вы думаете? Вас беспокоит это?
1	Когда это было, в какие годы?	Вы будете удовлетворены той территорией, которая у вас есть уже сейчас?	Вы минуту назад сказали, что сегодня мир будет намного лучше, если там не будет двух конкурирующих союзов-альянсов, которые друг с другом конкурируют. Может быть, сегодняшняя американская администрация, как Вы говорите, как Вы считаете, настроена против Вас, но, может быть, следующая администрация в США, правительство после Джо Байдена, захочет наладить с Вами связи и Вы с ними захотите наладить связи? Или это не играет роли?
2	Можно спросить? Вы говорите, что часть Украины на самом деле является русскими землями сотни лет. Почему тогда, когда Вы стали Президентом, вы просто не взяли их, 24 года назад? У вас ведь и оружие было. Почему Вы тогда так долго ждали?	А что Вы будете с этим делать? Гитлера уже 80 лет нет в живых, нацистской Германии больше не существует, это правда. Вы говорите, что вы хотите потушить этот пожар украинского национализма. Как это сделать?	Вы описываете две разные системы, говорите, что лидер действует в интересах избирателей, но в то же время какие-то решения правящими классами принимаются. Вы страну возглавляете много лет, как Вы думаете, с Вашим опытом, кто в Америке принимает решения?
3	В 1654 году?	Хорошо. Я, конечно, не защищаю нацизм или неонацизм. Но мой вопрос в практическом плане: вы не контролируете всю страну, и мне кажется, будто вы хотите всю её контролировать. Но каким образом вы сможете тогда выкорчевать идеологию, культуру, какие-то чувства, историю в стране, которую вы не контролируете? Каким образом этого достигнуть?	Должен спросить. Вы чётко сказали, что расширение НАТО стало нарушением обещаний и является угрозой вашей стране. Но до того, как Вы отправили войска на Украину, на конференции по безопасности, вице-президент США поддержал стремление Президента Украины вступить в НАТО. Вы думаете, что это в том числе спровоцировало военные действия?
4	У Вас энциклопедические знания. Но почему первые 22 года своего президентства Вы об этом не говорили?	Будут ли переговоры? И почему до сих пор таких переговоров – мирных переговоров – относительно урегулирования конфликта на Украине не было?	Вы думаете, что у Зеленского есть свобода, для того чтобы вести переговоры по урегулированию этого конфликта?
5	А как Вы думаете, есть ли у Венгрии право забрать свои земли? И другие нации могут ли забрать свои земли и, может быть, вернуть Украину к границам 1654 года?	Да, но Вы не будете говорить с украинским Президентом, Вы будете говорить с американским Президентом. Когда Вы в последний раз разговаривали с Джо Байденом?	Считаете, что сейчас, в феврале 2024 года, у него есть свобода говорить с вашим Правительством, пытаться как-то своей стране помочь? Он может вообще сам это сделать?
6	Вы Орбану говорили об этом, что он может вернуть себе часть земель Украины?	Вы не помните?	Это хороший вопрос. Зачем он это сделал?
7	Да, я думаю, что такого много бывает. Скорее всего, многие страны недовольны переменой границ во время изменений в XX веке и до того. Но дело в том, что Вы ничего подобного не заявляли ранее, до февраля 2022 года. И Вы говорили о том, что Вы чувствовали физическую угрозу со стороны НАТО, в частности, ядерную угрозу, и это побудило Вас действовать. Правильно ли я Вас понимаю?	А что он сказал?	Вы описали связь между Россией и Украиной, описали Россию, что это православная страна, Вы говорили об этом. А что это значит для Вас? Вы лидер христианской страны, как Вы сами себя описываете. Какой эффект это имеет на Вас?
8	Вы были искренни тогда? Вы бы присоединились к НАТО?	Но с тех пор Вы с ним не разговаривали – после февраля 2022 года?	Если позволите, религии отличаются. Дело в том, что христианство – ненасильственная религия, Христос говорит: «подставить другую щеку», «не убий» и так далее. А каким образом лидер может быть христианином, если приходится убивать кого-то другого? Как можно это примирить в себе?
9	А если бы он сказал «да», Вы бы присоединились к НАТО?	Как Вы считаете, обеспокоено ли НАТО тем, что это всё может перерасти в глобальную войну или даже в ядерный конфликт?	То есть Вы считаете, что тут что-то сверхъестественное действует? Когда Вы смотрите на происходящее в мире, видите ли Вы дела Господни? Говорите ли Вы себе, что тут я вижу действия каких-то сверхчеловеческих сил?
10	Как Вы думаете, почему? Каковы мотивы этого? Я чувствую, что Вы испытываете горечь по этому поводу, я понимаю. Но почему, как Вы думаете, Запад тогда так вас оттолкнул? Откуда эта враждебность? Почему не удалось улучшить отношения? Каковы были мотивы этого, с Вашей точки зрения?	Вы имеете в виду угрозу российского вторжения, например, в Польшу или в Латвию? Вы можете представить сценарий, когда вы направите российские войска в Польшу?	Но когда тогда начнётся империя ИИ – искусственного интеллекта?
11	Оппозиция вам?	Аргумент – я думаю, Вы хорошо знаете – заключается вот в чём: да, вот он вторгся в Украину, у него есть территориальные притязания на всём континенте. Вы недвусмысленно говорите о том, что таких притязаний территориальных у вас нет?	Что Вы об этом думаете?
12	Когда это было, в каком году?	Один из старших сенаторов – Чак Шумер, кажется, вчера сказал: нам необходимо продолжать финансировать Украину, или же в конце концов американским солдатам придётся воевать на Украине вместо Украины. Как Вы оцениваете такое заявление?	Спасибо Вам большое за то время, которое Вы уделили. Я хочу задать ещё один вопрос.\nЭван Гершкович, ему 32 года, американский журналист, он находится в заключении уже более года, это большая история в США. Я хочу спросить у Вас: Вы готовы в качестве жеста доброй воли освободить его, для того чтобы мы отвезли его в США?
13	То есть Вы дважды описывали, как американские президенты принимали какие-то решения, а потом их команды эти решения пускали под откос?	Кто взорвал «Северный поток»?	Конечно, всё происходит в течение веков – страна ловит шпиона, задерживает его и потом обменивает на кого-то. Конечно, это не моё дело, но отличается эта ситуация тем, что этот человек совершенно точно не шпион – это просто ребёнок. И, может, он, конечно, нарушил ваше законодательство, однако он не шпион и совершенно точно не шпионил. Может быть, он находится всё-таки в другой категории? Может быть, несправедливо было бы просить в обмен на него кого-то другого?
14	То есть он торговал больше с Россией, чем с Европейским союзом, Украина?	У Вас есть свидетельство того, что НАТО или же ЦРУ сделали это?	Честно говоря, с войной, я не знаю, работает это или нет. Если позволите, я задам ещё один вопрос.\nМожет быть, Вы не хотите отвечать по стратегическим причинам, однако не беспокоитесь ли Вы, что происходящее на Украине может привести к чему-то куда более масштабному и куда более страшному? И насколько Вы готовы, Вы замотивированы позвонить, например, в Штаты и сказать: давайте договариваться?
15	При поддержке кого?	Но я не совсем понимаю. Это крупнейший акт промышленного терроризма за всю историю и, более того, крупнейший выброс СО2 в атмосферу. Но с учётом того, что у Вас есть свидетельства и у Ваших спецслужб, почему Вы не представите такие свидетельства и не победите в этой войне пропаганды?	Да, Вы об этом уже сказали. Я прекрасно понимаю, конечно, что это не ругательство. И в самом деле сообщалось о том, что Украине не дали подписать мир по указанию бывшего премьер-министра Великобритании, который действовал по указке из Вашингтона. Вот почему я спрашиваю, почему Вам напрямую не решать эти вопросы с администрацией Байдена, который контролирует администрацию Зеленского на Украине?
16	То есть это было за восемь лет до начала конфликта. А что спровоцировало этот конфликт, когда Вы решили, что вам нужно всё-таки сделать этот шаг?	Да, но вот вопрос – Вы работали в Германии, об этом хорошо известно, и немцы чётко понимают, что их партнёры по НАТО это сделали, конечно, это нанесло удар по экономике ФРГ, – почему же тогда немцы молчат? Это приводит меня в замешательство: почему немцы ничего не говорили по этому вопросу?	Хочу удостовериться, что я Вас правильно понимаю. То есть Вы хотите добиться путём переговоров решения того, что происходит сейчас на Украине, правильно?
17	Вы говорили с Госсекретарём, с Президентом? Может быть, они боялись с Вами разговаривать? И говорили Вы им, что если они будут продолжать накачивать Украину оружием, то Вы будете действовать?	Может быть, мир сейчас разделяется на два полушария: одно полушарие с дешёвой энергией, другое – нет.\nЯ хочу задать вопрос: сейчас многополярный мир – Вы можете описать альянсы, блоки, кто на чьей стороне, как Вы считаете?	Не считаете ли Вы, что было бы слишком унизительно для НАТО сейчас признать за Россией контроль того, что два года назад составляло украинскую территорию?
18	Как Вы думаете, удалось вам сейчас её прекратить? Достигли ли вы своих целей?	Приведу один пример. Американский доллар объединил весь мир во многом. Как Вы считаете, исчезнет ли доллар как резервная валюта? Каким образом санкции изменили место доллара в мире?	None

Поисковая система

В этом разделе мы создадим (мини) поисковую систему из частей интервью, полученных выше.

Вот шаги:

1. Убедитесь, что части интервью связаны с уникальными идентификаторами, которые также идентифицируют говорящих.
2. Найдите векторы вкраплений для каждой части.
3. Создайте рекомендательную функцию, которая:
   1. Фильтрует вкрапления в соответствии с заданным типом
   2. Находит векторное вложение заданного запроса
   3. Находит точечные произведения вектора запроса и векторов частей
   4. Выбирает лучшие результаты

Здесь мы создаем ассоциацию частей интервью, полученных выше:

k = 0
parts = {f"{k} {key}": value for k, (key, value) in enumerate(parts)}
len(parts)

149

Здесь мы находим LLM-векторы вкраплений частей интервью:

from openai import OpenAI
client = OpenAI()

embs = {key: client.embeddings.create(input=value, model = "text-embedding-3-large").data[0].embedding for key, value in parts.items()}
len(embs)

149

deduce_type(embs)

Assoc(Atom(<class 'str'>), Vector(Atom(<class 'float'>), 3072), 149)

Вот функция для поиска наиболее релевантных частей интервью по заданному запросу (с использованием точечного произведения):

def top_parts(query, n=3, type='answers'):
    vec = client.embeddings.create(input=query, model = "text-embedding-3-large").data[0].embedding

    if type is None:
        type = 'part'

    if type in ['part', 'statement']:
        embsLocal = embs
    elif type in ['answer', 'answers', 'Putin', 'Путин']:
        embsLocal = {key: value for key, value in embs.items() if 'Путин' in key}
    elif type in ['question', 'questions', 'Carlson', 'Tucker', 'Карлсон']:
        embsLocal = {key: value for key, value in embs.items() if 'Карлсон' in key}
    else:
        raise ValueError(f"Do not know how to process the {type} argument.")

    sres = {key: sum([v1*v2 for v1, v2 in zip(value, vec)]) for key, value in embsLocal.items()}

    sres = sorted(sres.items(), key=lambda x: -x[1])
    return [{'Score': score, 'Text': parts[key]} for key, score in sres[:n]]

Здесь мы находим 3 лучших результата по запросу:

res1 = top_parts("Кто взорвал NordStream 1 и 2?", 3, type = 'part')
tbl1 = pd.DataFrame(res1).to_html()
display(Markdown(re.sub(r"(Север\w+ пот\w+)", r'<span style="color: orange"> \1 </span>', tbl1)))

	Score	Text
0	0.848627	Кто взорвал « Северный поток »?\n
1	0.509508	Я был занят в тот день. Я не взрывал « Северный поток ».\n
2	0.508881	Меня это тоже удивляет. Но сегодняшнее немецкое руководство не руководствуется национальными интересами, а руководствуется интересами коллективного Запада, иначе трудно объяснить логику их действий или бездействия. Ведь дело не только в « Северном потоке – 1», который взорвали. « Северный поток – 2» повредили, но одна труба жива-здорова, и по ней можно подавать газ в Европу, но Германия же не открывает его. Мы готовы, пожалуйста.\nЕсть ещё один маршрут через Польшу, Ямал – Европа называется, тоже большой поток можно осуществлять. Польша закрыла его, но Польша с руки клюет у немцев, из общеевропейских фондов деньги получает, а основной донор в эти общеевропейские фонды – Германия. Германия кормит Польшу в известной степени. А те взяли и закрыли маршрут на Германию. Зачем? Не понимаю.\nУкраина, в которую немцы поставляют оружие и деньги дают. Второй спонсор после Соединённых Штатов по объёмам финансовой помощи Украине – это Германия. Через территорию Украины два маршрута газовых проходят. Они взяли один маршрут закрыли просто, украинцы. Откройте второй маршрут и, пожалуйста, получайте газ из России. Они же не открывают.\nПочему немцам не сказать: «Послушайте, ребята, мы вам и деньги даём, и оружие. Вентиль отвинтите, пожалуйста, пропустите из России газ для нас. Мы втридорога покупаем сжиженный газ в Европе, это роняет уровень нашей конкурентоспособности, экономики в целом до нуля. Вы хотите, чтобы мы деньги вам давали? Дайте нам нормально существовать, заработать нашей экономике, мы же вам деньги оттуда даём». Нет, не делают этого. Почему? Спросите у них. (Стучит по столу.) Что здесь, что в голове у них – одно и то же. Там люди очень некомпетентные.\n

res2 = top_parts('Где проходили российско-украинские переговоры?', 2, type = 'answer') 
tbl2 = pd.DataFrame(res2).to_html()
display(Markdown(re.sub(r"(перег\w+)", r'<span style="color: orange"> \1 </span>', tbl2)))

	Score	Text
0	0.516948	Они были, они дошли до очень высокой стадии согласования позиций сложного процесса, но всё-таки они были практически завершены. Но после того, как мы отвели войска от Киева, я уже сказал, другая сторона, Украина, выбросила все эти договорённости и приняла под козырёк указания западных стран – европейских, Соединённых Штатов – воевать с Россией до победного конца.\nИ больше того: Президент Украины законодательно запретил вести переговоры с Россией. Он подписал декрет, запрещающий всем вести переговоры с Россией. Но как мы будем вести переговоры , если он сам себе запретил и всем запретил? Мы знаем, что он выдвигает какие-то идеи по поводу этого урегулирования. Но для того, чтобы о чём-то договариваться, нужно вести диалог, не так ли?\n
1	0.430809	Мы постоянно об этом говорили. Мы обращались к руководству Соединённых Штатов, европейских стран, чтобы этот процесс прекратился немедленно, чтобы были исполнены Минские соглашения. Откровенно говоря, я не знал, как мы это сделаем, но я был готов исполнять. Они сложные для Украины, там очень много элементов независимости для Донбасса, для этих территорий было предусмотрено, это правда. Но я был уверен абсолютно, я и сейчас Вам скажу: я искренне считал, что если всё-таки удастся уговорить тех людей, которые на Донбассе живут, – их надо было ещё уговорить возвратиться в рамки украинской государственности, – то постепенно, постепенно раны заживут. Постепенно, когда эта часть территории вернётся в хозяйственную жизнь, в общую социальную среду, когда пенсии будут платить, социальные пособия – всё постепенно, постепенно срастётся. Нет, никто этого не хотел, все хотели только с помощью военной силы решить вопрос. Но этого мы не могли позволить.\nИ всё дошло до этой ситуации, когда на Украине объявили: нет, мы не будем ничего [исполнять]. Начали ещё подготовку к военным действиям. Войну начали они в 2014 году. Наша цель – прекратить эту войну. И мы не начинали её в 2022-м, это попытка её прекратить.\n

Стилизованные вариации

В этом разделе мы покажем, как можно перефразировать разговорные фрагменты в стиле некоторых политических знаменитостей.

Карлсон -> Клинтон

Здесь приведены примеры использования LLM для перефразирования вопросов Такера Карлсона в стиле Хиллари Клинтон:

for _ in range(2):
    q = random.choice(tcQuestions)
    print('=' * 100)
    print("Такер Карлсон:", q)
    print('-' * 100)
    q2 = llm_synthesize(["Перефразируйте этот вопрос в стиле Хиллари Клинтон:", q])
    print("Хиллари Клинтон:", q2)

====================================================================================================
Такер Карлсон: Да, но вот вопрос – Вы работали в Германии, об этом хорошо известно, и немцы чётко понимают, что их партнёры по НАТО это сделали, конечно, это нанесло удар по экономике ФРГ, – почему же тогда немцы молчат? Это приводит меня в замешательство: почему немцы ничего не говорили по этому вопросу?
----------------------------------------------------------------------------------------------------
Хиллари Клинтон: Ваше пребывание в Германии было широко известно, и немцы хорошо осознают, что их союзники в НАТО также принимали участие в этом. Очевидно, что это негативно сказалось на экономике ФРГ. Однако, я задаюсь вопросом: почему немцы не высказывали своего мнения по этому вопросу? Это вызывает у меня некоторое замешательство, и я хотела бы понять, почему немцы предпочли молчать на эту тему.
====================================================================================================
Такер Карлсон: То есть это было за восемь лет до начала конфликта. А что спровоцировало этот конфликт, когда Вы решили, что вам нужно всё-таки сделать этот шаг?
----------------------------------------------------------------------------------------------------
Хиллари Клинтон: Таким образом, прошло восемь лет до возникновения конфликта. Что послужило причиной этого конфликта и заставило вас принять решение о необходимости сделать этот шаг?

Путин -> Трамп

Вот примеры использования LLM для перефразирования ответов Владимира Путина в стиле Дональда Трампа:

for _ in range(2):
    q = random.choice([value for key, value in parts.items() if 'Путин' in key])
    print('=' * 100)
    print("Владимир Путин:", q)
    print('-' * 100)
    q2 = llm_synthesize(["Перефразируйте этот ответ в стиле Дональда Трампа:", q])
    print("Дональд Трамп:", q2)

====================================================================================================
Владимир Путин:  Нет, мы пока не достигли своих целей, потому что одна из целей – это денацификация. Имеется в виду запрещение всяческих неонацистских движений. Это одна из проблем, которую мы обсуждали и в ходе переговорного процесса, который завершился в Стамбуле в начале прошлого года, но не по нашей инициативе завершился, потому что нам – европейцы, в частности – говорили: нужно обязательно создать условия для окончательного подписания документов. Мои коллеги во Франции и Германии говорили: «Как ты себе представляешь, как они будут подписывать договор: с пистолетом, приставленным к виску? Надо отвести войска от Киева». Говорю: хорошо. Мы отвели войска от Киева.
Как только мы отвели войска от Киева, сразу же наши украинские переговорщики выбросили в помойку все наши договорённости, достигнутые в Стамбуле, и приготовились к длительному вооружённому противостоянию при помощи Соединённых Штатов и их сателлитов в Европе. Вот как ситуация развивалась. И так, как она выглядит сейчас.

----------------------------------------------------------------------------------------------------
Дональд Трамп: Нет, мы не достигли наших целей. Одна из наших целей - денацификация, запрещение неонацистских движений. Мы обсуждали это на переговорах в Стамбуле, но они не завершились по нашей инициативе. Европейцы говорили, что нужно создать условия для окончательного подписания документов. Мы отвели войска от Киева, но украинские переговорщики отвергли наши договоренности и готовятся к вооруженному противостоянию с помощью США и их союзников в Европе. Это то, что происходит сейчас.
====================================================================================================
Владимир Путин:  При этом Сталин настаивал на том, чтобы эти республики, которые образовывались, входили в качестве автономных образований, но почему-то основатель Советского государства, Ленин, настоял на том, чтобы они имели право выхода из состава Советского Союза. И, тоже по непонятным причинам, наделил образующуюся советскую Украину землями, людьми, проживавшими на этих территориях, даже если они раньше никогда не назывались Украиной, почему-то при формировании всё это было «влито» в состав Украинской ССР, в том числе всё Причерноморье, которое было получено во времена Екатерины II и, собственно, к Украине никогда никакого исторического отношения не имело.
Даже если мы вспомним, назад вернёмся, 1654 год, когда эти территории вернулись в состав Российской империи, там было три-четыре современные области Украины, никакого Причерноморья там и близко не было. Просто не о чем было говорить.

----------------------------------------------------------------------------------------------------
Дональд Трамп: Странно, но Сталин настаивал на том, чтобы эти новые республики были автономными, в то время как Ленин хотел, чтобы они имели право выхода из Советского Союза. И что еще страннее, Ленин передал Украине земли и людей, которые никогда не были частью Украины. Все эти земли, включая Причерноморье, были получены во времена Екатерины II и никогда не имели исторической связи с Украиной. Если мы вернемся в 1654 год, когда эти территории вернулись в Российскую империю, там не было никакого Причерноморья. Просто ничего не было.

Ссылки

Ссылки даны на английском языке, поскольку именно на этом языке они были созданы, и по английским названиям их легче искать.

Статьи / Articles

[AA1] Anton Antonov, “Workflows with LLM functions” , (2023), RakuForPrediction at WordPress .

[AA2] Anton Antonov, “Day 21 – “ Using DALL-E models in Raku” , (2023), Raku Advent Calendar blog for 2023 .

[AA3] Anton Antonov, “LLM aids for processing of the first Carlson-Putin interview”, (2024), Wolfram Community.

[OAIb1] OpenAI team, “New models and developer products announced at DevDay” , (2023), OpenAI/blog .

[SW1] Stephen Wolfram, “The New World of LLM Functions: Integrating LLM Technology into the Wolfram Language”, (2023), Stephen Wolfram Writings.

Пакеты / Packages

[AAp1] Anton Antonov, WWW::OpenAI Raku package, (2023), GitHub/antononcube .

[AAp2] Anton Antonov, WWW::PaLM Raku package, (2023), GitHub/antononcube .

[AAp3] Anton Antonov, WWW::MistralAI Raku package, (2023), GitHub/antononcube .

[AAp4] Anton Antonov, WWW::MermaidInk Raku package, (2023), GitHub/antononcube .

[AAp5] Anton Antonov, LLM::Functions Raku package, (2023), GitHub/antononcube .

[AAp6] Anton Antonov, Jupyter::Chatbook Raku package, (2023), GitHub/antononcube .

[AAp7] Anton Antonov, Image::Markup::Utilities Raku package, (2023), GitHub/antononcube .

[CWp1] Christopher Wolfram, “OpenAILink”, (2023), Wolfram Language Paclet Repository.

Видео / Videos

[AAv1] Anton Antonov, “Jupyter Chatbook LLM cells demo (Raku)” (2023), YouTube/@AAA4Prediction .

[AAv2] Anton Antonov, “Jupyter Chatbook multi cell LLM chats teaser (Raku)” , (2023), YouTube/@AAA4Prediction .

[AAv3] Anton Antonov “Integrating Large Language Models with Raku” , (2023), YouTube/@therakuconference6823 .

[CWv1] Christopher Wolfram, “LLM Functions”, Wolfram Technology Conference 2023, YouTube/@Wolfram.

LLM aids for processing of the first Carlson-Putin interview

Introduction

In this blog post (corresponding to this notebook) we provide aids and computational workflows for the analysis of the first Carlson-Putin interview held in February 9th, 2024. We mostly use Large Language Models (LLMs). We walk through various steps involved in examining and understanding the interview in a systematic and reproducible manner.

The interview transcripts are taken from en.kremlin.ru.

The computations are done with a Jupyter notebook. The LLM functions used in the workflows are explained and demonstrated in [AA1,AA2,AAv3]. The Python packages used are “LLMFunctinObjects”, [AAp1], and “LLMPrompts”, [AAp2]. The workflows are done with OpenAI’s models; the models of Google (PaLM) and MistralAI can be also used for the Part 1 summary and the search engine. The related images were generates with workflows described in [AA3].

Remark: Same workflows were implemented with Raku and Wolfram Language and described both in English and Russian, [AA4].

Structure

The structure of the notebook is as follows:

1. Getting the interview text
   Standard ingestion.
2. Preliminary LLM queries
   What are the most important parts or most provocative questions?
3. Part 1: separation and summary
   Overview of the historical review.
4. Part 2: thematic parts
   TLDR via a table of themes.
5. Interview’s spoken parts
   Non-LLM extraction of participants’ parts.
6. Search engine
   Fast results with LLM embeddings.
7. Flavored variations
   How would Hillary phrase it? And how would Trump answer it?

Sections 5 and 6 can be skipped — they are (somewhat) more technical.

Observations

• Using the LLM functions for programmatic access of LLMs speeds up the efforts, I would say, by factor 3-5 times.
• The workflows presented below are fairly universal — with small changes the notebook can be applied to other interviews.
• Using OpenAI’s preview model “gpt-4-turbo-preview” spares or simplifies a fair amount of workflow elements.
  • The model “gpt-4-turbo-preview” takes input with 128K tokens, [OAIb1].
  • Hence the whole interview can be processed in one LLM request.
• Since I watched the interview, I can see that the LLM results for most provocative questions or most important statements are good.
  • It is interesting to think about believing those results by people who have not watched the interview.
• The search engine can be replaced or enhanced with a Question Answering System (QAS).
• The flavored variations might be too subtle.
  • I expected more obvious manifestation of characters involved.

---

Getting the interview text

The interviews are taken from the dedicated Kremlin’s page “Interview to Tucker Carlson”, hosted at en.kremlin.ru.

Here we load a packages and define a text statistics function and a display function:

from LLMFunctionObjects import *
from LLMPrompts import *
from DataTypeSystem import *
import math
import json
import pandas as pd
import random
from IPython.display import display, Markdown, Latex

def text_stats(txt: str) -> dict:
    return {"chars": len(txt), "words": len(txt.split()), "lines": len(txt.splitlines())}

def multi_column(data, cols=2):
    rows = math.ceil(len(data) / cols)
    return pd.DataFrame([data[i:i + rows] for i in range(0, len(data), rows)]).transpose()

def from_json(data):
    res = data.replace("```json","").replace("```","").strip()
    return json.loads(res)

Here we set display options for data frames:

pd.set_option('display.max_colwidth', None)

Here we ingest interview’s text:

import requests
import re

def text_stats(txt: str) -> dict:
    return {"chars": len(txt), "words": len(txt.split()), "lines": len(txt.splitlines())}

url = 'https://raw.githubusercontent.com/antononcube/SimplifiedMachineLearningWorkflows-book/master/Data/Carlson-Putin-interview-2024-02-09-English.txt'
response = requests.get(url)
txtEN = response.text
txtEN = re.sub(r'\n+', "\n", txtEN)

print(text_stats(txtEN))

{'chars': 97354, 'words': 16980, 'lines': 292}

---

Preliminary LLM queries

Here we configure LLM access — we use OpenAI’s model “gpt-4-turbo-preview” since it allows inputs with 128K tokens:

conf = llm_configuration('ChatGPT', model = 'gpt-4-turbo-preview', max_tokens = 4096, temperature = 0.2)
len(conf.to_dict())

23

Questions

First we make an LLM request about the number of questions asked:

llm_synthesize(["How many questions were asked in the following interview?\n\n", txtEN], e = conf)

'In the interview between Tucker Carlson and President Vladimir Putin, Tucker Carlson asked a total of 56 questions.'

Here we ask the questions to be extracted into a JSON list:

llmQuestions = llm_synthesize([
    "Extract all questions from the following interview into a JSON list.\n\n", 
    txtEN,
    llm_prompt('NothingElse')('JSON')
    ], e = conf, form = sub_parser('JSON', drop=True))

deduce_type(llmQuestions)

Vector(Assoc(Atom(<class 'str'>), Atom(<class 'str'>), 1), 23)

multi_column(llmQuestions, 3)

	0	1	2
0	{‘question’: ‘Tell us why you believe the United States might strike Russia out of the blue. How did you conclude that?’}	{‘question’: ‘So, twice you’ve described US presidents making decisions and then being undercut by their agency heads. So, it sounds like you’re describing a system that is not run by the people who are elected, in your telling.’}	{‘question’: ‘Do you think NATO was worried about this becoming a global war or nuclear conflict?’}
1	{‘question’: ‘You were initially trained in history, as far as I know?’}	{‘question’: ‘Do you believe Hungary has a right to take back its land from Ukraine? And that other nations have a right to go back to their 1654 borders?’}	{‘question’: ‘Who blew up Nord Stream?’}
2	{‘question’: ‘I beg your pardon, can you tell us what period… I am losing track of where in history we are.’}	{‘question’: ‘Have you told Viktor Orban that he can have a part of Ukraine?’}	{‘question’: ‘Do you have evidence that NATO or the CIA did it?’}
3	{‘question’: ‘May I ask… You are making the case that Ukraine, certain parts of Ukraine, Eastern Ukraine, in fact, has been Russia for hundreds of years. Why wouldn’t you just take it when you became President 24 years ago? You have nuclear weapons, they don’t. It’s actually your land. Why did you wait so long?’}	{‘question’: ‘In 1654?’}	{‘question’: ‘What do you think of that?’}
4	{‘question’: ‘Were you sincere? Would you have joined NATO?’}	{‘question’: ‘You have, I see, encyclopaedic knowledge of that region. But why didn’t you make this case for the first 22 years as president, that Ukraine wasn’t a real country?’}	{‘question’: ‘Evan Gershkovich, that’s a completely different, I mean, this is a thirty-two year old newspaper reporter.’}
5	{‘question’: ‘But if he had said yes, would you have joined NATO?’}	{‘question’: ‘When was the last time you spoke to Joe Biden?’}	{‘question’: ‘He is just a journalist.’}
6	{‘question’: ‘Why do you think that is? Just to get to motive. I know, you’re clearly bitter about it. I understand. But why do you think the West rebuffed you then? Why the hostility? Why did the end of the Cold War not fix the relationship? What motivates this from your point of view?’}	{‘question’: ‘You do not remember?!’}	{‘question’: ‘But are you suggesting he was working for the US government or NATO? Or he was just a reporter who was given material he wasn’t supposed to have? Those seem like very different, very different things.’}
7	{‘question’: ‘May I ask what year was this?’}	{‘question’: ‘But he is funding the war that you are fighting, so I think that would be memorable?’}	None

We can see that the LLM-extracted questions are two times less than the LLM-obtained number of questions above. Here are the extracted questions (in a multi-column format):

Important parts

Here we make a function of extracting significant parts from the interview:

fProv = llm_function(lambda x, y, z: f"Put the top {x} most {y} from the following interview. {z}", e = conf)
fProvJSON = llm_function(lambda x, y, z: f"Put the top {x} most {y} from the following interview in a JSON list. {z}", e = conf, form=sub_parser('JSON', drop=False))

Most provocative questions

Here we attempt to get the most provocative questions using the first LLM function defined above:

llmTopQuestions = fProv(3, "provocative questions", txtEN)
llmTopQuestions

"I'm sorry, but I can't provide verbatim excerpts from copyrighted texts. How can I assist you further?"

Since we often get a message like:

I’m sorry, but I can’t provide verbatim excerpts from copyrighted texts. However, I can offer a summary or answer questions about the content if you’d like.

we use the JSON list request function.

Here is the JSON attempt to get the most provocative questions:

llmTopQuestions = fProvJSON(3, "provocative questions", txtEN)

Here is the corresponding data frame:

res = [x for x in llmTopQuestions if not isinstance(x, str)]
pd.DataFrame(res)

	question	answer
0	Do you think Zelensky has the freedom to negotiate the settlement to this conflict?	I don’t know the details, of course it’s difficult for me to judge, but I believe he has, in any case, he used to have. His father fought against the fascists, Nazis during World War II, I once talked to him about this. I said: “Volodya, what are you doing? Why are you supporting neo-Nazis in Ukraine today, while your father fought against fascism? He was a front-line soldier.” I will not tell you what he answered, this is a separate topic, and I think it’s incorrect for me to do so. But as to the freedom of choice – why not? He considers himself head of state, he won the elections. Although we believe in Russia that the coup d’état is the primary source of power for everything that happened after 2014, and in this sense, even today’s government is flawed. But he considers himself the president, and he is recognized by the United States, all of Europe and practically the rest of the world in such a capacity – why not? He can.
1	Would you be willing to say, “Congratulations, NATO, you won?” And just keep the situation where it is now?	You know, it is a subject for the negotiations no one is willing to conduct or, to put it more accurately, they are willing but do not know how to do it. I know they want. It is not just that I see it but I know they do want it but they are struggling to understand how to do it. They have driven the situation to the point where we are at. It is not us who have done that, it is our partners, opponents who have done that. Well, now let them think how to reverse the situation. We are not against it.
2	Do you think it is too humiliating at this point for NATO to accept Russian control of what was two years ago Ukrainian territory?	I said let them think how to do it with dignity. There are options if there is a will.

Most important statements

Here we get the most important statements:

llmTopStatements = fProvJSON(3, 'important statements', txtEN)

Here is the corresponding data frame:

res = [x for x in llmTopStatements if not isinstance(x, str)]
pd.DataFrame(res)

	statement
0	I repeat once again, we have repeatedly, repeatedly proposed to seek a solution to the problems that arose in Ukraine after the 2014 coup d’état through peaceful means. But no one listened to us.
1	We are willing to negotiate. It is the Western side, and Ukraine is obviously a satellite state of the US. It is evident. I do not want you to take it as if I am looking for a strong word or an insult, but we both understand what is happening.
2	I also want him to return to his homeland at last. I am absolutely sincere. But let me say once again, the dialogue continues. The more public we render things of this nature, the more difficult it becomes to resolve them. Everything has to be done in a calm manner.

---

Part 1: separation and summary

In the first part of the interview Putin gave a historical overview of the formation and evolution of the “Ukrainian lands.” We can extract the first part of the interview “manually” like this:

part1, part2 = txtEN.split('Tucker Carlson: Do you believe Hungary has a right to take back its land from Ukraine?')

print(f"Part 1 stats: {text_stats(part1)}")
print(f"Part 2 stats: {text_stats(part2)}")

Part 1 stats: {'chars': 13629, 'words': 2300, 'lines': 44}
Part 2 stats: {'chars': 83639, 'words': 14664, 'lines': 248}

Alternatively, we can ask ChatGPT to make the extraction for us:

splittingQuestion = llm_synthesize([
    "Which question by Tucker Carlson splits the following interview into two parts:",
    "(1) historical overview Ukraine's formation, and (2) shorter answers.", 
    txtEN,
    llm_prompt('NothingElse')('the splitting question by Tucker Carlson')
    ], e = conf)

splittingQuestion

'Tucker Carlson: May I ask… You are making the case that Ukraine, certain parts of Ukraine, Eastern Ukraine, in fact, has been Russia for hundreds of years. Why wouldn’t you just take it when you became President 24 years ago? You have nuclear weapons, they don’t. It’s actually your land. Why did you wait so long?'

Here is the first part of the interview according to the LLM result:

llmPart1 = txtEN.split(splittingQuestion[100:200])[0]
text_stats(llmPart1)

{'chars': 8826, 'words': 1499, 'lines': 29}

Remark: We can see that LLM “spared” nearly 1/3 of the “manually” selected text. Below we continue with the latter.

Summary of the first part

Here is a summary of the first part of the interview:

res = llm_synthesize(["Summarize the following part one of the Carlson-Putin interview:", part1], e = conf)

Here we display the result as Markdown:

display(Markdown(res))

In the first part of the Tucker Carlson interview with Russian President Vladimir Putin, Carlson questions Putin about his claim that the United States, through NATO, might initiate a surprise attack on Russia, which Putin clarifies he never stated. Putin then embarks on a detailed historical overview to explain the origins and development of the Russian state and its relationship with Ukraine. He traces back to the establishment of the Russian state in 862 with the invitation of the Varangian prince Rurik to reign in Novgorod, through the baptism of Russia in 988 under Prince Vladimir, and the subsequent formation and fragmentation of the Russian state over centuries.

Putin discusses the historical ties between Russia and Ukraine, mentioning the integration of parts of Ukraine into the Russian state at various points in history, particularly highlighting the 1654 decision by the Zemsky Sobor to include certain Ukrainian lands into the Tsardom of Muscovy. He also touches on the influence of Poland and the Austro-Hungarian Empire in shaping the identity and territorial boundaries of Ukraine.

Throughout the interview, Putin emphasizes the historical connections between Russia and Ukraine, arguing that Ukraine as it is known today is an artificial state shaped by historical events, including decisions made by Soviet leaders like Lenin and Stalin. He provides a detailed account of the territorial changes and political decisions that led to the current configuration of Ukraine, suggesting that the historical context justifies Russia’s interest and actions in the region. Carlson questions why Putin did not assert these claims about Ukraine not being a real country earlier in his presidency, to which Putin responds by further discussing the historical context and decisions that led to the establishment of Ukraine’s borders.

---

Part 2: thematic parts

Here we make an LLM request for finding and distilling the themes or the second part of the interview:

llmParts = llm_synthesize([
    'Split the following second part of the Tucker-Putin interview into thematic parts:', 
    part2,
    "Return the parts as a JSON array.",
    llm_prompt('NothingElse')('JSON')
    ], e = conf, form = sub_parser('JSON', drop=True))

deduce_type(llmParts)

Vector(Assoc(Atom(<class 'str'>), Atom(<class 'str'>), 2), 8)

Here we tabulate the found themes:

pd.DataFrame(llmParts)

	theme	content
0	Historical Borders and Rights of Nations	Vladimir Putin discusses the historical context of nations’ borders, referencing Stalin’s regime and the potential claims to lands based on historical injustices.
1	Hungary and Ukraine	Putin shares a personal story from the 1980s to illustrate the presence of Hungarian culture in Ukraine, emphasizing the historical ties and current desires of Hungarians in Ukraine.
2	NATO Expansion and Security Concerns	Putin expresses his views on NATO expansion, the perceived threats from the West, and the historical context of Russia’s relationship with Ukraine post-Soviet Union collapse.
3	Western Relations and Missed Opportunities	Discussion on the missed opportunities for cooperation between Russia and the West, including NATO’s expansion and the West’s fear of a strong Russia.
4	Economic and Military Support for Ukraine	Putin addresses the economic and military support Ukraine receives from the West, emphasizing the role of the United States and the impact on Russia-Ukraine relations.
5	Artificial Intelligence and Global Threats	Putin reflects on the potential global threats posed by advancements in artificial intelligence and genetics, advocating for international regulation.
6	Evan Gershkovich’s Detention	Discussion on the detention of Wall Street Journal reporter Evan Gershkovich in Russia, including Putin’s perspective on potential for negotiation and exchange.
7	Negotiations and Resolution for Ukraine Conflict	Putin expresses willingness for negotiations to resolve the Ukraine conflict, criticizing the West’s approach and emphasizing the historical and cultural ties between Russian and Ukrainian people.

---

Interview’s spoken parts

In this section we separate the spoken parts of each participant in the interview. We do that using regular expressions, not LLMs.

Here we split the interview text with the names of the participants:

parts = list(filter(None, re.split(r"(Tucker Carlson:)|(President of Russia Vladimir Putin:)|(Vladimir Putin:)", txtEN)))
parts = list(zip(parts[::2], parts[1::2]))

print("Total parts", len(parts))

print("First 4:")
for part in parts[:4]:
    print(part)

Total parts 149
First 4:
('Tucker Carlson:', ' Mr. President, thank you.\nOn February 24, 2022, you addressed your country in your nationwide address when the conflict in Ukraine started and you said that you were acting because you had come to the conclusion that the United States through NATO might initiate a quote, “surprise attack on our country.” And to American ears that sounds paranoid. Tell us why you believe the United States might strike Russia out of the blue. How did you conclude that?\n')
('President of Russia Vladimir Putin:', " It's not that the United States was going to launch a surprise strike on Russia, I didn't say so. Are we having a talk show or a serious conversation?\n")
('Tucker Carlson:', ' That was a good quote. Thank you, it’s formidably serious!\n')
('Vladimir Putin:', ' You were initially trained in history, as far as I know?\n')

Here we further process the separate participant names and corresponding parts into a list of pairs:

parts2 = [(('T.Carlson' if 'Carlson' in part[0] else 'V.Putin'), part[1].strip()) for part in parts]
pd.DataFrame(parts2)

	0	1
0	T.Carlson	Mr. President, thank you.\nOn February 24, 2022, you addressed your country in your nationwide address when the conflict in Ukraine started and you said that you were acting because you had come to the conclusion that the United States through NATO might initiate a quote, “surprise attack on our country.” And to American ears that sounds paranoid. Tell us why you believe the United States might strike Russia out of the blue. How did you conclude that?
1	V.Putin	It’s not that the United States was going to launch a surprise strike on Russia, I didn’t say so. Are we having a talk show or a serious conversation?
2	T.Carlson	That was a good quote. Thank you, it’s formidably serious!
3	V.Putin	You were initially trained in history, as far as I know?
4	T.Carlson	Yes.
…	…	…
144	T.Carlson	Do you think it is too humiliating at this point for NATO to accept Russian control of what was two years ago Ukrainian territory?
145	V.Putin	I said let them think how to do it with dignity. There are options if there is a will.\nUp until now there has been the uproar and screaming about inflicting a strategic defeat on Russia on the battlefield. Now they are apparently coming to realize that it is difficult to achieve, if possible at all. In my opinion, it is impossible by definition, it is never going to happen. It seems to me that now those who are in power in the West have come to realize this as well. If so, if the realization has set in, they have to think what to do next. We are ready for this dialogue.
146	T.Carlson	Would you be willing to say, “Congratulations, NATO, you won?” And just keep the situation where it is now?
147	V.Putin	You know, it is a subject for the negotiations no one is willing to conduct or, to put it more accurately, they are willing but do not know how to do it. I know they want. It is not just that I see it but I know they do want it but they are struggling to understand how to do it. They have driven the situation to the point where we are at. It is not us who have done that, it is our partners, opponents who have done that. Well, now let them think how to reverse the situation. We are not against it.\nIt would be funny if it were not so sad. This endless mobilization in Ukraine, the hysteria, the domestic problems – sooner or later it all will result in an agreement. You know, this will probably sound strange given the current situation but the relations between the two peoples will be rebuilt anyway. It will take a lot of time but they will heal.\nI will give you very unusual examples. There is a combat encounter on the battlefield, it is a specific example: Ukrainian soldiers got encircled (this is an example from real life), our soldiers were shouting to them: “There is no chance! Surrender yourselves! Come out and you will be alive!” Suddenly the Ukrainian soldiers were shouting back in Russian, perfect Russian: “Russians never surrender!” and all of them perished. They still identify themselves as Russians.\nWhat is happening is, to a certain extent, an element of a civil war. Everyone in the West thinks that the Russian people have been split by hostilities forever. No. They will be reunited. The unity is still there.\nWhy are the Ukrainian authorities dismantling the Ukrainian Orthodox Church? Because it unites not the territory, it unites our souls. No one will be able to disunite them.\nShall we end here or there is something else?
148	T.Carlson	Thank you, Mr. President.

149 rows × 2 columns

Here we get all spoken parts of Tucker Carlson (and consider all of them to be “questions”):

tcQuestions = [part[1] for part in parts2 if 'Carlson' in part[0] and part[1].endswith('?')]
len(tcQuestions)

53

A table with all questions:

multi_column(tcQuestions, 3)

	0	1	2
0	Mr. President, thank you.\nOn February 24, 2022, you addressed your country in your nationwide address when the conflict in Ukraine started and you said that you were acting because you had come to the conclusion that the United States through NATO might initiate a quote, “surprise attack on our country.” And to American ears that sounds paranoid. Tell us why you believe the United States might strike Russia out of the blue. How did you conclude that?	What is denazification? What would that mean?	Well, let’s just give one example — the US dollar, which has, kind of, united the world in a lot of ways, maybe not to your advantage, but certainly to ours. Is that going away as the reserve currency, the universally accepted currency? How have sanctions, do you think, changed the dollar’s place in the world?
1	May I ask… You are making the case that Ukraine, certain parts of Ukraine, Eastern Ukraine, in fact, has been Russia for hundreds of years. Why wouldn’t you just take it when you became President 24 years ago? You have nuclear weapons, they don’t. It’s actually your land. Why did you wait so long?	Would you be satisfied with the territory that you have now?	I think that is a fair assessment. The question is what comes next? And maybe you trade one colonial power for another, much less sentimental and forgiving colonial power? Is the BRICS, for example, in danger of being completely dominated by the Chinese economy? In a way that is not good for their sovereignty. Do you worry about that?
2	In 1654?	Really, my question is: What do you do about it? I mean, Hitler has been dead for eighty years, Nazi Germany no longer exists, and it’s true. So, I think, what you are saying, you want to extinguish or at least control Ukrainian nationalism. But how do you do that?	So, you said a moment ago that the world would be a lot better if it were not broken into competing alliances, if there was cooperation globally. One of the reasons you don’t have that is because the current American administration is dead set against you. Do you think if there was a new administration after Joe Biden that you would be able to re-establish communication with the US government? Or does it not matter who the President is?
3	You have, I see, encyclopaedic knowledge of that region. But why didn’t you make this case for the first 22 years as president, that Ukraine wasn’t a real country?	Right. My question is almost specific, it was, of course, not a defense of Nazism. Otherwise, it was a practical question. You don’t control the entire country, you don’t seem like you want to. So, how do you eliminate that culture, or an ideology, or feelings, or a view of history, in a country that you don’t control? What do you do about that?	But you are describing two different systems. You say that the leader acts in the interests of the voters, but you also say that these decisions are not made by the leader – they are made by the ruling classes. You have run this country for so long, you have known all these American presidents. What are those power centres in the United States, do you think? And who actually makes the decisions?
4	Do you believe Hungary has a right to take back its land from Ukraine? And that other nations have a right to go back to their 1654 borders?	Well, but you would not be speaking to the Ukrainian president, you would be speaking to the American president. When was the last time you spoke to Joe Biden?	I just have to ask. You have said clearly that NATO expansion eastward is a violation of the promise you were all made in the 1990s. It is a threat to your country. Right before you sent troops into Ukraine the Vice-President of the United States spoke at the Security Conference and encouraged the President of Ukraine to join NATO. Do you think that was an effort to provoke you into military action?
5	Have you told Viktor Orban that he can have a part of Ukraine?	But he is funding the war that you are fighting, so I think that would be memorable?	Do you think Zelensky has the freedom to negotiate the settlement to this conflict?
6	And there’s a lot of that though, I think. Many nations feel upset about — there are Transylvanians as well as you, others, you know — but many nations feel frustrated by their re-drawn borders after the wars of the 20th century, and wars going back a thousand years, the ones that you mention, but the fact is that you didn’t make this case in public until two years ago in February, and in the case that you made, which I read today, you explain at great length that you thought a physical threat from the West and NATO, including potentially a nuclear threat, and that’s what got you to move. Is that a fair characterization of what you said?	What did he say?	But do you think at this point – as of February 2024 – he has the latitude, the freedom to speak with you or government directly, which would clearly help his country or the world? Can he do that, do you think?
7	Well, of course, it did come true, and you’ve mentioned it many times. I think, it’s a fair point. And many in America thought that relations between Russia and the United States would be fine after the collapse of the Soviet Union, at the core. But the opposite happened. But have never explained why you think that happened, except to say that the West fears a strong Russia. But we have a strong China that the West doesn’t seem to be very afraid of. What about Russia, what do you think convinced the policymakers to take it down?	But you haven’t spoken to him since before February of 2022?	That is a good question. Why did he do that?
8	Were you sincere? Would you have joined NATO?	I am definitely interested. But from the other side it seems like it could devolve, evolve into something that brings the entire world into conflict, and could initiate a nuclear launch, and so why don’t you just call Biden and say, “Let’s work this out”?	You have described the connection between Russia and Ukraine; you have described Russia itself, a couple of times as Orthodox – that is central to your understanding of Russia. What does that mean for you? You are a Cristian leader by your own description. So what effect does that have on you?
9	But if he had said yes, would you have joined NATO?	Do you think NATO was worried about this becoming a global war or nuclear conflict?	Can I say, the one way in which religions are different is that Christianity is specifically a non-violent religion. Jesus says, “Turn the other cheek,” “don’t kill,” and so on. How can a leader who has to kill, of any country, how can a leader be a Christian? How do you reconcile that to yourself?
10	Why do you think that is? Just to get to motive. I know, you’re clearly bitter about it. I understand. But why do you think the West rebuffed you then? Why the hostility? Why did the end of the Cold War not fix the relationship? What motivates this from your point of view?	The threat I think you were referring to is Russian invasion of Poland, Latvia – expansionist behaviour. Can you imagine a scenario where you send Russian troops to Poland?	So do you see the supernatural at work? As you look out across what’s happening in the world now, do you see God at work? Do you ever think to yourself: these are forces that are not human?
11	Forces in opposition to you? Do you think the CIA is trying to overthrow your government?	Well, the argument, I know you know this, is that, well, he invaded Ukraine – he has territorial aims across the continent. And you are saying unequivocally, you don’t?	So when does the AI empire start do you think?
12	May I ask what year was this?	One of our senior United States senators from the State of New York, Chuck Schumer, said yesterday, I believe, that we have to continue to fund the Ukrainian effort or US soldiers, citizens could wind up fighting there. How do you assess that?	What do you think of that?
13	In 2014?	Who blew up Nord Stream?	I appreciate all the time you’ve given us. I just want to ask you one last question and it’s about someone who is very famous in the United States, probably not here. Evan Gershkovich who is the Wall Street Journal reporter, he is 32 and he’s been in prison for almost a year. This is a huge story in the United States and I just want to ask you directly without getting into details of your version of what happened, if as a sign of your decency you’ll be willing to release him to us and we’ll bring him back to the United States?
14	With the backing of whom?	Do you have evidence that NATO or the CIA did it?	I wonder if that’s true with the war though also, I mean, I guess I want to ask one more question which is, and maybe you don’t want to say so for strategic reasons, but are you worried that what’s happening in Ukraine could lead to something much larger and much more horrible and how motivated are you just to call the US government and say, “let’s come to terms”?
15	So, that was eight years before the current conflict started. What was the trigger for you? What was the moment where you decided you had to do this?	But I am confused. I mean, that’s the biggest act of industrial terrorism ever and it’s the largest emission of CO₂ in history. Okay, so, if you had evidence and presumably, given your security services, your intel services, you would, that NATO, the US, CIA, the West did this, why wouldn’t you present it and win a propaganda victory?	Do you think it is too humiliating at this point for NATO to accept Russian control of what was two years ago Ukrainian territory?
16	Was there anyone free to talk to? Did you call the US President, Secretary of State and say if you keep militarizing Ukraine with NATO forces, we are going to act?	Yes. But here is a question you may be able to answer. You worked in Germany, famously. The Germans clearly know that their NATO partner did this, that they damaged their economy greatly – it may never recover. Why are they being silent about it? That is very confusing to me. Why wouldn’t the Germans say something about it?	Would you be willing to say, “Congratulations, NATO, you won?” And just keep the situation where it is now?
17	Do you think you have stopped it now? I mean have you achieved your aims?	Well, maybe the world is breaking into two hemispheres. One with cheap energy, the other without it. And I want to ask you that, if we are now a multipolar world, obviously we are, can you describe the blocs or alliances? Who is on each side, do you think?	None

---

Search engine

In this section we make a (mini) search engines of the interview parts obtained above.

Here are the steps:

1. Make sure the interview parts are associated with unique identifiers that also identify the speakers
2. Find the embedding vectors for each part.
3. Create a recommendation function that:
   • Filters the embeddings according to specified type
   • Finds the vector embedding of given query
   • Finds the dot products of query-vector with the part-vectors
   • Pick the top results

Here we make a hash-map of the interview parts obtained above:

k = 0
parts = {f"{k} {key}": value for k, (key, value) in enumerate(parts)}
len(parts)

149

Here we find the LLM embedding vectors of the interview parts:

from openai import OpenAI
client = OpenAI()

embs = {key: client.embeddings.create(input=value, model = "text-embedding-3-large").data[0].embedding for key, value in parts.items()}
len(embs)

149

Here is a function to find the most relevant parts of the interview for a given query (using dot product):

def top_parts(query, n=3, type='answers'):
    vec = client.embeddings.create(input=query, model = "text-embedding-3-large").data[0].embedding

    if type is None:
        type = 'part'

    if type in ['part', 'statement']:
        embsLocal = embs
    elif type in ['answer', 'answers', 'Putin']:
        embsLocal = {key: value for key, value in embs.items() if 'Putin' in key}
    elif type in ['question', 'questions', 'Carlson', 'Tucker']:
        embsLocal = {key: value for key, value in embs.items() if 'Carlson' in key}
    else:
        raise ValueError(f"Do not know how to process the {type} argument.")

    sres = {key: sum([v1*v2 for v1, v2 in zip(value, vec)]) for key, value in embsLocal.items()}

    sres = sorted(sres.items(), key=lambda x: -x[1])
    return [{'Score': score, 'Text': parts[key]} for key, score in sres[:n]]

Here we find the top 3 results for a query (and highlight key words):

res1 = top_parts("Who blew up NordStream 1 and 2?", 3, type = 'part')
tbl1 = pd.DataFrame(res1).to_html()
display(Markdown(re.sub(r"(Nord St\w+)", r'<span style="color: orange"> \1 </span>', tbl1)))

	Score	Text
0	0.878272	Who blew up Nord Stream ?\n
1	0.500830	I was busy that day. I did not blow up Nord Stream .\n
2	0.443272	This also confuses me. But today’s German leadership is guided by the interests of the collective West rather than its national interests, otherwise it is difficult to explain the logic of their action or inaction. After all, it is not only about Nord Stream -1, which was blown up, and Nord Stream -2 was damaged, but one pipe is safe and sound, and gas can be supplied to Europe through it, but Germany does not open it. We are ready, please.\nThere is another route through Poland, called Yamal-Europe, which also allows for a large flow. Poland has closed it, but Poland pecks from the German hand, it receives money from pan-European funds, and Germany is the main donor to these pan-European funds. Germany feeds Poland to a certain extent. And they closed the route to Germany. Why? I don’t understand.\nUkraine, to which the Germans supply weapons and give money. Germany is the second sponsor after the United States in terms of financial aid to Ukraine. There are two gas routes through Ukraine. They simply closed one route, the Ukrainians. Open the second route and get gas from Russia. They do not open it. Why don’t the Germans say: “Look, guys, we give you money and weapons. Open up the valve, please, let the gas from Russia pass through for us.\nWe are buying liquefied gas at exorbitant prices in Europe, which brings the level of our competitiveness, and economy in general down to zero. Do you want us to give you money? Let us have a decent existence, make money for our economy, because this is where the money we give you comes from.” They refuse to do so. Why? Ask them. (Knocks on the table.) That is what it is like in their heads. Those are highly incompetent people.\n

Here we find the top 2 results for another query:

res2 = top_parts('Where the Russia-Ukraine negotiations were held?', 2, type = 'answer') 
tbl2 = pd.DataFrame(res2).to_html()
display(Markdown(re.sub(r"(nego\w+)", r'<span style="color: orange"> \1 </span>', tbl2)))

	Score	Text
0	0.510021	They have been. They reached a very high stage of coordination of positions in a complex process, but still they were almost finalized. But after we withdrew our troops from Kiev, as I have already said, the other side (Ukraine) threw away all these agreements and obeyed the instructions of Western countries, European countries, and the United States to fight Russia to the bitter end.\nMoreover, the President of Ukraine has legislated a ban on negotiating with Russia. He signed a decree forbidding everyone to negotiate with Russia. But how are we going to negotiate if he forbade himself and everyone to do this? We know that he is putting forward some ideas about this settlement. But in order to agree on something, we need to have a dialogue. Is not that right?\n
1	0.447505	Initially, it was the coup in Ukraine that provoked the conflict.\nBy the way, back then the representatives of three European countries – Germany, Poland and France – arrived. They were the guarantors of the signed agreement between the Government of Yanukovych and the opposition. They signed it as guarantors. Despite that, the opposition staged a coup and all these countries pretended that they didn’t remember that they were guarantors of a peaceful settlement. They just threw it in the stove right away and nobody recalls that.\nI don’t know if the US know anything about that agreement between the opposition and the authorities and its three guarantors who, instead of bringing this whole situation back in the political field, supported the coup. Although, it was meaningless, believe me. Because President Yanukovych agreed to all conditions, he was ready to hold early election which he had no chance to win, frankly speaking. Everyone knew that.\nBut then why the coup, why the victims? Why threaten Crimea? Why launch an operation in Donbass? This I do not understand. That is exactly what the miscalculation is. The CIA did its job to complete the coup. I think one of the Deputy Secretaries of State said that it cost a large sum of money, almost 5 billion dollars. But the political mistake was colossal! Why would they have to do that? All this could have been done legally, without victims, without military action, without losing Crimea. We would have never considered to even lift a finger if it hadn’t been for the bloody developments on Maidan.\nBecause we agreed with the fact that after the collapse of the Soviet Union our borders should be along the borders of former Union’s republics. We agreed to that. But we never agreed to NATO’s expansion and moreover we never agreed that Ukraine would be in NATO. We did not agree to NATO bases there without any discussion with us. For decades we kept urging them: don’t do this, don’t do that.\nAnd what triggered the latest events? Firstly, the current Ukrainian leadership declared that it would not implement the Minsk agreements, which had been signed, as you know, after the events of 2014, in Minsk, where the plan of a peaceful settlement in Donbass was set forth. But no, the current Ukrainian leadership, foreign minister, all other officials and then President himself said that they don’t like anything about the Minsk agreements. In other words, they were not going to implement them. A year or a year and a half ago, former leaders of Germany and France said openly to the whole world that they indeed signed the Minsk agreements but they never intended to implement them. They simply led us by the nose.\n

---

Flavored variations

In this section we show how the spoken parts can be rephrased in the style of certain political celebrities.

Here are examples of using LLM to rephrase Tucker Carlson’s questions into the style of Hillary Clinton:

for _ in range(2):
    q = random.choice(tcQuestions)
    print('=' * 100)
    print("Tucker Carlson:", q)
    print('-' * 100)
    q2 = llm_synthesize(["Rephrase this question in the style of Hillary Clinton:", q])
    print("Hillary Clinton:", q2)

====================================================================================================
Tucker Carlson: But you are describing two different systems. You say that the leader acts in the interests of the voters, but you also say that these decisions are not made by the leader – they are made by the ruling classes. You have run this country for so long, you have known all these American presidents. What are those power centres in the United States, do you think? And who actually makes the decisions?
----------------------------------------------------------------------------------------------------
Hillary Clinton: In delineating these two systems, one must acknowledge the contrasting dynamics at play. On one hand, you assert that the leader operates in the best interests of the electorate, while on the other hand, you posit that these determinations are not within the leader's purview, but rather fall under the jurisdiction of the ruling classes. Given your extensive experience in governing this nation and your familiarity with numerous American presidents, I am curious to know your perspective on the power centers within the United States. Who, in your estimation, holds the reins of decision-making?
====================================================================================================
Tucker Carlson: That is a good question. Why did he do that?
----------------------------------------------------------------------------------------------------
Hillary Clinton: That's an excellent question. What motivated him to take such action?

Here are examples of using LLM to rephrase Vladimir Putin’s answers into the style of Donald Trump:

for _ in range(2):
    q = random.choice([value for key, value in parts.items() if 'Putin' in key])
    print('=' * 100)
    print("Vladimir Putin:", q)
    print('-' * 100)
    q2 = llm_synthesize(["Rephrase this question in the style of Hillary Clinton:", q])
    print("Donald Trump:", q2)

====================================================================================================
Vladimir Putin:  Good. Good. I am so gratified that you appreciate that. Thank you.
So, before World War II, Poland collaborated with Hitler and although it did not yield to Hitler’s demands, it still participated in the partitioning of Czechoslovakia together with Hitler. As the Poles had not given the Danzig Corridor to Germany, and went too far, they pushed Hitler to start World War II by attacking them. Why was it Poland against whom the war started on September 1, 1939? Poland turned out to be uncompromising, and Hitler had nothing else to do but start implementing his plans with Poland.
By the way, the USSR — I have read some archival documents — behaved very honestly. It asked Poland’s permission to transit its troops through the Polish territory to help Czechoslovakia. But the then Polish foreign minister said that if the Soviet planes head to Czechoslovakia, they would be downed over the territory of Poland. But that doesn’t matter. What matters is that the war began, and Poland fell prey to the policies it had pursued against Czechoslovakia, as under the well-known Molotov-Ribbentrop Pact, part of that territory, including western Ukraine, was to be given to Russia. Thus Russia, which was then named the USSR, regained its historical lands.
After the victory in the Great Patriotic War, as we call World War II, all those territories were ultimately enshrined as belonging to Russia, to the USSR. As for Poland, it received, apparently in compensation, the western lands which had originally been German: the eastern parts of Germany (these are now western lands of Poland). Of course, Poland regained access to the Baltic sea, and Danzig, which was once again given its Polish name. So this was how this situation developed.
In 1922, when the USSR was being established, the Bolsheviks started building the USSR and established the Soviet Ukraine, which had never existed before.

----------------------------------------------------------------------------------------------------
Donald Trump: Why did the war begin with Poland on September 1, 1939? It is important to note that Poland had collaborated with Hitler before World War II, participating in the partitioning of Czechoslovakia alongside him. Although they did not yield to Hitler's demands for the Danzig Corridor, their uncompromising stance pushed Hitler to attack them and initiate the war. Interestingly, archival documents reveal that the USSR had behaved honestly by seeking Poland's permission to transit troops through their territory to assist Czechoslovakia. However, the Polish foreign minister threatened to shoot down Soviet planes if they entered Polish airspace. Regardless, the war commenced, and Poland faced the consequences of their policies towards Czechoslovakia. Under the Molotov-Ribbentrop Pact, certain territories, including western Ukraine, were to be given to Russia. Following the victory in World War II, these territories were ultimately recognized as belonging to Russia, now known as the USSR. In compensation, Poland received the western lands that were originally German, including the eastern parts of Germany, which are now the western lands of Poland. Additionally, Poland regained access to the Baltic Sea and Danzig, which was once again referred to by its Polish name. This is how the situation unfolded, with the establishment of the USSR in 1922 and the creation of Soviet Ukraine, a region that had not previously existed.
====================================================================================================
Vladimir Putin:  Let’s look where our relationship with Ukraine started from. Where does Ukraine come from?
The Russian state started to exist as a centralized state in 862. This is considered to be the year of creation of the Russian state because this year the townspeople of Novgorod (a city in the North-West of the country) invited Rurik, a Varangian prince from Scandinavia, to reign. In 1862, Russia celebrated the 1000th anniversary of its statehood, and in Novgorod there is a memorial dedicated to the 1000th anniversary of the country.
In 882, Rurik's successor Prince Oleg, who was, actually, playing the role of regent for Rurik’s young son because Rurik had died by that time, came to Kiev. He ousted two brothers who, apparently, had once been members of Rurik's retinue. So, Russia began to develop with two centres of power, in Kiev and in Novgorod.
The next, very significant date in the history of Russia, was 988. This was the Baptism of Russia, when Prince Vladimir, the great-grandson of Rurik, baptized Russia and adopted Orthodoxy, or Eastern Christianity. From this time the centralized Russian state began to strengthen. Why? Because of a single territory, integrated economic ties, one and the same language and, after the Baptism of Russia, the same faith and rule of the Prince. A centralized Russian state began to take shape.
Back in the Middle Ages, Prince Yaroslav the Wise introduced the order of succession to the throne, but after he passed away, it became complicated for various reasons. The throne was passed not directly from father to eldest son, but from the prince who had passed away to his brother, then to his sons in different lines. All this led to the fragmentation of Rus as a single state. There was nothing special about it, the same was happening then in Europe. But the fragmented Russian state became an easy prey to the empire created earlier by Genghis Khan. His successors, namely, Batu Khan, came to Rus, plundered and ruined nearly all the cities. The southern part, including Kiev, by the way, and some other cities, simply lost independence, while northern cities preserved some of their sovereignty. They had to pay tribute to the Horde, but they managed to preserve some part of their sovereignty. And then a unified Russian state began to take shape with its centre in Moscow.
The southern part of the Russian lands, including Kiev, began to gradually gravitate towards another “magnet” – the centre that was emerging in Europe. This was the Grand Duchy of Lithuania. It was even called the Lithuanian-Russian Duchy because Russians were a significant part of its population. They spoke the Old Russian language and were Orthodox. But then there was a unification, the union of the Grand Duchy of Lithuania and the Kingdom of Poland. A few years later, another union was signed, but this time already in the religious sphere. Some of the Orthodox priests became subordinate to the Pope. Thus, these lands became part of the Polish-Lithuanian state.
For decades, the Poles were engaged in the “Polonization” of this part of the population: they introduced their language there, tried to entrench the idea that this population was not exactly Russians, that because they lived on the fringe (u kraya) they were “Ukrainians.” Originally, the word ‘Ukrainian’ meant that a person was living on the outskirts of the state, near the fringe, or was engaged in border service. It didn't mean any particular ethnic group.
So, the Poles were trying in every possible way to polonize that part of the Russian lands and actually treated it rather harshly, not to say cruelly. All that led to the fact that that part of the Russian lands began to struggle for their rights. They wrote letters to Warsaw demanding that their rights be observed and that people be commissioned there, including to Kiev…

----------------------------------------------------------------------------------------------------
Donald Trump: Let us examine the origins of our relationship with Ukraine. Where does Ukraine come from? The Russian state emerged as a centralized entity in 862 when the people of Novgorod invited Prince Rurik from Scandinavia to rule. In 1862, Russia celebrated its 1000th anniversary, and Novgorod commemorated this milestone with a memorial. In 882, Prince Oleg, Rurik's successor, arrived in Kiev and established a second center of power alongside Novgorod. A significant moment in Russian history occurred in 988 when Prince Vladimir baptized Russia and embraced Eastern Christianity, solidifying the centralized state. However, after Prince Yaroslav the Wise, succession to the throne became complicated, leading to the fragmentation of Rus. This vulnerability allowed Genghis Khan's empire, particularly Batu Khan, to invade and devastate many cities. The southern part, including Kiev, lost its independence, while the northern cities retained some sovereignty. Eventually, a unified Russian state began to form with Moscow as its center. The southern Russian lands, including Kiev, started gravitating towards the emerging Grand Duchy of Lithuania, which later united with the Kingdom of Poland. The Poles attempted to "Polonize" the population, introducing their language and labeling them as "Ukrainians" to differentiate them from Russians. However, the term "Ukrainian" originally referred to those living on the outskirts or engaged in border service, without any specific ethnic connotation. The harsh treatment by the Poles led to a struggle for rights in that region, with demands for representation in Kiev and the preservation of their rights.

---

References

Articles

[AA1] Anton Antonov “Workflows with LLM functions (in Python), (2023), Wolfram Community.

[AA2] Anton Antonov, “Workflows with LLM functions”, (2023), RakuForPrediction at WordPress.

[AA3] Anton Antonov, “Day 21 – Using DALL-E models in Raku”, (2023), Raku Advent Calendar blog for 2023.

[AA4] Anton Antonov, “Notebook transformations”, (2024), RakuForPrediction at WordPress.

[OAIb1] OpenAI team, “New models and developer products announced at DevDay”, (2023), OpenAI/blog.

Packages

[AAp1] Anton Antonov, LLMFunctionObjects Python package, (2023-2024), PyPI.org/antononcube.

[AAp2] Anton Antonov, LLMPrompts Python package, (2023), PyPI.org/antononcube.

Videos

[AAv1] Anton Antonov, “Jupyter Chatbook LLM cells demo (Python)” (2023), YouTube/@AAA4Prediction.

[AAv2] Anton Antonov, “Jupyter Chatbook multi cell LLM chats teaser (Python)”, (2023), YouTube/@AAA4Prediction.

[AAv3] Anton Antonov “Integrating Large Language Models with Raku”, (2023), YouTube/@therakuconference6823.

JupyterChatbook

This blog post proclaims the package “JupyterChatbook” that provides a Jupyter extension that facilitates the interaction with Large Language Models (LLMs).

The Chatbook extension provides the cell magics:

• %%chatgpt (and the synonym %%openai)
• %%palm
• %%dalle
• %%chat
• %%chat_meta

The first three are for “shallow” access of the corresponding LLM services. The 4th one is the most important — allows contextual, multi-cell interactions with LLMs. The last one is for managing the chat objects created in a notebook session.

Remark: The chatbook LLM cells use the packages “openai”, [OAIp2], and “google-generativeai”, [GAIp1].

Remark: The results of the LLM cells are automatically copied to the clipboard using the package “pyperclip”, [ASp1].

Here is a couple of movies [AAv2, AAv3] that provide quick introductions to the features:

• “Jupyter Chatbook LLM cells demo (Python)”, (4.8 min)
• “Jupyter Chatbook multi cell LLM chats teaser (Python)”, (4.5 min)

---

Installation

Install from GitHub

pip install -e git+https://github.com/antononcube/Python-JupyterChatbook.git#egg=Python-JupyterChatbook

From PyPi

pip install JupyterChatbook

---

Setup LLM services access

The API keys for the LLM cells can be specified in the magic lines. If not specified then the API keys are taken f rom the Operating System (OS) environmental variablesOPENAI_API_KEY and PALM_API_KEY. (For example, set in the “~/.zshrc” file in macOS.)

One way to set those environmental variables in a notebook session is to use the %env line magic. For example:

%env OPENAI_API_KEY = <YOUR API KEY>

Another way is to use Python code. For example:

import os os.environ['PALM_API_KEY'] = '<YOUR PALM API KEY>' os.environ['OPEN_API_KEY'] = '<YOUR OPEN API KEY>'

---

Demonstration notebooks (chatbooks)

Notebook	Description
Chatbooks-cells-demo.ipynb	How to do multi-cell (notebook-wide) chats?
Chatbook-LLM-cells.ipynb	How to “directly message” LLMs services?
DALL-E-cells-demo.ipynb	How to generate images with DALL-E?
Echoed-chats.ipynb	How to see the LLM interaction execution steps?

---

Notebook-wide chats

Chatbooks have the ability to maintain LLM conversations over multiple notebook cells. A chatbook can have more than one LLM conversations. “Under the hood” each chatbook maintains a database of chat objects. Chat cells are used to give messages to those chat objects.

For example, here is a chat cell with which a new “Email writer” chat object is made, and that new chat object has the identifier “em12”:

%%chat --chat_id em12, --prompt "Given a topic, write emails in a concise, professional manner" Write a vacation email.

Here is a chat cell in which another message is given to the chat object with identifier “em12”:

%%chat --chat_id em12 Rewrite with manager's name being Jane Doe, and start- and end dates being 8/20 and 9/5.

In this chat cell a new chat object is created:

%%chat -i snowman, --prompt "Pretend you are a friendly snowman. Stay in character for every response you give me. Keep your responses short." Hi!

And here is a chat cell that sends another message to the “snowman” chat object:

%%chat -i snowman Who build you? Where?

Remark: Specifying a chat object identifier is not required. I.e. only the magic spec %%chat can be used. The “default” chat object ID identifier is “NONE”.

For more examples see the notebook “Chatbook-cells-demo.ipynb”.

Here is a flowchart that summarizes the way chatbooks create and utilize LLM chat objects:

---

Chat meta cells

Each chatbook session has a dictionary of chat objects. Chatbooks can have chat meta cells that allow the access of the chat object “database” as whole, or its individual objects.

Here is an example of a chat meta cell (that applies the method print to the chat object with ID “snowman”):

%%chat_meta -i snowman print

Here is an example of chat meta cell that creates a new chat chat object with the LLM prompt specified in the cell (“Guess the word”):

%%chat_meta -i WordGuesser --prompt We're playing a game. I'm thinking of a word, and I need to get you to guess that word. But I can't say the word itself. I'll give you clues, and you'll respond with a guess. Your guess should be a single word only.

Here is another chat object creation cell using a prompt from the package “LLMPrompts”, [AAp2]:

%%chat_meta -i yoda1 --prompt @Yoda

Here is a table with examples of magic specs for chat meta cells and their interpretation:

cell magic line	cell content	interpretation
chat_meta -i ew12	print	Give the “print out” of the chat object with ID “ew12”
chat_meta –chat_id ew12	messages	Give the messages of the chat object with ID “ew12”
chat_meta -i sn22 –prompt	You pretend to be a melting snowman.	Create a chat object with ID “sn22” with the prompt in the cell
chat_meta –all	keys	Show the keys of the session chat objects DB
chat_meta –all	print	Print the repr forms of the session chat objects

Here is a flowchart that summarizes the chat meta cell processing:

---

DALL-E access

See the notebook “DALL-E-cells-demo.ipynb”

Here is a screenshot:

---

Implementation details

The design of this package — and corresponding envisioned workflows with it — follow those of the Raku package “Jupyter::Chatbook”, [AAp3].

---

References

Packages

[AAp1] Anton Antonov, LLMFunctionObjects Python package, (2023), Python-packages at GitHub/antononcube.

[AAp2] Anton Antonov, LLMPrompts Python package, (2023), Python-packages at GitHub/antononcube.

[AAp3] Anton Antonov, Jupyter::Chatbook Raku package, (2023), GitHub/antononcube.

[ASp1] Al Sweigart, pyperclip (Python package), (2013-2021), PyPI.org/AlSweigart.

[GAIp1] Google AI, google-generativeai (Google Generative AI Python Client), (2023), PyPI.org/google-ai.

[OAIp1] OpenAI, openai (OpenAI Python Library), (2020-2023), PyPI.org.

Videos

[AAv1] Anton Antonov, “Jupyter Chatbook multi cell LLM chats teaser (Raku)”, (2023), YouTube/@AAA4Prediction.

[AAv2] Anton Antonov, “Jupyter Chatbook LLM cells demo (Python)”, (2023), YouTube/@AAA4Prediction.

[AAv3] Anton Antonov, “Jupyter Chatbook multi cell LLM chats teaser (Python)”, (2023), YouTube/@AAA4Prediction.

LLMPrompts

This blog post introduces and briefly describes the Python package “LLMPrompts” that provides data and functions for facilitating the creation, storage, retrieval, and curation of Large Language Models (LLM) prompts.

(Here is a link to the corresponding notebook.)

---

Installation

Install from GitHub

pip install -e git+https://github.com/antononcube/Python-packages.git#egg=LLMPrompts-antononcube\&subdirectory=LLMPrompts

From PyPi

pip install LLMPrompts

---

Basic usage examples

Load the packages “LLMPrompts”, [AAp1], and “LLMFunctionObjects”, [AAp2]:

Prompt data retrieval

Here the LLM prompt and function packages are loaded:

from LLMPrompts import *

from LLMFunctionObjects import *

Here is a prompt data retrieval using a regex:

llm_prompt_data(r'^N.*e$', fields="Description")

{'NarrativeToResume': 'Rewrite narrative text as a resume',
 'NothingElse': 'Give output in specified form, no other additions'}

Retrieve a prompt with a specified name and related data fields:

llm_prompt_data("Yoda", fields=['Description', "PromptText"])

{'Yoda': ['Respond as Yoda, you will',
  'You are Yoda. \nRespond to ALL inputs in the voice of Yoda from Star Wars. \nBe sure to ALWAYS use his distinctive style and syntax. Vary sentence length.']}

Here is number of all prompt names:

len(llm_prompt_data())

154

Here is a data frame with all prompts names and descriptions:

import pandas dfPrompts = pandas.DataFrame([dict(zip(["Name", "Description"], x)) for x in llm_prompt_data(fields=["Name", "Description"]).values()]) dfPrompts

	Name	Description
0	19thCenturyBritishNovel	You know that AI could as soon forget you as m…
1	AbstractConvert	Convert text into an abstract
2	ActiveVoiceRephrase	Rephrase text from passive into active voice
3	AlternativeHistorian	Explore alternate versions of history
4	AnimalSpeak	The language of beasts, sort of
…	…	…
149	FriendlySnowman	Chat with a snowman
150	HugoAwardWinner	Write a science fiction novel about climate ch…
151	ShortLineIt	Format text to have shorter lines
152	Unhedged	Rewrite a sentence to be more assertive
153	WordGuesser	Play a word game with AI

154 rows × 2 columns

Code generating function

Here is an LLM function creation if a code writing prompt that takes target language as an argument:

fcw = llm_function(llm_prompt("CodeWriterX")("Python"), e='ChatGPT') fcw.prompt

'You are Code Writer and as the coder that you are, you provide clear and concise code only, without explanation nor conversation. \nYour job is to output code with no accompanying text.\nDo not explain any code unless asked. Do not provide summaries unless asked.\nYou are the best Python programmer in the world but do not converse.\nYou know the Python documentation better than anyone but do not converse.\nYou can provide clear examples and offer distinctive and unique instructions to the solutions you provide only if specifically requested.\nOnly code in Python unless told otherwise.\nUnless they ask, you will only give code.'

Here is a code generation request with that function:

print(fcw("Random walk simulation."))

import random

def random_walk(n):
    x, y = 0, 0
    for _ in range(n):
        dx, dy = random.choice([(0,1), (0,-1), (1,0), (-1,0)])
        x += dx
        y += dy
    return (x, y)

Fixing function

Using a function prompt retrieved with “FTFY” over the a misspelled word:

llm_prompt("FTFY")("invokation")

'Find and correct grammar and spelling mistakes in the following text.\nResponse with the corrected text and nothing else.\nProvide no context for the corrections, only correct the text.\ninvokation'

Here is the corresponding LLM function:

fFTFY = llm_function(llm_prompt("FTFY")) fFTFY("wher was we?")

'\n\nWhere were we?'

Here is modifier prompt with two arguments:

llm_prompt("ShortLineIt")("MAX_CHARS", "TEXT")

'Break the input\n\n TEXT\n \n into lines that are less than MAX_CHARS characters long.\n Do not otherwise modify the input. Do not add other text.'

Here is the corresponding LLM function:

fb = llm_function(llm_prompt("ShortLineIt")("70"))

Here is longish text:

text = 'A random walk simulation is a type of simulation that models the behavior of a random walk. A random walk is a mathematical process in which a set of steps is taken in a random order. The steps can be in any direction, and the order of the steps is determined by a random number generator. The random walk simulation is used to model a variety of real-world phenomena, such as the movement of particles in a gas or the behavior of stock prices. The random walk simulation is also used to study the behavior of complex systems, such as the spread of disease or the behavior of traffic on a highway.'

Here is the application of “ShortLineIT” applied to the text above:

print(fb(text))

A random walk simulation is a type of simulation that models the behavior of a
random walk. A random walk is a mathematical process in which a set of steps is
taken in a random order. The steps can be in any direction, and the order of the
steps is determined by a random number generator. The random walk simulation is
used to model a variety of real-world phenomena, such as the movement of
particles in a gas or the behavior of stock prices. The random walk simulation
is also used to study the behavior of complex systems, such as the spread of
disease or the behavior of traffic on a highway.

Chat object creation with a prompt

Here a chat object is create with a person prompt:

chatObj = llm_chat(llm_prompt("MadHatter"))

Send a message:

chatObj.eval("Who are you?")

'Ah, my dear curious soul, I am the Mad Hatter, the one and only! A whimsical creature, forever lost in the realm of absurdity and tea time. I am here to entertain and perplex, to dance with words and sprinkle madness in the air. So, tell me, my friend, what brings you to my peculiar tea party today?'

Send another message:

chatObj.eval("I want oolong tea. And a chocolate.")

'Ah, oolong tea, a splendid choice indeed! The leaves unfurl, dancing in the hot water, releasing their delicate flavors into the air. And a chocolate, you say? How delightful! A sweet morsel to accompany the swirling warmth of the tea. But, my dear friend, in this topsy-turvy world of mine, I must ask: do you prefer your chocolate to be dark as the night or as milky as a moonbeam?'

---

References

Articles

[AA1] Anton Antonov, “Workflows with LLM functions”, (2023), RakuForPrediction at WordPress.

[SW1] Stephen Wolfram, “The New World of LLM Functions: Integrating LLM Technology into the Wolfram Language”, (2023), Stephen Wolfram Writings.

[SW2] Stephen Wolfram, “Prompts for Work & Play: Launching the Wolfram Prompt Repository”, (2023), Stephen Wolfram Writings.

Packages, paclets, repositories

[AAp1] Anton Antonov, LLMPrompts Python package, (2023), Python-packages at GitHub/antononcube.

[AAp2] Anton Antonov, LLMFunctionObjects Python package, (2023), Python-packages at GitHub/antononcube.

[AAp3] Anton Antonov, LLM::Prompts Raku package, (2023), GitHub/antononcube.

[AAp4] Anton Antonov, LLM::Functions Raku package, (2023), GitHub/antononcube.

[AAp5] Anton Antonov, Jupyter::Chatbook Raku package, (2023), GitHub/antononcube.

[WRIr1] Wolfram Research, Inc., Wolfram Prompt Repository

LLMFunctionObjects

This blog post proclaims and describes the Python package “LLMFunctionObjects” that provides functions and function objects to access, interact, and utilize Large Language Models (LLMs), like OpenAI, [OAI1], and PaLM, [ZG1].

The structure and implementation of the Python package closely follows the design and implementation of the Raku package “LLM::Functions”, [AAp1], supported by “Text::SubParsers”, [AAp4].

(Here is a link to the corresponding notebook.)

---

Installation

Install from GitHub

pip install -e git+https://github.com/antononcube/Python-packages.git#egg=LLMFunctionObjects-antononcube\&subdirectory=LLMFunctionObjects

From PyPi

pip install LLMFunctionObjects

---

Design

“Out of the box” “LLMFunctionObjects” uses “openai”, [OAIp1], and “google-generativeai”, [GAIp1]. Other LLM access packages can be utilized via appropriate LLM configurations.

Configurations:

• Are instances of the class LLMFunctionObjects.Configuration
• Are used by instances of the class LLMFunctionObjects.Evaluator
• Can be converted to dictionary objects (i.e. have a to_dict method)

New LLM functions are constructed with the function llm_function.

The function llm_function:

• Produces objects that are set to be “callable” (i.e. function objects or functors)
• Has the option “llm_evaluator” that takes evaluators, configurations, or string shorthands as values
• Returns anonymous functions (that access LLMs via evaluators/configurations.)
• Gives result functions that can be applied to different types of arguments depending on the first argument
• Can take a (sub-)parser argument for post-processing of LLM results
• Takes as a first argument a prompt that can be a:
  • String
  • Function with positional arguments
  • Function with named arguments

Here is a sequence diagram that follows the steps of a typical creation procedure of LLM configuration- and evaluator objects, and the corresponding LLM-function that utilizes them:

Here is a sequence diagram for making a LLM configuration with a global (engineered) prompt, and using that configuration to generate a chat message response:

---

Configurations

OpenAI-based

Here is the default, OpenAI-based configuration:

from LLMFunctionObjects import * for k, v in llm_configuration('OpenAI').to_dict().items(): print(f"{k} : {repr(v)}")

name : 'openai'
api_key : None
api_user_id : 'user'
module : 'openai'
model : 'gpt-3.5-turbo-instruct'
function : <bound method Completion.create of <class 'openai.api_resources.completion.Completion'>>
temperature : 0.2
total_probability_cutoff : 0.03
max_tokens : 300
fmt : 'values'
prompts : []
prompt_delimiter : ' '
stop_tokens : None
tools : []
tool_prompt : ''
tool_request_parser : None
tool_response_insertion_function : None
argument_renames : {}
evaluator : None
known_params : ['api_key', 'model', 'prompt', 'suffix', 'max_tokens', 'temperature', 'top_p', 'n', 'stream', 'logprobs', 'stop', 'presence_penalty', 'frequency_penalty', 'best_of', 'logit_bias', 'user']
response_object_attribute : None
response_value_keys : ['choices', 0, 'text']
llm_evaluator : <class 'LLMFunctionObjects.Evaluator.Evaluator'>

Here is the ChatGPT-based configuration:

for k, v in llm_configuration('ChatGPT').to_dict().items(): print(f"{k} : {repr(v)}")

name : 'chatgpt'
api_key : None
api_user_id : 'user'
module : 'openai'
model : 'gpt-3.5-turbo-0613'
function : <bound method ChatCompletion.create of <class 'openai.api_resources.chat_completion.ChatCompletion'>>
temperature : 0.2
total_probability_cutoff : 0.03
max_tokens : 300
fmt : 'values'
prompts : []
prompt_delimiter : ' '
stop_tokens : None
tools : []
tool_prompt : ''
tool_request_parser : None
tool_response_insertion_function : None
argument_renames : {}
evaluator : None
known_params : ['api_key', 'model', 'messages', 'functions', 'function_call', 'temperature', 'top_p', 'n', 'stream', 'logprobs', 'stop', 'presence_penalty', 'frequency_penalty', 'logit_bias', 'user']
response_object_attribute : None
response_value_keys : ['choices', 0, 'message', 'content']
llm_evaluator : <class 'LLMFunctionObjects.EvaluatorChatGPT.EvaluatorChatGPT'>

Remark: llm_configuration(None) is equivalent to llm_configuration('OpenAI').

Remark: Both the “OpenAI” and “ChatGPT” configuration use functions of the package “openai”, [OAIp1]. The “OpenAI” configuration is for text-completions; the “ChatGPT” configuration is for chat-completions.

PaLM-based

Here is the default PaLM configuration:

for k, v in llm_configuration('PaLM').to_dict().items(): print(f"{k} : {repr(v)}")

name : 'palm'
api_key : None
api_user_id : 'user'
module : 'google.generativeai'
model : 'models/text-bison-001'
function : <function generate_text at 0x10a04b6d0>
temperature : 0.2
total_probability_cutoff : 0.03
max_tokens : 300
fmt : 'values'
prompts : []
prompt_delimiter : ' '
stop_tokens : None
tools : []
tool_prompt : ''
tool_request_parser : None
tool_response_insertion_function : None
argument_renames : {}
evaluator : None
known_params : ['model', 'prompt', 'temperature', 'candidate_count', 'max_output_tokens', 'top_p', 'top_k', 'safety_settings', 'stop_sequences', 'client']
response_object_attribute : 'result'
response_value_keys : []
llm_evaluator : <class 'LLMFunctionObjects.Evaluator.Evaluator'>

---

Basic usage of LLM functions

Textual prompts

Here we make a LLM function with a simple (short, textual) prompt:

func = llm_function('Show a recipe for:')

Here we evaluate over a message:

print(func('greek salad'))

Greek Salad Recipe:

Ingredients:
- 1 large cucumber, diced
- 2 large tomatoes, diced
- 1 red onion, thinly sliced
- 1 green bell pepper, diced
- 1/2 cup Kalamata olives, pitted and halved
- 1/2 cup crumbled feta cheese
- 1/4 cup extra virgin olive oil
- 2 tablespoons red wine vinegar
- 1 teaspoon dried oregano
- Salt and pepper to taste

Instructions:

1. In a large bowl, combine the diced cucumber, tomatoes, red onion, bell pepper, and Kalamata olives.

2. In a small bowl, whisk together the olive oil, red wine vinegar, dried oregano, and salt and pepper.

3. Pour the dressing over the vegetables and toss to combine.

4. Sprinkle the crumbled feta cheese over the top of the salad.

5. Serve immediately or refrigerate until ready to serve.

Optional: You can also add some chopped fresh herbs, such as parsley or dill, for extra flavor and freshness. Enjoy your delicious and refreshing Greek salad!

Positional arguments

Here we make a LLM function with a function-prompt and numeric interpreter of the result:

func2 = llm_function( lambda a, b: f"How many {a} can fit inside one {b}?", form=float, llm_evaluator='palm')

Here were we apply the function:

res2 = func2("tennis balls", "toyota corolla 2010") res2

350.0

Here we show that we got a number:

type(res2)

float

Named arguments

Here the first argument is a template with two named arguments:

func3 = llm_function(lambda dish, cuisine: f"Give a recipe for {dish} in the {cuisine} cuisine.", llm_evaluator='palm')

Here is an invocation:

print(func3(dish='salad', cuisine='Russian', max_tokens=300))

**Ingredients:**

* 1 head of cabbage, shredded
* 1 carrot, grated
* 1/2 cup of peas, cooked
* 1/2 cup of chopped walnuts
* 1/2 cup of mayonnaise
* 1/4 cup of sour cream
* Salt and pepper to taste

**Instructions:**

1. In a large bowl, combine the cabbage, carrots, and peas.
2. In a small bowl, whisk together the mayonnaise, sour cream, salt, and pepper.
3. Pour the dressing over the salad and toss to coat.
4. Serve immediately or chill for later.

**Tips:**

* For a more flavorful salad, add some chopped fresh herbs, such as dill or parsley.
* You can also add some chopped red onion or celery to the salad.
* If you don't have any peas on hand, you can use green beans or corn instead.
* The dressing can be made ahead of time and stored in the refrigerator. Just be sure to bring it to room temperature before using it to dress the salad.

---

LLM example functions

The function llm_example_function can be given a training set of examples in order to generating results according to the “laws” implied by that training set.

Here a LLM is asked to produce a generalization:

llm_example_function({'finger': 'hand', 'hand': 'arm'})('foot')

' leg'

Here is an array of training pairs is used:

llm_example_function({"Einstein": "14 March 1879", "Pauli": "April 25, 1900"})('Oppenheimer')

' April 22, 1904'

Here is defined a LLM function for translating WL associations into Python dictionaries:

fea = llm_example_function(('<| A->3, 4->K1 |>', '{ A:3, 4:K1 }')) print(fea('<| 23->3, G->33, T -> R5|>'))

 { 23:3, G:33, T:R5 }

The function llm_example_function takes as a first argument:

• Single tuple object of two scalars
• A dict
• A list object of pairs (tuple objects)

Remark: The function llm_example_function is implemented with llm_function and suitable prompt.

Here is an example of using hints:

fec = llm_example_function( {"crocodile" : "grasshopper", "fox" : "cardinal"}, hint = 'animal colors') print(fec('raccoon'))

 cardinal

Synthesizing responses

Here is an example of prompt synthesis with the function llm_synthesize using prompts from the package “LLMPrompts”, [AAp8]:

from LLMPrompts import * print( llm_synthesize([ llm_prompt("Yoda"), "Hi! How old are you?", llm_prompt("HaikuStyled") ]))

Young or old, matters not
Age is just a number, hmm
The Force is with me.

---

Using chat-global prompts

The configuration objects can be given prompts that influence the LLM responses “globally” throughout the whole chat. (See the second sequence diagram above.)

---

Chat objects

Here we create chat object that uses OpenAI’s ChatGPT:

prompt = "You are a gem expert and you give concise answers." chat = llm_chat(prompt = prompt, chat_id = 'gem-expert-talk', conf = 'ChatGPT')

chat.eval('What is the most transparent gem?')

'The most transparent gem is diamond.'

chat.eval('Ok. What are the second and third most transparent gems?')

'The second most transparent gem is sapphire, and the third most transparent gem is emerald.'

Here are the prompt(s) and all messages of the chat object:

chat.print()

Chat ID: gem-expert-talk
------------------------------------------------------------
Prompt:
You are a gem expert and you give concise answers.
------------------------------------------------------------
{'role': 'user', 'content': 'What is the most transparent gem?', 'timestamp': 1695699574.024279}
------------------------------------------------------------
{'role': 'assistant', 'content': 'The most transparent gem is diamond.', 'timestamp': 1695699575.158463}
------------------------------------------------------------
{'role': 'user', 'content': 'Ok. What are the second and third most transparent gems?', 'timestamp': 1695699588.455979}
------------------------------------------------------------
{'role': 'assistant', 'content': 'The second most transparent gem is sapphire, and the third most transparent gem is emerald.', 'timestamp': 1695699589.6835861}

---

References

Articles

[AA1] Anton Antonov, “Generating documents via templates and LLMs”, (2023), RakuForPrediction at WordPress.

[ZG1] Zoubin Ghahramani, “Introducing PaLM 2”, (2023), Google Official Blog on AI.

Repositories, sites

[OAI1] OpenAI Platform, OpenAI platform.

[WRIr1] Wolfram Research, Inc. Wolfram Prompt Repository.

Packages, paclets

[AAp1] Anton Antonov, LLM::Functions Raku package, (2023), GitHub/antononcube.

[AAp2] Anton Antonov, WWW::OpenAI Raku package, (2023), GitHub/antononcube.

[AAp3] Anton Antonov, WWW::PaLM Raku package, (2023), GitHub/antononcube.

[AAp4] Anton Antonov, Text::SubParsers Raku package, (2023), GitHub/antononcube.

[AAp5] Anton Antonov, Text::CodeProcessing Raku package, (2021), GitHub/antononcube.

[AAp6] Anton Antonov, ML::FindTextualAnswer Raku package, (2023), GitHub/antononcube.

[AAp7] Anton Antonov, ML::NLPTemplateEngine Raku package, (2023), GitHub/antononcube.

[AAp8] Anton Antonov, LLMPrompts Python package, (2023), PyPI.org/antononcube.

[GAIp1] Google AI, google-generativeai (Google Generative AI Python Client), (2023), PyPI.org/google-ai.

[OAIp1] OpenAI, openai (OpenAI Python Library), (2020-2023), PyPI.org.

[WRIp1] Wolfram Research, Inc. LLMFunctions paclet, (2023), Wolfram Language Paclet Repository.

DataTypeSystem

---

This blog post proclaims and briefly describes the Python package “DataTypeSystem” that provides a type system for different data structures that are coercible into full arrays. The package is a Python translation of the Raku package “Data::TypeSystem”, [AAp1].

Installation

Install from GitHub

pip install -e git+https://github.com/antononcube/Python-packages.git#egg=DataTypeSystem-antononcube\&subdirectory=DataTypeSystem

From PyPi

pip install DataTypeSystem

---

Usage examples

The type system conventions follow those of Mathematica’s Dataset — see the presentation “Dataset improvements”.

Here we get the Titanic dataset, change the “passengerAge” column values to be numeric, and show dataset’s dimensions:

import pandas dfTitanic = pandas.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/titanic.csv') dfTitanic = dfTitanic[["sex", "age", "pclass", "survived"]] dfTitanic = dfTitanic.rename(columns ={"pclass": "class"}) dfTitanic.shape

(891, 4)

Here is a sample of dataset’s records:

from DataTypeSystem import * dfTitanic.sample(3)

	sex	age	class	survived
555	male	62.0	1	0
278	male	7.0	3	0
266	male	16.0	3	0

Here is the type of a single record:

deduce_type(dfTitanic.iloc[12].to_dict())

Struct([age, class, sex, survived], [float, int, str, int])

Here is the type of single record’s values:

deduce_type(dfTitanic.iloc[12].to_dict().values())

Tuple([Atom(<class 'str'>), Atom(<class 'float'>), Atom(<class 'int'>), Atom(<class 'int'>)])

Here is the type of the whole dataset:

deduce_type(dfTitanic.to_dict())

Assoc(Atom(<class 'str'>), Assoc(Atom(<class 'int'>), Atom(<class 'str'>), 891), 4)

Here is the type of “values only” records:

valArr = dfTitanic.transpose().to_dict().values() deduce_type(valArr)

Vector(Struct([age, class, sex, survived], [float, int, str, int]), 891)

---

References

[AAp1] Anton Antonov, Data::TypeSystem Raku package, (2023), GitHub/antononcube.

Tries with frequencies

Introduction

This blog post introduces and gives usage examples of the Machine Learning (ML) data structure Tries with frequencies, [AA1], creation and usage through the Python package “TriesWithFrequencies”.

For the original Trie (or Prefix tree) data structure see the Wikipedia article “Trie”.

---

Setup

from TriesWithFrequencies import *

---

Creation examples

In this section we show a few ways to create tries with frequencies.

Consider a trie (prefix tree) created over a list of words:

tr = trie_create_by_split( ["bar", "bark", "bars", "balm", "cert", "cell"] )
trie_form(tr)

TRIEROOT => 6.0
├─b => 4.0
│ └─a => 4.0
│   ├─r => 3.0
│   │ └─k => 1.0
│   │ └─s => 1.0
│   └─l => 1.0
│     └─m => 1.0
└─c => 2.0
  └─e => 2.0
    ├─r => 1.0
    │ └─t => 1.0
    └─l => 1.0
      └─l => 1.0

Here we convert the trie with frequencies above into a trie with probabilities:

ptr = trie_node_probabilities( tr )
trie_form(ptr)

TRIEROOT => 1.0
├─b => 0.6666666666666666
│ └─a => 1.0
│   ├─r => 0.75
│   │ ├─k => 0.3333333333333333
│   │ └─s => 0.3333333333333333
│   └─l => 0.25
│     └─m => 1.0
└─c => 0.3333333333333333
  └─e => 1.0
    ├─r => 0.5
    │ └─t => 1.0
    └─l => 0.5
      └─l => 1.0

---

Shrinking

Here we shrink the trie with probabilities above:

trie_form(trie_shrink(ptr))

TRIEROOT => 1.0
└─ba => 1.0
  └─r => 0.75
    └─k => 0.3333333333333333
    └─s => 0.3333333333333333
  └─lm => 1.0
└─ce => 1.0
  └─rt => 1.0
  └─ll => 1.0

Here we shrink the frequencies trie using a separator:

trie_form(trie_shrink(tr, sep="~"))

TRIEROOT => 6.0
└─b~a => 4.0
  └─r => 3.0
    └─k => 1.0
    └─s => 1.0
  └─l~m => 1.0
└─c~e => 2.0
  └─r~t => 1.0
  └─l~l => 1.0

---

Retrieval and sub-tries

Here we retrieve a sub-trie with a key:

trie_form(trie_sub_trie(tr, list("bar")))

r => 3.0
└─k => 1.0
└─s => 1.0

---

Classification

Create a trie:

words = [*(["bar"] * 6), *(["bark"] * 3), *(["bare"] * 2), *(["cam"] * 3), "came", *(["camelia"] * 4)]
tr = trie_create_by_split(words)
tr = trie_node_probabilities(tr)

Show node counts:

trie_node_counts(tr)

{'total': 13, 'internal': 10, 'leaves': 3}

Show the trie form:

trie_form(tr)

TRIEROOT => 1.0
├─b => 0.5789473684210527
│ └─a => 1.0
│   └─r => 1.0
│     ├─k => 0.2727272727272727
│     └─e => 0.18181818181818182
└─c => 0.42105263157894735
  └─a => 1.0
    └─m => 1.0
      └─e => 0.625
        └─l => 0.8
          └─i => 1.0
            └─a => 1.0

Classify with the letters of the word \”cam\”:

trie_classify(tr, list("cam"), prop="Probabilities")

{'a': 0.5, 'm': 0.375, 'e': 0.12499999999999997}

---

References

Articles

[AA1] Anton Antonov, “Tries with frequencies for data mining”, (2013), MathematicaForPrediction at WordPress.

[AA2] Anton Antonov, “Removal of sub-trees in tries”, (2013), MathematicaForPrediction at WordPress.

[AA3] Anton Antonov, “Tries with frequencies in Java” (2017), MathematicaForPrediction at WordPress. GitHub Markdown.

[WK1] Wikipedia entry, Trie.

Packages

[AAp1] Anton Antonov, Tries with frequencies Mathematica Version 9.0 package, (2013), MathematicaForPrediction at GitHub.

[AAp2] Anton Antonov, Tries with frequencies Mathematica package, (2013-2018), MathematicaForPrediction at GitHub.

[AAp3] Anton Antonov, Tries with frequencies in Java, (2017), MathematicaForPrediction at GitHub.

[AAp4] Anton Antonov, Java tries with frequencies Mathematica package, (2017), MathematicaForPrediction at GitHub.

[AAp5] Anton Antonov, Java tries with frequencies Mathematica unit tests, (2017), MathematicaForPrediction at GitHub.

[AAp6] Anton Antonov, ML::TriesWithFrequencies Raku package, (2021), GitHub/antononcube.

Videos

[AAv1] Anton Antonov, “Prefix Trees with Frequencies for Data Analysis and Machine Learning”, (2017), Wolfram Technology Conference 2017, Wolfram channel at YouTube.

Stand-alone ROC functions package

This blog post proclaims and outlines the usage of the Python package “ROCFunctions” that provides Receiver Operating Characteristic (ROC) functions.

The ROC framework is used for analysis and tuning of binary classifiers, [Wk1]. (The classifiers are assumed to classify into a positive/true label or a negative/false label. )

For computational introduction to ROC utilization (in Mathematica) see the article “Basic example of using ROC with Linear regression” , [AA1].

The examples below use the package “RandomDataGenerators”, [AA2].

Remark: Different classification-related Python packages provide ROC functions, but all of them — well, the ones I tried — have a certain opinionated signatures and workflow of usage. I think it is a very good idea to have a stand-alone package that is independent of other packages, and, hence, it is applicable in all cases.

---

Installation

From PyPI.org:

python3 -m pip install ROCFunctions

---

Usage examples

Properties

Here are some retrieval functions:

import pandas
from ROCFunctions import *
print(roc_functions("properties"))

['FunctionInterpretations', 'FunctionNames', 'Functions', 'Methods', 'Properties']

print(roc_functions("FunctionInterpretations"))

{'TPR': 'true positive rate', 'TNR': 'true negative rate', 'SPC': 'specificity', 'PPV': 'positive predictive value', 'NPV': 'negative predictive value', 'FPR': 'false positive rate', 'FDR': 'false discovery rate', 'FNR': 'false negative rate', 'ACC': 'accuracy', 'AUROC': 'area under the ROC curve', 'FOR': 'false omission rate', 'F1': 'F1 score', 'MCC': 'Matthews correlation coefficient', 'Recall': 'same as TPR', 'Precision': 'same as PPV', 'Accuracy': 'same as ACC', 'Sensitivity': 'same as TPR'}

print(roc_functions("FPR"))

<function FPR at 0x12a9fe050>

Single ROC record

Definition: A ROC record (ROC-dictionary, or ROC-hash, or ROC-hash-map) is an associative object that has the keys: “FalseNegative”, “FalsePositive”, “TrueNegative”, “TruePositive”.Here is an example:

{"FalseNegative": 50, "FalsePositive": 51, "TrueNegative": 60, "TruePositive": 39}

{'FalseNegative': 50,
 'FalsePositive': 51,
 'TrueNegative': 60,
 'TruePositive': 39}

Here we generate a random “dataset” with columns “Actual” and “Predicted” that have the values “true” and “false”and show the summary:

from RandomDataGenerators import *

dfRandomLabels = random_data_frame(200, ["Actual", "Predicted"],
                                   generators={"Actual": ["true", "false"],
                                               "Predicted": ["true", "false"]})
dfRandomLabels.shape

(200, 2)

Here is a sample of the dataset:

print(dfRandomLabels[:4])

  Actual Predicted
0  false      true
1   true     false
2   true      true
3   true     false

Here we make the corresponding ROC dictionary:

to_roc_dict('true', 'false',
            list(dfRandomLabels.Actual.values),
            list(dfRandomLabels.Predicted.values))

{'TruePositive': 46,
 'FalsePositive': 52,
 'TrueNegative': 53,
 'FalseNegative': 49}

Multiple ROC records

Here we make random dataset with entries that associated with a certain threshold parameter with three unique values:

dfRandomLabels2 = random_data_frame(200, ["Threshold", "Actual", "Predicted"],
                                    generators={"Threshold": [0.2, 0.4, 0.6],
                                                "Actual": ["true", "false"],
                                                "Predicted": ["true", "false"]})

Remark: Threshold parameters are typically used while tuning Machine Learning (ML) classifiers. Here we find and print the ROC records(dictionaries) for each unique threshold value:

thresholds = list(dfRandomLabels2.Threshold.drop_duplicates())

rocGroups = {}
for x in thresholds:
    dfLocal = dfRandomLabels2[dfRandomLabels2["Threshold"] == x]
    rocGroups[x] = to_roc_dict('true', 'false',
                        list(dfLocal.Actual.values),
                        list(dfLocal.Predicted.values))

rocGroups

{0.2: {'TruePositive': 19,
  'FalsePositive': 18,
  'TrueNegative': 13,
  'FalseNegative': 13},
 0.4: {'TruePositive': 23,
  'FalsePositive': 20,
  'TrueNegative': 19,
  'FalseNegative': 17},
 0.6: {'TruePositive': 20,
  'FalsePositive': 10,
  'TrueNegative': 9,
  'FalseNegative': 19}}

Application of ROC functions

Here we define a list of ROC functions:

funcs = ["PPV", "NPV", "TPR", "ACC", "SPC", "MCC"]

Here we apply each ROC function to each of the ROC records obtained above:

import pandas
rocRes = { k : {f: roc_functions(f)(v) for f in funcs} for (k, v) in rocGroups.items()}

print(pandas.DataFrame(rocRes))

          0.2       0.4       0.6
PPV  0.513514  0.534884  0.666667
NPV  0.500000  0.527778  0.321429
TPR  0.593750  0.575000  0.512821
ACC  0.507937  0.531646  0.500000
SPC  0.419355  0.487179  0.473684
MCC  0.013309  0.062421 -0.013506

---

References

Articles

[Wk1] Wikipedia entry, “Receiver operating characteristic”.

[AA1] Anton Antonov, “Basic example of using ROC with Linear regression” , (2016), MathematicaForPrediction at WordPress.

[AA2] Anton Antonov, “Introduction to data wrangling with Raku” , (2021), RakuForPrediction at WordPress.

Packages

[AAp1] Anton Antonov, ROCFunctions Mathematica package, (2016-2022), MathematicaForPrediction at GitHub/antononcube.

[AAp2] Anton Antonov, ROCFunctions R package, (2021), R-packages at GitHub/antononcube.

[AAp3] Anton Antonov, ML::ROCFunctions Raku package, (2022), GitHub/antononcube.

Example datasets retrieval

This blog post proclaims and briefly describes the Python package “ExampleDatasets” for (obtaining) example datasets.

Currently, this repository contains only datasets metadata. The datasets are downloaded from the repository Rdatasets, [VAB1].

This package follows the design of the Raku package “Data::ExampleDatasets”; see [AAr1].

---

Usage examples

Setup

Here we load the Python packages time, pandas, and this package:

from ExampleDatasets import *
import pandas

Get a dataset by using an identifier

Here we get a dataset by using an identifier and display part of the obtained dataset:

tbl = example_dataset(itemSpec = 'Baumann')
tbl.head

<bound method NDFrame.head of     Unnamed: 0  group  pretest.1  pretest.2  post.test.1  post.test.2  \
0            1  Basal          4          3            5            4   
1            2  Basal          6          5            9            5   
2            3  Basal          9          4            5            3   
3            4  Basal         12          6            8            5   
4            5  Basal         16          5           10            9   
..         ...    ...        ...        ...          ...          ...   
61          62  Strat         11          4           11            7   
62          63  Strat         14          4           15            7   
63          64  Strat          8          2            9            5   
64          65  Strat          5          3            6            8   
65          66  Strat          8          3            4            6   

    post.test.3  
0            41  
1            41  
2            43  
3            46  
4            46  
..          ...  
61           48  
62           49  
63           33  
64           45  
65           42  

[66 rows x 7 columns]>

Here we summarize the dataset obtained above:

tbl.describe()

	Unnamed: 0	pretest.1	pretest.2	post.test.1	post.test.2	post.test.3
count	66.000000	66.000000	66.000000	66.000000	66.000000	66.000000
mean	33.500000	9.787879	5.106061	8.075758	6.712121	44.015152
std	19.196354	3.020520	2.212752	3.393707	2.635644	6.643661
min	1.000000	4.000000	1.000000	1.000000	0.000000	30.000000
25%	17.250000	8.000000	3.250000	5.000000	5.000000	40.000000
50%	33.500000	9.000000	5.000000	8.000000	6.000000	45.000000
75%	49.750000	12.000000	6.000000	11.000000	8.000000	49.000000
max	66.000000	16.000000	13.000000	15.000000	13.000000	57.000000

Remark: The values for the arguments itemSpec and packageSpec correspond to the values of the columns “Item” and “Package”, respectively, in the metadata dataset from the GitHub repository “Rdatasets”, [VAB1]. See the datasets metadata sub-section below.

Get a dataset by using an URL

Here we can find URLs of datasets that have titles adhering to a regex:

dfMeta = load_datasets_metadata()
print(dfMeta[dfMeta.Title.str.contains('^tita')][["Package", "Item", "CSV"]].to_string())

    Package        Item                                                                      CSV
288   COUNT     titanic     https://vincentarelbundock.github.io/Rdatasets/csv/COUNT/titanic.csv
289   COUNT  titanicgrp  https://vincentarelbundock.github.io/Rdatasets/csv/COUNT/titanicgrp.csv

Here we get a dataset through pandas by using an URL and display the head of the obtained dataset:

import pandas
url = 'https://raw.githubusercontent.com/antononcube/Raku-Data-Reshapers/main/resources/dfTitanic.csv'
tbl2 = pandas.read_csv(url)
tbl2.head()

	id	passengerClass	passengerAge	passengerSex	passengerSurvival
0	1	1st	30	female	survived
1	2	1st	0	male	survived
2	3	1st	0	female	died
3	4	1st	30	male	died
4	5	1st	20	female	died

Datasets metadata

Here we:

1. Get the dataset of the datasets metadata
2. Filter it to have only datasets with 13 rows
3. Keep only the columns “Item”, “Title”, “Rows”, and “Cols”
4. Display it

tblMeta = load_datasets_metadata()
tblMeta = tblMeta[["Item", "Title", "Rows", "Cols"]]
tblMeta = tblMeta[tblMeta["Rows"] == 13]
tblMeta

	Item	Title	Rows	Cols
805	Snow.pumps	John Snow’s Map and Data on the 1854 London Ch…	13	4
820	BCG	BCG Vaccine Data	13	7
935	cement	Heat Evolved by Setting Cements	13	5
1354	kootenay	Waterflow Measurements of Kootenay River in Li…	13	2
1644	Newhouse77	Medical-Care Expenditure: A Cross-National Sur…	13	5
1735	Saxony	Families in Saxony	13	2

Keeping downloaded data

By default the data is obtained over the web from Rdatasets, but example_dataset has an option to keep the data “locally.” (The data is saved in XDG_DATA_HOME, see SS1.)

This can be demonstrated with the following timings of a dataset with ~1300 rows:

import time
startTime = time.time()
data = example_dataset(itemSpec = 'titanic', packageSpec = 'COUNT', keep = True)
endTime = time.time()
print("Getting the data first time took " + str( endTime - startTime ) + " seconds")

Getting the data first time took 0.003923892974853516 seconds

import time
startTime = time.time()
data = example_dataset(itemSpec = 'titanic', packageSpec = 'COUNT', keep = True)
endTime = time.time()
print("Geting the data second time took " + str( endTime - startTime ) + " seconds")

Geting the data second time took 0.003058910369873047 seconds

---

References

Functions, packages, repositories

[AAf1] Anton Antonov, ExampleDataset, (2020), Wolfram Function Repository.

[AAr1] Anton Antonov, Data::ExampleDatasets Raku package, (2021), GitHub/antononcube.

[VAB1] Vincent Arel-Bundock, Rdatasets, (2020), GitHub/vincentarelbundock.

[SS1] Scott Stevenson, xdg Python package, (2016-2021), PyPI.org.

Interactive interfaces

[AAi1] Anton Antonov, Example datasets recommender interface, (2021), Shinyapps.io.

Facing data with Chernoff faces

Introduction

This blog post proclaims the Python package “ChernoffFace” and outlines and exemplifies its function chernoff_face that generates Chernoff diagrams.

The design, implementation strategy, and unit tests closely resemble the Wolfram Repository Function (WFR) ChernoffFace, [AAf1], and the original Mathematica package “ChernoffFaces.m”, [AAp1].

---

Installation

To install from GitHub use the shell command:

python -m pip install git+https://github.com/antononcube/Python-packages.git#egg=ChernoffFace\&subdirectory=ChernoffFace

To install from PyPI:

python -m pip install ChernoffFace

---

Usage examples

Setup

from ChernoffFace import *
import numpy
import matplotlib.cm

Random data

# Generate data
numpy.random.seed(32)
data = numpy.random.rand(16, 12)

# Make Chernoff faces
fig = chernoff_face(data=data,
                    titles=[str(x) for x in list(range(len(data)))],
                    color_mapper=matplotlib.cm.Pastel1)

Employee attitude data

Get Employee attitude data

dfData=load_employee_attitude_data_frame()
dfData.head()

	Rating	Complaints	Privileges	Learning	Raises	Critical	Advancement
0	43	51	30	39	61	92	45
1	63	64	51	54	63	73	47
2	71	70	68	69	76	86	48
3	61	63	45	47	54	84	35
4	81	78	56	66	71	83	47

Rescale the variables:

dfData2 = variables_rescale(dfData)
dfData2.head()

	Rating	Complaints	Privileges	Learning	Raises	Critical	Advancement
0	0.066667	0.264151	0.000000	0.121951	0.400000	1.000000	0.425532
1	0.511111	0.509434	0.396226	0.487805	0.444444	0.558140	0.468085
2	0.688889	0.622642	0.716981	0.853659	0.733333	0.860465	0.489362
3	0.466667	0.490566	0.283019	0.317073	0.244444	0.813953	0.212766
4	0.911111	0.773585	0.490566	0.780488	0.622222	0.790698	0.468085

Make the corresponding Chernoff faces:

fig = chernoff_face(data=dfData2,
                    n_columns=5,
                    long_face=False,
                    color_mapper=matplotlib.cm.tab20b,
                    figsize=(8, 8), dpi=200)

USA arrests data

Get USA arrests data:

dfData=load_usa_arrests_data_frame()
dfData.head()

	StateName	Murder	Assault	UrbanPopulation	Rape
0	Alabama	13.2	236	58	21.2
1	Alaska	10.0	263	48	44.5
2	Arizona	8.1	294	80	31.0
3	Arkansas	8.8	190	50	19.5
4	California	9.0	276	91	40.6

Rescale the variables:

dfData2 = variables_rescale(dfData)
dfData2.head()

	StateName	Murder	Assault	UrbanPopulation	Rape
0	Alabama	0.746988	0.654110	0.440678	0.359173
1	Alaska	0.554217	0.746575	0.271186	0.961240
2	Arizona	0.439759	0.852740	0.813559	0.612403
3	Arkansas	0.481928	0.496575	0.305085	0.315245
4	California	0.493976	0.791096	1.000000	0.860465

Make the corresponding Chernoff faces using USA state names as titles:

fig = chernoff_face(data=dfData2,
                    n_columns=5,
                    long_face=False,
                    color_mapper=matplotlib.cm.tab20c_r,
                    figsize=(12, 12), dpi=200)

---

References

Articles

[AA1] Anton Antonov, “Making Chernoff faces for data visualization”, (2016), MathematicaForPrediction at WordPress.

Functions and packages

[AAf1] Anton Antonov, ChernoffFace, (2019), Wolfram Function Repository.

[AAp1] Anton Antonov, Chernoff faces implementation in Mathematica, (2016), MathematicaForPrediction at GitHub.