Direct-to-Silicon LLM 🧠: когда модель становится кремнием

Инференс больших языковых моделей (LLM) упёрся в фундаментальный физический барьер - Memory Wall. Традиционные GPU тратят до 90% энергии и времени не на вычисления, а на перемещение весов модели из памяти в процессор.

Стартап Taalas (ранее Direct-to-Silicon) предлагает радикальное решение: превратить веса модели (например, Llama 3.1 8B) в физическую структуру чипа. Без HBM, без PCIe-шин, без внешней DRAM. В этой статье мы глубоко разберём архитектуру, roofline-анализ, энергетику и инженерные компромиссы такого подхода.

Почему GPU упёрлись в стену памяти 🚧

Современные ускорители (H100, B200) обладают колоссальной вычислительной мощностью, но архитектура фон Неймана остаётся их ахиллесовой пятой. Процессор и память разнесены физически. Для каждого токена нужно прочитать гигабайты весов.

Roofline-модель: где мы находимся?

Производительность системы ограничена минимумом из двух величин:

      Performance (TFLOPS)
            ^
            |           /  Compute Bound (Пик GPU)
            |          /
            |         /
            |        /
            |-------/-------  Memory Bound (Пропускная способность)
            |      /
            |     /
            |    /
            +-----------------> Operational Intensity (FLOPs/Byte)
                 LLM здесь
  

Для LLM-инференса Operational Intensity крайне низка. На каждый байт, прочитанный из HBM, выполняется всего несколько операций умножения-накопления (MAC). Система находится в зоне Memory Bound.

Принцип Direct-to-Silicon: «Заморозка» модели ⚙️

Идея Taalas проста и радикальна: убрать границу между compute и memory. Если веса модели не меняются во время инференса, зачем хранить их в перезаписываемой памяти?

Модель проходит полный цикл ASIC-дизайна:

PyTorch Model 
       ↓
Quantization (3-6 bit)
       ↓
Synthesis → Netlist
       ↓
Place & Route (Веса = Логика)
       ↓
Tape-out → Silicon
  

Веса больше не хранятся в ячейках SRAM или DRAM. Они физически встроены в структуру логических вентилей и межсоединений. Логический «0» или «1» определяется тем, подключён транзистор к земле или к питанию на этапе производства.

[ Традиционный GPU ]
━━━━━━━━━━━━━━━━━━━━━━
   Compute
      ↕
   HBM
      ↕
   Compute
      ↕
   HBM
━━━━━━━━━━━━━━━━━━━━━━
↑ Memory Wall (100пДж/байт) ↑
  

[ Direct-to-Silicon ]
━━━━━━━━━━━━━━━━━━━━━━
   Compute
      +
   Weights (Logic)
      ↓
Доступ к весам = 0 пДж
(они уже в логике)
  

Это ASIC (Application-Specific Integrated Circuit) в чистом виде - чип, созданный под одну конкретную версию модели.

Datapath архитектура трансформера 🧩

Так как архитектура модели (Llama 3.1 8B) известна заранее, datapath можно развернуть полностью статически. Нет необходимости в универсальных тензорных ядрах или сложных планировщиках.

Фиксированный конвейер

Input Token (ID)
       ↓
┌──────────────────────┐
  Embedding Lookup    
      (ROM)         
└──────────────────────┘
       ↓
┌──────────────────────┐
   Attention Block    
 (Q, K, V фиксированы)
  + KV Cache (SRAM)   
└──────────────────────┘
       ↓
┌──────────────────────┐
    MLP Block (GEMM)  
   (Веса = логика)   
└──────────────────────┘
       ↓
┌──────────────────────┐
     Output Head      
└──────────────────────┘
       ↓
Next Token (ID)
  

Реализация Attention

Самая сложная часть - механизм внимания. В Taalas он реализован через специализированные блоки:

• Q, K, V матрицы: Жёстко зашиты в логику (как веса MLP).
• KV-кэш: Это единственная динамическая часть. Хранится в быстрой on-chip SRAM.
• Softmax: Вычисляется через аппроксимацию (look-up tables) для экономии площади.

Квантизация: цена точности 📉

Чтобы уместить 8 миллиардов параметров в разумную площадь кремния, необходимо агрессивное сжатие. Первое поколение использует 3-бит и 6-бит представление весов.

Сравнение форматов

Переход с 8 бит к 3 битам уменьшает площадь под веса почти в 3 раза, но требует сложной процедуры квантизации (QAT - Quantization Aware Training).

17K токенов/сек - откуда берётся скорость 🚀

Заявленная производительность в 17,000 токенов в секунду для модели 8B кажется фантастической по сравнению с ~50–100 ток/сек на топовом GPU. Давайте разберём математику.

Расчёт пропускной способности

В ASIC нет задержек на выборку из DRAM. Тактовая частота может быть высокой, а параллелизм - максимальным.

Throughput = (f_clock × Parallel_MAC_units) / Params_per_token

• f_clock: ASIC может работать на 1–2 ГГц (проще логика → выше частота).
• Parallel_MAC: Все 8 млрд весов работают параллельно в пространстве (Spatial Computing).
• Latency: Определяется только глубиной конвейера, а не памятью.

GPU Pipeline:
━━━━━━━━━━━━━━━━━━━━━━
Fetch Weights (100ns)
       ↓
   Compute (5ns)
       ↓
   Store (10ns)
↑ Доминирует Fetch
  

D2S Pipeline:
━━━━━━━━━━━━━━━━━━━━━━
   Compute (0.5ns)
       ↓
   Compute (0.5ns)
       ↓
   Compute (0.5ns)
↑ Только логика
  

Энергетическая модель: Джоули на токен ⚡

Полная энергия на генерацию токена складывается из трёх компонентов:

E_token = E_compute + E_memory + E_IO

В архитектуре GPU львиная доля уходит на память:

E_memory (HBM) >> E_compute
(90% энергии тратится впустую на транспорт)

В Direct-to-Silicon внешняя память исключена:

E_memory ≈ 0 (внешней)
E_token ≈ E_compute (логические переключения)

Это даёт выигрыш в энергоэффективности на порядок (10x–50x). Чип Taalas может потреблять 5–10 Ватт против 300–700 Ватт у серверной GPU.

Ограничения и экономические риски ⚠️

Подход Direct-to-Silicon не лишён серьёзных недостатков, которые делают его нишевым решением.

• Одноразовость (NRE): Чип стоит миллионы долларов в разработке (mask set). Если модель устарела - чип превращается в кирпич.
• Невозможность обучения: Это чистый инференс. Fine-tuning невозможен.
• Масштабирование: Модели растут (70B, 405B). Уместить их в один кристалл с 3-битной квантизацией становится физически сложно.
• Время выхода: Цикл Tape-out занимает 6–9 месяцев. За это время SOTA-модель может смениться дважды.

Это точечный инструмент для массового развёртывания стабильных моделей (например, встраивание Llama 3 в телефоны или роутеры), а не для исследований.

К чему это может привести 🔮

Если подход масштабируется и экономика сойдётся, мы увидим следующие сценарии:

• AI на Edge: Полноценные LLM в смартфонах, автомобилях и IoT без облака.
• Мгновенные агенты: Локальные агенты с нулевой задержкой (latency < 10ms).
• Снижение стоимости: Цена токена падает до долей цента из-за отсутствия аренды GPU.
• Децентрализация: Уход от гигантских дата-центров к распределённым узлам.

История вычислений показывает, что специализация (как было с ASIC для биткоина или видео-кодеков) часто выигрывает у универсальных решений в зрелых задачах. Вопрос лишь в том, насколько быстро «застывает» рынок LLM-моделей.

Выводы 🧠

Direct-to-Silicon - это не просто новый ускоритель. Это смена парадигмы: модель перестаёт быть программным обеспечением и становится частью физической структуры чипа.

Инженерный вердикт:

• ✅ Эффективность: Бескомпромиссная победа над памятью.
• ✅ Скорость: Детерминированный пайплайн без кэш-промахов.
• ❌ Гибкость: Полная привязка к конкретной версии весов.
• ❌ Риск: Высокая стоимость ошибки при выборе модели для производства.

Подход рискованный, но инженерно очень чистый. Если индустрия придёт к консенсусу по архитектурам моделей (как было с ResNet в компьютерном зрении), ASIC-инференс может занять значительную долю рынка.

❓ FAQ: А при чём здесь майнинг и крипто? 🪙

Частый вопрос после прочтения: «Это как-то связано с майнингом? Можно ли использовать такие чипы для криптовалют?» Разберём глубоко, без упрощений.

🔹 Вопрос 1: Это новая эра майнинга?

Короткий ответ: Нет, Direct-to-Silicon для LLM и ASIC для майнинга — это разные классы устройств, хотя философия схожа.

[ Mining ASIC ]
━━━━━━━━━━━━━━━━━━
Алгоритм: SHA-256 / Scrypt
Задача: Перебор хешей
Веса: Нет (только логика)
Гибкость: Нулевая
  

[ D2S LLM Chip ]
━━━━━━━━━━━━━━━━━━
Алгоритм: Transformer
Задача: Матричные умножения
Веса: Заморожены в кремнии
Гибкость: Одна модель
  

Ключевое отличие:

• Майнинг-ASIC выполняет одну и ту же операцию (хеш-функцию) миллиарды раз. Логика чипа проста и повторяема.
• D2S LLM выполняет сложный граф вычислений с десятками различных операций (attention, MLP, layernorm, softmax). Веса модели — это не код, а физическая конфигурация транзисторов.

🔹 Вопрос 2: Можно ли перепрошить D2S-чип под другую модель или под майнинг?

Нет. И вот почему технически:

D2S Architecture:
Weights = Physical Connections
          ↓
Change Weights = Change Silicon
          ↓
Requires: New Tape-out + Fabrication
          ↓
Time: 6-9 months, Cost: $2-10M

В отличие от FPGA или GPU, где «прошивка» — это просто загрузка битстрима в память, в D2S веса — это топология межсоединений. Чтобы изменить модель, нужно буквально перепроектировать и изготовить новый чип.

🔹 Вопрос 3: А старые майнинг-ASIC — можно ли использовать для LLM?

Теоретически — да, практически — крайне неэффективно.

Старые ASIC для майнинга (например, Antminer S9) содержат миллионы простых SHA-256 ядер. Теоретически их можно перепрограммировать под другие задачи через низкоуровневый доступ к логике.

[ Antminer S9 Logic ]
┌────────────────────┐
│ 80,000 × SHA-256   │
│ Cores (простые)    │
│ Нет SRAM для KV    │
│ Нет матричных      │
│ умножителей        │
└────────────────────┘
       ↓
Для LLM нужно:
• GEMM блоки (матрицы)
• Attention logic
• KV Cache SRAM
• Softmax units
       ↓
Несовместимо на 99%
  

Экономика: Даже если бы удалось эмулировать матричные операции на SHA-256 ядрах (через software hacks), производительность была бы в 1000–10 000 раз ниже, чем у специализированного D2S или GPU.

🔹 Вопрос 4: А если сделать гибридный чип: LLM + майнинг?

Инженерный компромисс: Можно, но это убьёт эффективность обоих направлений.

• Площадь кристалла: Логика для attention + логика для SHA-256 = двойная площадь = двойная цена.
• Энергопотребление: Два разных режима работы = усложнение power management.
• Тепловыделение: Пиковые нагрузки от майнинга могут дестабилизировать точные аналоговые блоки LLM.

🔹 Вопрос 5: А что с хешрейтом? Может, D2S ускорит крипто?

Прямого влияния — нет. Но есть косвенные эффекты:

1. Технологический перенос: Методы 3-битной квантизации и on-chip weight storage из D2S могут быть адаптированы для будущих mining ASIC — например, для более эффективного хранения промежуточных состояний в сложных алгоритмах (RandomX, KawPow).
2. Экономика производства: Если D2S-подход станет массовым, стоимость tape-out и производства специализированных чипов может снизиться. Это удешевит и майнинг-ASIC нового поколения.
3. Edge AI + PoW: Представьте устройство, которое днём работает как локальный AI-ассистент (на D2S), а ночью, в режиме простоя, переключается на майнинг лёгкого алгоритма (на том же кристалле, но в другой конфигурации). Это гипотетический сценарий, требующий reconfigurable logic (как в FPGA), что противоречит философии D2S.

🔹 Вопрос 6: А старые ASIC — куда их девать?

Практические варианты утилизации:

• Отопление: Antminer как обогреватель — КПД ~95% (всё электричество → тепло).
• Обучение: Разборка на компоненты для изучения цифровой схемотехники.
• Арт-объекты: Инсталляции из плат — популярно в tech-сообществах.
• Recycling: Извлечение золота, меди, палладия из плат (требует промышленного оборудования).

[ Жизненный цикл ASIC ]
━━━━━━━━━━━━━━━━━━━━━━
2017: Выпуск → Майнинг
   ↓
2021: Нерентабельность
   ↓
2024: Варианты:
• 🔥 Обогрев дачи
• 🎓 Учебный стенд
• ♻️ Переработка
• 🗑️ Утилизация