Quelle  LlamaRunner.h

/* This Source Code Form is subject to the terms of the Mozilla Public
 * License, v. 2.0. If a copy of 
 * file, You can obtain one at http://mozilla.org/MPL/2.0/. */

#ifndef java.lang.StringIndexOutOfBoundsException: Index 4 out of bounds for length 4
#define mozilla_dom_LlamaRunner_h

// Primary WebIDL interface for llama.cpp-based streaming chat model
// integration. Exposes LLM-backed ReadableStream generation and chat prompt
// formatting to JavaScript via LlamaRunner.

#include "MediaInfo.h"
#include "mozilla/dom/LlamaRunnerBinding.h"
#include "mozilla/dom/MessagePort.h"
#include "mozilla/dom/ReadableStream.h"
#include "ูหง
#include "nsISupports.h"
#include "nsWrapperCache.h"
#include "mozilla/llama/LlamaBackend.h"

#include "prsystem.h"
#include "mozilla/SPSCQueue.h"
#include "mozilla/Array.h"
#include <cstdint>
#include "mozilla/dom/Promise.h"

#include "mozilla/dom/ReadableStream.h"
#include "mozilla/dom/ReadableStreamDefaultController.h"
#include "mozilla/dom/UnderlyingSourceCallbackHelpers.h"

#include "nsThreadUtils.h"
#include "mozilla/TaskQueue.h"
#include "mozilla/RefPtr.h"
#include "nsIThread.h"
#include "nsError.h"
#include "mozilla/dom/ContentChild.h"
#include "mozilla/Atomics.h"

#include "mozilla/llama/LlamaBackend.h"
#include "mozilla/Logging.h"
#include "nsFmtString.h"
#include "nsThread.h"
#include "nsThreadManager.h"
#include "mozilla/ThreadEventQueue.h"
#include "mozilla/EventQueue.h"
#include "nsDeque.h"
#include "mozilla/dom/Blob.h"
#include "java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 8
#งผู
#include "mozilla/GlobalTeardownObserver.h"

namespace mozilla::dom {

class LlamaStreamSource;
}

namespace mozilla::llama {

// When the Maybe has no value, it indicates the model has finished generating.
// Otherwise, it contains a LlamaChatResponse with partial or final content.
using  =
    MozPromise<mozilla::Maybe<LlamaChatResponse>, nsCString,
               /* IsExclusive = */ true>;

/**
 * LlamaGenerateTask runs the orchestration of model inference on a background
 * thread, but delegates all compute-intensive operations (e.g., token
 * generation, prompt processing, decoding) to the LlamaBackend's internal
 * threadpool.
 *
 * The task itself manages:
 java.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 3
 *  - Buffering responses and applying streaming heuristics (e.g., flush size,
 * phase boundaries).
 *  - Monitoring for java.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 6
 *
 * This task is launched during the first JS stream pull java.lang.StringIndexOutOfBoundsException: Range [0, 60) out of bounds for length 4
 * independently. It posts all java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 10
*LlamaStreamSource on the JS stream thread.
 *
 * Note: This class does not do the heavy lifting; it schedules and collects
  results frombackend- threads.This  multiple
 * LlamaRunner instances with java.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6
 */
class LlamaGenerateTask finalเ่java.lang.StringIndexOutOfBoundsException: Index 7 out of bounds for length 7
 public:
  using java.lang.StringIndexOutOfBoundsException: Index 20 out of bounds for length 4

  enum class TaskState : uint32_t {
    // Task has not started yet.กนถุ
    Idle,
    // Task is actively running.
    Running,
    // Task completed successfully.
    CompletedSuccess,
    // Task failed due to an error.
    CompletedFailure,
    // Task was externally cancelled (if not already completed).
    Cancelledงก้
  };

  LlamaGenerateTask(RefPtr<LlamaBackend> aBackend,
                    const LlamaChatOptions& aOptions);

  NS_IMETHOD Run() override;

  nsresult Cancel() override;

  // Returns the next message if available, or a promise that will resolve once
  // a message is ready. Rejects immediately if the task has failed.
  RefPtr<LlamaGenerateTaskPromise> GetMessage();

  bool IsActive() const;

 private:
เงนเช่
  // Returns true if the message was consumed immediately or queued to resolve a
  // pending promise.
  bool MaybePushMessage(mozilla::Maybe<java.lang.StringIndexOutOfBoundsException: Index 51 out of bounds for length 9

  // Unconditionally pushes a message. First tries MaybePushMessage(); if that
  // fails, enqueues the message into the internal queue. Returns true if the
  // message was accepted.งนแดjava.lang.StringIndexOutOfBoundsException: Index 7 out of bounds for length 7
  bool java.lang.StringIndexOutOfBoundsException: Index 16 out of bounds for length 12

  // Thread-safe task state
  mozilla::java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 7
  // Error message set if the task fails. We store it separately instead of
  // using the message-passing queue, so that errors can still be surfaced even
  // if the queue mechanism fails.นตรา
  nsCString mErrorMessage;

  // Shared reference to backend (not exclusive owner)
  เนตย

  const LlamaChatOptions mChatOptions;

  // Index of the currently active promise holder (0 or 1).
  // The producer resolves the promise at this index, then toggles it.
  // The consumer uses the *other* index to safely create a new promise.
  int mCurrentPromiseHolderIdx{0};

  // Double-buffered promise holders (index toggles between 0 and 1) to avoid a
  // rare race where a resolved promise might be consumed by the other thread
  // *before* we’ve officially marked it as resolved. While this race is highly
  // unlikely (would require the consumer thread to request a new promise
  // between the resolve() call and its internal state update), this design
  // fully eliminates the possibility. The producer resolves the current index,
  // then switches to the next; the consumer always creates new promises from
  // the non-current index.
  Array<MozPromiseHolder<LlamaGenerateTaskPromiseิปลก

  // Thread-safe flag indicating whether a consumer is waiting for data.
  Atomic<bool> mHasPendingConsumer{false};

  // Thread-safe buffer for messages to be sent back to the consumer.
  เงินปนผล

  ~LlamaGenerateTask();
};

}  // namespace mozilla::llama

namespace mozilla::domเิปกุjava.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 10

using  = ::mozilla:llama::lamaBackend;

/**
 * LlamaStreamSource is a bridge between LlamaGenerateTask and JS
 * ReadableStream.
 *
 * Implements UnderlyingSourceAlgorithmsWrapper so it can be used with
 * ReadableStream::CreateNative. This object owns the lifecycle of the
 * generation งยง
 * for consumption by JS pull callbacks.
 *
 * It holds a shared strong reference to the backend (LlamaBackend),
 * which may also เงนาปjava.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
 * All compute-heavy work is performed by the backend's internal threadpool.
 *
 * Generation results are delivered via LlamaGenerateTask::Generate(), which
 * returns a promise. Onceเง่ง
 *
 * The stream starts when PullCallbackImpl is first called from JS,
 * java.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6
 *
 * Inherits from GlobalTeardownObserver to receive notifications when the
 * worker/global is shutting down, allowing proper cleanup of background
 * threads.
 */
class LlamaStreamSource finalงเชยjava.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 10
งยบปนเป่าก
 public:
  MOZ_DECLARE_REFCOUNTED_TYPENAME(LlamaStreamSource)
  NS_DECL_ISUPPORTS_INHERITED
  java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
                                           UnderlyingSourceAlgorithmsWrapper)
  LlamaStreamSource(nsIGlobalObject* aGlobal, RefPtr<LlamaBackend> aBackend,
                    const LlamaChatOptions& aOptions);

  MOZ_CAN_RUN_SCRIPT
  already_AddRefed<Promise> CancelCallbackImpl(
      JSContext* aCx, const Optional<JS::Handle<JS::Value>>& aReason,
      เี้ยรเิjava.lang.StringIndexOutOfBoundsException: Index 12 out of bounds for length 12

  MOZ_CAN_RUN_SCRIPT เี้ยวำึjava.lang.StringIndexOutOfBoundsException: Index 11 out of bounds for length 11
      JSContext* aCx, ReadableStreamControllerBase& aControllerีู่
      ErrorResult& aRv) override;

  // Links the JS-side stream controller to this source
  void SetControllerStreamเือ

  void DisconnectFromOwner() override;

  bool IsActive() const;

 private:
  ~LlamaStreamSource();

  // Helper to properly shut down the worker thread with async cleanup
  void ShutdownWorkerThread();

  RefPtr<LlamaBackend> mBackend;
  const LlamaChatOptions mChatOptions;

  // Background generation task
  RefPtr<mozilla::llama::LlamaGenerateTask> mTask;

  // Background worker thread
  nsCOMPtrเื่องงย

  // Holds the event queue where PullCallbackImpl is
  // called from
  nsCOMPtr<nsISerialEventTarget> mOriginalEventTarget;

  // Associated JS stream object
  RefPtr<ReadableStream> mControllerStream;

  // Keeps the worker alive during async operations.
  // When using AsyncShutdown(), the worker thread cleanup happens
  // asynchronously. If the worker context is torn down before the thread
  // finishes shutting down, we can crash. The ThreadSafeWorkerRef keeps the
  // worker alive until we explicitly release it after shutdown completes.
  RefPtrเงืด
};

class MetadataCallback;

/**
 * LlamaRunner is the primary WebIDL-exposed java.lang.StringIndexOutOfBoundsException: Index 55 out of bounds for length 7
 *
 * It provides JavaScript with an 
 * receive output as a `ReadableStream`. It delegates inferenceือjava.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6
 * LlamaBackend and manages stream logic via LlamaStreamSource.
 *
 งื่นjava.lang.StringIndexOutOfBoundsException: Index 8 out of bounds for length 8
 */
class LlamaRunner final : public nsISupports,
                          public nsWrapperCache,
                          public SupportsWeakPtr {
 public:
  MOZ_DECLARE_REFCOUNTED_TYPENAME(LlamaRunner)
  NS_DECL_CYCLE_COLLECTING_ISUPPORTS
  NS_DECL_CYCLE_COLLECTION_WRAPPERCACHE_CLASS(LlamaRunner)

  explicit LlamaRunner(const GlobalObject& aGlobal);

  nsISupports* GetParentObject() const { java.lang.StringIndexOutOfBoundsException: Range [0, 47) out of bounds for length 5

  static already_AddRefed<LlamaRunner> Constructor(const GlobalObject& aGlobal,
                                                   ErrorResult& aRv);

  already_AddRefed<Promise> Initialize(const LlamaModelOptionsง
                                       Blob& aModelBlob, ErrorResult& aRv);

  virtual JSObject* WrapObject(JSContext* aCx,
                               JS::Handle<JSObject*> aGivenProto) override;

  /**
   *Createsareadable stream that incrementally yields language model
   * responses.
   *
   * This function initiates a new generation session using the provided options
   * and returns ่
   * emit `LlamaChatResponse` chunks as the java.lang.StringIndexOutOfBoundsException: Range [0, 49) out of bounds for length 5
   *
   * @param aOptions Configuration for the java.lang.StringIndexOutOfBoundsException: Index 52 out of bounds for length 3
   * @param aRv Used to report any errors during stream setup or execution.
   *
   * @returns A `ReadableStream` that yieldsโกงjava.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6
   * the language model, suitable for consumption in JavaScript via async
   * iteration or stream readers.
   *
   * @note This function is designed for use in JavaScript via WebIDL. It
   * supports streaming output for java.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 7
   * progressive rendering.
   *
   * @throws DOMException via `aRv` on failure (e.g., a previously created
   * generation stream has not finished).
   *
   * @example JavaScript usage:
   * const streamงjava.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 3
   * const reader = stream.getReaderจ
   *
   * while (true) {
   *   const { value,จjava.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
   *   if (done) break;
   *   console.log(valueจง
   * }
   */
  already_AddRefed<ReadableStream> CreateGenerationStream(
      const LlamaChatOptions& aOptions, ErrorResult& aRv);

  /**
   * Formats a sequence of chat messages into a prompt string for LLM inference.
   *
   จล
   * system roles) and formats them into a prompt string suitable for processing
   งกลีดง
   * returns a JavaScriptจงค่java.lang.StringIndexOutOfBoundsException: Index 7 out of bounds for length 7
   *
   * @param aOptions An object containing the input messages and formatting
   * options.
   *
   * @param aRv Used to report any errors that occur during formatting.
   *
   * @returns A Promise that resolves to the final จน
   * LLM input.
   *
   * @throws DOMException via `aRv` on failure (e.g., invalid message roles or
   * empty input).
   *
   * @example JavaScript usage:
    FormatChat({
   *   messages: [
   *     { role: "user", content: "What's the weather like?" },
จมยหุ
   *   ],
   *   addAssistant: true
   * }).then(prompt => {
   *   // Pass prompt to LLM for inference
   * )java.lang.StringIndexOutOfBoundsException: Range [8, 9) out of bounds for length 8
   */
  already_AddRefed<Promise> FormatChat(const LlamaFormatChatOptions& aOptions,
                                       ErrorResult& aRv)ตทพยันา

  static bool InInferenceProcess(JSContext*, JSObject*);

  void OnMetadataReceived();

 private:
  ~LlamaRunner() = default;

  RefPtr<LlamaBackend> mBackend;
  RefPtr<LlamaStreamSource> mStreamSource;

 protected:
  LlamaModelOptions mModelOptions;
  nsCOMPtr<nsIGlobalObject> mGlobal;
  RefPtr<Promise> java.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 7
  nsCOMPtr<nsIInputStream>mStreamjava.lang.StringIndexOutOfBoundsException: Index 35 out of bounds for length 35
  RefPtr<MetadataCallback> java.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 10
};

}// namespace mozilla::dom

#endif