Quelle  coresight-trbe.c   Sprache: C

// SPDX-License-Identifier: GPL-2.0
/*
 * This driver enables Trace Buffer Extension (TRBE) as a per-cpu coresight
 * sink device could then pair with an appropriate per-cpu coresight source
 * device (ETE) thus generating required trace data. Trace can be enabled
 * via the perf framework.
 *
 * The AUX buffer handling is inspired from Arm SPE PMU driver.
 *
 * Copyright (C) 2020 ARM Ltd.
 *
 * Author: Anshuman Khandual <anshuman.khandual@arm.com>
 */
#define DRVNAME "arm_trbe"

#define pr_fmt(fmt) DRVNAME ": " fmt

#include <asm/barrier.h>
#include <asm/cpufeature.h>
#include <linux/kvm_host.h>
#include <linux/vmalloc.h>

#include "coresight-self-hosted-trace.h"
#include "coresight-trbe.h"

#define PERF_IDX2OFF(idx, buf) \
 ((idx) % ((unsigned long)(buf)->nr_pages << PAGE_SHIFT))

/*
 * A padding packet that will help the user space tools
 * in skipping relevant sections in the captured trace
 * data which could not be decoded. TRBE doesn't support
 * formatting the trace data, unlike the legacy CoreSight
 * sinks and thus we use ETE trace packets to pad the
 * sections of the buffer.
 */
#define ETE_IGNORE_PACKET  0x70

/*
 * Minimum amount of meaningful trace will contain:
 * A-Sync, Trace Info, Trace On, Address, Atom.
 * This is about 44bytes of ETE trace. To be on
 * the safer side, we assume 64bytes is the minimum
 * space required for a meaningful session, before
 * we hit a "WRAP" event.
 */
#define TRBE_TRACE_MIN_BUF_SIZE  64

enum trbe_fault_action {
 TRBE_FAULT_ACT_WRAP,
 TRBE_FAULT_ACT_SPURIOUS,
 TRBE_FAULT_ACT_FATAL,
};

struct trbe_buf {
 /*
 * Even though trbe_base represents vmap()
 * mapped allocated buffer's start address,
 * it's being as unsigned long for various
 * arithmetic and comparision operations &
 * also to be consistent with trbe_write &
 * trbe_limit sibling pointers.
 */
 unsigned long trbe_base;
 /* The base programmed into the TRBE */
 unsigned long trbe_hw_base;
 unsigned long trbe_limit;
 unsigned long trbe_write;
 int nr_pages;
 void **pages;
 bool snapshot;
 struct trbe_cpudata *cpudata;
};

/*
 * TRBE erratum list
 *
 * The errata are defined in arm64 generic cpu_errata framework.
 * Since the errata work arounds could be applied individually
 * to the affected CPUs inside the TRBE driver, we need to know if
 * a given CPU is affected by the erratum. Unlike the other erratum
 * work arounds, TRBE driver needs to check multiple times during
 * a trace session. Thus we need a quicker access to per-CPU
 * errata and not issue costly this_cpu_has_cap() everytime.
 * We keep a set of the affected errata in trbe_cpudata, per TRBE.
 *
 * We rely on the corresponding cpucaps to be defined for a given
 * TRBE erratum. We map the given cpucap into a TRBE internal number
 * to make the tracking of the errata lean.
 *
 * This helps in :
 *   - Not duplicating the detection logic
 *   - Streamlined detection of erratum across the system
 */
#define TRBE_WORKAROUND_OVERWRITE_FILL_MODE 0
#define TRBE_WORKAROUND_WRITE_OUT_OF_RANGE 1
#define TRBE_NEEDS_DRAIN_AFTER_DISABLE  2
#define TRBE_NEEDS_CTXT_SYNC_AFTER_ENABLE 3
#define TRBE_IS_BROKEN    4

static int trbe_errata_cpucaps[] = {
 [TRBE_WORKAROUND_OVERWRITE_FILL_MODE] = ARM64_WORKAROUND_TRBE_OVERWRITE_FILL_MODE,
 [TRBE_WORKAROUND_WRITE_OUT_OF_RANGE] = ARM64_WORKAROUND_TRBE_WRITE_OUT_OF_RANGE,
 [TRBE_NEEDS_DRAIN_AFTER_DISABLE] = ARM64_WORKAROUND_2064142,
 [TRBE_NEEDS_CTXT_SYNC_AFTER_ENABLE] = ARM64_WORKAROUND_2038923,
 [TRBE_IS_BROKEN] = ARM64_WORKAROUND_1902691,
 -1,  /* Sentinel, must be the last entry */
};

/* The total number of listed errata in trbe_errata_cpucaps */
#define TRBE_ERRATA_MAX   (ARRAY_SIZE(trbe_errata_cpucaps) - 1)

/*
 * Safe limit for the number of bytes that may be overwritten
 * when ARM64_WORKAROUND_TRBE_OVERWRITE_FILL_MODE is triggered.
 */
#define TRBE_WORKAROUND_OVERWRITE_FILL_MODE_SKIP_BYTES 256

/*
 * struct trbe_cpudata: TRBE instance specific data
 * @trbe_flag - TRBE dirty/access flag support
 * @trbe_hw_align - Actual TRBE alignment required for TRBPTR_EL1.
 * @trbe_align - Software alignment used for the TRBPTR_EL1.
 * @cpu - CPU this TRBE belongs to.
 * @mode - Mode of current operation. (perf/disabled)
 * @drvdata - TRBE specific drvdata
 * @errata - Bit map for the errata on this TRBE.
 */
struct trbe_cpudata {
 bool trbe_flag;
 u64 trbe_hw_align;
 u64 trbe_align;
 int cpu;
 enum cs_mode mode;
 struct trbe_buf *buf;
 struct trbe_drvdata *drvdata;
 DECLARE_BITMAP(errata, TRBE_ERRATA_MAX);
};

struct trbe_drvdata {
 struct trbe_cpudata __percpu *cpudata;
 struct perf_output_handle * __percpu *handle;
 struct hlist_node hotplug_node;
 int irq;
 cpumask_t supported_cpus;
 enum cpuhp_state trbe_online;
 struct platform_device *pdev;
};

static void trbe_check_errata(struct trbe_cpudata *cpudata)
{
 int i;

 for (i = 0; i < TRBE_ERRATA_MAX; i++) {
  int cap = trbe_errata_cpucaps[i];

  if (WARN_ON_ONCE(cap < 0))
   return;
  if (this_cpu_has_cap(cap))
   set_bit(i, cpudata->errata);
 }
}

static bool trbe_has_erratum(struct trbe_cpudata *cpudata, int i)
{
 return (i < TRBE_ERRATA_MAX) && test_bit(i, cpudata->errata);
}

static bool trbe_may_overwrite_in_fill_mode(struct trbe_cpudata *cpudata)
{
 return trbe_has_erratum(cpudata, TRBE_WORKAROUND_OVERWRITE_FILL_MODE);
}

static bool trbe_may_write_out_of_range(struct trbe_cpudata *cpudata)
{
 return trbe_has_erratum(cpudata, TRBE_WORKAROUND_WRITE_OUT_OF_RANGE);
}

static bool trbe_needs_drain_after_disable(struct trbe_cpudata *cpudata)
{
 /*
 * Errata affected TRBE implementation will need TSB CSYNC and
 * DSB in order to prevent subsequent writes into certain TRBE
 * system registers from being ignored and not effected.
 */
 return trbe_has_erratum(cpudata, TRBE_NEEDS_DRAIN_AFTER_DISABLE);
}

static bool trbe_needs_ctxt_sync_after_enable(struct trbe_cpudata *cpudata)
{
 /*
 * Errata affected TRBE implementation will need an additional
 * context synchronization in order to prevent an inconsistent
 * TRBE prohibited region view on the CPU which could possibly
 * corrupt the TRBE buffer or the TRBE state.
 */
 return trbe_has_erratum(cpudata, TRBE_NEEDS_CTXT_SYNC_AFTER_ENABLE);
}

static bool trbe_is_broken(struct trbe_cpudata *cpudata)
{
 return trbe_has_erratum(cpudata, TRBE_IS_BROKEN);
}

static int trbe_alloc_node(struct perf_event *event)
{
 if (event->cpu == -1)
  return NUMA_NO_NODE;
 return cpu_to_node(event->cpu);
}

static void trbe_drain_buffer(void)
{
 tsb_csync();
 dsb(nsh);
}

static void set_trbe_enabled(struct trbe_cpudata *cpudata, u64 trblimitr)
{
 /*
 * Enable the TRBE without clearing LIMITPTR which
 * might be required for fetching the buffer limits.
 */
 trblimitr |= TRBLIMITR_EL1_E;
 write_sysreg_s(trblimitr, SYS_TRBLIMITR_EL1);
 kvm_enable_trbe();

 /* Synchronize the TRBE enable event */
 isb();

 if (trbe_needs_ctxt_sync_after_enable(cpudata))
  isb();
}

static void set_trbe_disabled(struct trbe_cpudata *cpudata)
{
 u64 trblimitr = read_sysreg_s(SYS_TRBLIMITR_EL1);

 /*
 * Disable the TRBE without clearing LIMITPTR which
 * might be required for fetching the buffer limits.
 */
 trblimitr &= ~TRBLIMITR_EL1_E;
 write_sysreg_s(trblimitr, SYS_TRBLIMITR_EL1);
 kvm_disable_trbe();

 if (trbe_needs_drain_after_disable(cpudata))
  trbe_drain_buffer();
 isb();
}

static void trbe_drain_and_disable_local(struct trbe_cpudata *cpudata)
{
 trbe_drain_buffer();
 set_trbe_disabled(cpudata);
}

static void trbe_reset_local(struct trbe_cpudata *cpudata)
{
 write_sysreg_s(0, SYS_TRBLIMITR_EL1);
 isb();
 trbe_drain_buffer();
 write_sysreg_s(0, SYS_TRBPTR_EL1);
 write_sysreg_s(0, SYS_TRBBASER_EL1);
 write_sysreg_s(0, SYS_TRBSR_EL1);
}

static void trbe_report_wrap_event(struct perf_output_handle *handle)
{
 /*
 * Mark the buffer to indicate that there was a WRAP event by
 * setting the COLLISION flag. This indicates to the user that
 * the TRBE trace collection was stopped without stopping the
 * ETE and thus there might be some amount of trace that was
 * lost between the time the WRAP was detected and the IRQ
 * was consumed by the CPU.
 *
 * Setting the TRUNCATED flag would move the event to STOPPED
 * state unnecessarily, even when there is space left in the
 * ring buffer. Using the COLLISION flag doesn't have this side
 * effect. We only set TRUNCATED flag when there is no space
 * left in the ring buffer.
 */
 perf_aux_output_flag(handle, PERF_AUX_FLAG_COLLISION);
}

static void trbe_stop_and_truncate_event(struct perf_output_handle *handle)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);

 /*
 * We cannot proceed with the buffer collection and we
 * do not have any data for the current session. The
 * etm_perf driver expects to close out the aux_buffer
 * at event_stop(). So disable the TRBE here and leave
 * the update_buffer() to return a 0 size.
 */
 trbe_drain_and_disable_local(buf->cpudata);
 perf_aux_output_flag(handle, PERF_AUX_FLAG_TRUNCATED);
 perf_aux_output_end(handle, 0);
 *this_cpu_ptr(buf->cpudata->drvdata->handle) = NULL;
}

/*
 * TRBE Buffer Management
 *
 * The TRBE buffer spans from the base pointer till the limit pointer. When enabled,
 * it starts writing trace data from the write pointer onward till the limit pointer.
 * When the write pointer reaches the address just before the limit pointer, it gets
 * wrapped around again to the base pointer. This is called a TRBE wrap event, which
 * generates a maintenance interrupt when operated in WRAP or FILL mode. This driver
 * uses FILL mode, where the TRBE stops the trace collection at wrap event. The IRQ
 * handler updates the AUX buffer and re-enables the TRBE with updated WRITE and
 * LIMIT pointers.
 *
 * Wrap around with an IRQ
 * ------ < ------ < ------- < ----- < -----
 * | |
 * ------ > ------ > ------- > ----- > -----
 *
 * +---------------+-----------------------+
 * | | |
 * +---------------+-----------------------+
 * Base Pointer Write Pointer Limit Pointer
 *
 * The base and limit pointers always needs to be PAGE_SIZE aligned. But the write
 * pointer can be aligned to the implementation defined TRBE trace buffer alignment
 * as captured in trbe_cpudata->trbe_align.
 *
 *
 * head tail wakeup
 * +---------------------------------------+----- ~ ~ ------
 * |$$$$$$$|################|$$$$$$$$$$$$$$| |
 * +---------------------------------------+----- ~ ~ ------
 * Base Pointer Write Pointer Limit Pointer
 *
 * The perf_output_handle indices (head, tail, wakeup) are monotonically increasing
 * values which tracks all the driver writes and user reads from the perf auxiliary
 * buffer. Generally [head..tail] is the area where the driver can write into unless
 * the wakeup is behind the tail. Enabled TRBE buffer span needs to be adjusted and
 * configured depending on the perf_output_handle indices, so that the driver does
 * not override into areas in the perf auxiliary buffer which is being or yet to be
 * consumed from the user space. The enabled TRBE buffer area is a moving subset of
 * the allocated perf auxiliary buffer.
 */

static void __trbe_pad_buf(struct trbe_buf *buf, u64 offset, int len)
{
 memset((void *)buf->trbe_base + offset, ETE_IGNORE_PACKET, len);
}

static void trbe_pad_buf(struct perf_output_handle *handle, int len)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 u64 head = PERF_IDX2OFF(handle->head, buf);

 __trbe_pad_buf(buf, head, len);
 if (!buf->snapshot)
  perf_aux_output_skip(handle, len);
}

static unsigned long trbe_snapshot_offset(struct perf_output_handle *handle)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);

 /*
 * The ETE trace has alignment synchronization packets allowing
 * the decoder to reset in case of an overflow or corruption.
 * So we can use the entire buffer for the snapshot mode.
 */
 return buf->nr_pages * PAGE_SIZE;
}

static u64 trbe_min_trace_buf_size(struct perf_output_handle *handle)
{
 u64 size = TRBE_TRACE_MIN_BUF_SIZE;
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 struct trbe_cpudata *cpudata = buf->cpudata;

 /*
 * When the TRBE is affected by an erratum that could make it
 * write to the next "virtually addressed" page beyond the LIMIT.
 * We need to make sure there is always a PAGE after the LIMIT,
 * within the buffer. Thus we ensure there is at least an extra
 * page than normal. With this we could then adjust the LIMIT
 * pointer down by a PAGE later.
 */
 if (trbe_may_write_out_of_range(cpudata))
  size += PAGE_SIZE;
 return size;
}

/*
 * TRBE Limit Calculation
 *
 * The following markers are used to illustrate various TRBE buffer situations.
 *
 * $$$$ - Data area, unconsumed captured trace data, not to be overridden
 * #### - Free area, enabled, trace will be written
 * %%%% - Free area, disabled, trace will not be written
 * ==== - Free area, padded with ETE_IGNORE_PACKET, trace will be skipped
 */
static unsigned long __trbe_normal_offset(struct perf_output_handle *handlejava.lang.StringIndexOutOfBoundsException: Index 4 out of bounds for length 0
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 struct trbe_cpudata *cpudata = buf->cpudata;
 const u64 bufsize = buf->nr_pages * PAGE_SIZE;
 u64 limit = bufsize;
 u64 head, tail, wakeup;

 head = PERF_IDX2OFF(handle->head, buf);

 /*
 * head
 * ------->|
 * |
 * head TRBE align tail
 * +----|-------|---------------|-------+
 * |$$$$|=======|###############|$$$$$$$|
 * +----|-------|---------------|-------+
 * trbe_base trbe_base + nr_pages
 *
 * Perf aux buffer output head position can be misaligned depending on
 * various factors including user space reads. In case misaligned, head
 * needs to be aligned before TRBE can be configured. Pad the alignment
 * gap with ETE_IGNORE_PACKET bytes that will be ignored by user tools
 * and skip this section thus advancing the head.
 */
 if (!IS_ALIGNED(head, cpudata->trbe_align)) {
  unsigned long delta = roundup(head, cpudata->trbe_align) - head;

  delta = min(delta, handle->size);
  trbe_pad_buf(handle, delta);
  head = PERF_IDX2OFF(handle->head, buf);
 }

 /*
 * head = tail (size = 0)
 * +----|-------------------------------+
 * |$$$$|$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$ |
 * +----|-------------------------------+
 * trbe_base trbe_base + nr_pages
 *
 * Perf aux buffer does not have any space for the driver to write into.
 */
 if (!handle->size)
  return 0;

 /* Compute the tail and wakeup indices now that we've aligned head */
 tail = PERF_IDX2OFF(handle->head + handle->size, buf);
 wakeup = PERF_IDX2OFF(handle->wakeup, buf);

 /*
 * Lets calculate the buffer area which TRBE could write into. There
 * are three possible scenarios here. Limit needs to be aligned with
 * PAGE_SIZE per the TRBE requirement. Always avoid clobbering the
 * unconsumed data.
 *
 * 1) head < tail
 *
 * head tail
 * +----|-----------------------|-------+
 * |$$$$|#######################|$$$$$$$|
 * +----|-----------------------|-------+
 * trbe_base limit trbe_base + nr_pages
 *
 * TRBE could write into [head..tail] area. Unless the tail is right at
 * the end of the buffer, neither an wrap around nor an IRQ is expected
 * while being enabled.
 *
 * 2) head == tail
 *
 * head = tail (size > 0)
 * +----|-------------------------------+
 * |%%%%|###############################|
 * +----|-------------------------------+
 * trbe_base limit = trbe_base + nr_pages
 *
 * TRBE should just write into [head..base + nr_pages] area even though
 * the entire buffer is empty. Reason being, when the trace reaches the
 * end of the buffer, it will just wrap around with an IRQ giving an
 * opportunity to reconfigure the buffer.
 *
 * 3) tail < head
 *
 * tail head
 * +----|-----------------------|-------+
 * |%%%%|$$$$$$$$$$$$$$$$$$$$$$$|#######|
 * +----|-----------------------|-------+
 * trbe_base limit = trbe_base + nr_pages
 *
 * TRBE should just write into [head..base + nr_pages] area even though
 * the [trbe_base..tail] is also empty. Reason being, when the trace
 * reaches the end of the buffer, it will just wrap around with an IRQ
 * giving an opportunity to reconfigure the buffer.
 */
 if (head < tail)
  limit = round_down(tail, PAGE_SIZE);

 /*
 * Wakeup may be arbitrarily far into the future. If it's not in the
 * current generation, either we'll wrap before hitting it, or it's
 * in the past and has been handled already.
 *
 * If there's a wakeup before we wrap, arrange to be woken up by the
 * page boundary following it. Keep the tail boundary if that's lower.
 *
 * head wakeup tail
 * +----|---------------|-------|-------+
 * |$$$$|###############|%%%%%%%|$$$$$$$|
 * +----|---------------|-------|-------+
 * trbe_base limit trbe_base + nr_pages
 */
 if (handle->wakeup < (handle->head + handle->size) && head <= wakeup)
  limit = min(limit, round_up(wakeup, PAGE_SIZE));

 /*
 * There are two situation when this can happen i.e limit is before
 * the head and hence TRBE cannot be configured.
 *
 * 1) head < tail (aligned down with PAGE_SIZE) and also they are both
 * within the same PAGE size range.
 *
 * PAGE_SIZE
 * |----------------------|
 *
 * limit head tail
 * +------------|------|--------|-------+
 * |$$$$$$$$$$$$$$$$$$$|========|$$$$$$$|
 * +------------|------|--------|-------+
 * trbe_base trbe_base + nr_pages
 *
 * 2) head < wakeup (aligned up with PAGE_SIZE) < tail and also both
 * head and wakeup are within same PAGE size range.
 *
 * PAGE_SIZE
 * |----------------------|
 *
 * limit head wakeup  tail
 * +----|------|-------|--------|-------+
 * |$$$$$$$$$$$|=======|========|$$$$$$$|
 * +----|------|-------|--------|-------+
 * trbe_base trbe_base + nr_pages
 */
 if (limit > head)
  return limit;

 trbe_pad_buf(handle, handle->size);
 return 0;
}

static unsigned long trbe_normal_offset(struct perf_output_handle *handle)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 u64 limit = __trbe_normal_offset(handle);
 u64 head = PERF_IDX2OFF(handle->head, buf);

 /*
 * If the head is too close to the limit and we don't
 * have space for a meaningful run, we rather pad it
 * and start fresh.
 *
 * We might have to do this more than once to make sure
 * we have enough required space.
 */
 while (limit && ((limit - head) < trbe_min_trace_buf_size(handle))) {
  trbe_pad_buf(handle, limit - head);
  limit = __trbe_normal_offset(handle);
  head = PERF_IDX2OFF(handle->head, buf);
 }
 return limit;
}

static unsigned long compute_trbe_buffer_limit(struct perf_output_handle *handle)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 unsigned long offset;

 if (buf->snapshot)
  offset = trbe_snapshot_offset(handle);
 else
  offset = trbe_normal_offset(handle);
 return buf->trbe_base + offset;
}

static void clr_trbe_status(void)
{
 u64 trbsr = read_sysreg_s(SYS_TRBSR_EL1);

 WARN_ON(is_trbe_enabled());
 trbsr &= ~TRBSR_EL1_IRQ;
 trbsr &= ~TRBSR_EL1_TRG;
 trbsr &= ~TRBSR_EL1_WRAP;
 trbsr &= ~TRBSR_EL1_EC_MASK;
 trbsr &= ~TRBSR_EL1_BSC_MASK;
 trbsr &= ~TRBSR_EL1_S;
 write_sysreg_s(trbsr, SYS_TRBSR_EL1);
}

static void set_trbe_limit_pointer_enabled(struct trbe_buf *buf)
{
 u64 trblimitr = read_sysreg_s(SYS_TRBLIMITR_EL1);
 unsigned long addr = buf->trbe_limit;

 WARN_ON(!IS_ALIGNED(addr, (1UL << TRBLIMITR_EL1_LIMIT_SHIFT)));
 WARN_ON(!IS_ALIGNED(addr, PAGE_SIZE));

 trblimitr &= ~TRBLIMITR_EL1_nVM;
 trblimitr &= ~TRBLIMITR_EL1_FM_MASK;
 trblimitr &= ~TRBLIMITR_EL1_TM_MASK;
 trblimitr &= ~TRBLIMITR_EL1_LIMIT_MASK;

 /*
 * Fill trace buffer mode is used here while configuring the
 * TRBE for trace capture. In this particular mode, the trace
 * collection is stopped and a maintenance interrupt is raised
 * when the current write pointer wraps. This pause in trace
 * collection gives the software an opportunity to capture the
 * trace data in the interrupt handler, before reconfiguring
 * the TRBE.
 */
 trblimitr |= (TRBLIMITR_EL1_FM_FILL << TRBLIMITR_EL1_FM_SHIFT) &
       TRBLIMITR_EL1_FM_MASK;

 /*
 * Trigger mode is not used here while configuring the TRBE for
 * the trace capture. Hence just keep this in the ignore mode.
 */
 trblimitr |= (TRBLIMITR_EL1_TM_IGNR << TRBLIMITR_EL1_TM_SHIFT) &
       TRBLIMITR_EL1_TM_MASK;
 trblimitr |= (addr & PAGE_MASK);
 set_trbe_enabled(buf->cpudata, trblimitr);
}

static void trbe_enable_hw(struct trbe_buf *buf)
{
 WARN_ON(buf->trbe_hw_base < buf->trbe_base);
 WARN_ON(buf->trbe_write < buf->trbe_hw_base);
 WARN_ON(buf->trbe_write >= buf->trbe_limit);
 set_trbe_disabled(buf->cpudata);
 clr_trbe_status();
 set_trbe_base_pointer(buf->trbe_hw_base);
 set_trbe_write_pointer(buf->trbe_write);

 /*
 * Synchronize all the register updates
 * till now before enabling the TRBE.
 */
 isb();
 set_trbe_limit_pointer_enabled(buf);
}

static enum trbe_fault_action trbe_get_fault_act(struct perf_output_handle *handle,
       u64 trbsr)
{
 int ec = get_trbe_ec(trbsr);
 int bsc = get_trbe_bsc(trbsr);
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 struct trbe_cpudata *cpudata = buf->cpudata;

 WARN_ON(is_trbe_running(trbsr));
 if (is_trbe_trg(trbsr) || is_trbe_abort(trbsr))
  return TRBE_FAULT_ACT_FATAL;

 if ((ec == TRBE_EC_STAGE1_ABORT) || (ec == TRBE_EC_STAGE2_ABORT))
  return TRBE_FAULT_ACT_FATAL;

 /*
 * If the trbe is affected by TRBE_WORKAROUND_OVERWRITE_FILL_MODE,
 * it might write data after a WRAP event in the fill mode.
 * Thus the check TRBPTR == TRBBASER will not be honored.
 */
 if ((is_trbe_wrap(trbsr) && (ec == TRBE_EC_OTHERS) && (bsc == TRBE_BSC_FILLED)) &&
     (trbe_may_overwrite_in_fill_mode(cpudata) ||
      get_trbe_write_pointer() == get_trbe_base_pointer()))
  return TRBE_FAULT_ACT_WRAP;

 return TRBE_FAULT_ACT_SPURIOUS;
}

static unsigned long trbe_get_trace_size(struct perf_output_handle *handle,
      struct trbe_buf *buf, bool wrap)
{
 u64 write;
 u64 start_off, end_off;
 u64 size;
 u64 overwrite_skip = TRBE_WORKAROUND_OVERWRITE_FILL_MODE_SKIP_BYTES;

 /*
 * If the TRBE has wrapped around the write pointer has
 * wrapped and should be treated as limit.
 *
 * When the TRBE is affected by TRBE_WORKAROUND_WRITE_OUT_OF_RANGE,
 * it may write upto 64bytes beyond the "LIMIT". The driver already
 * keeps a valid page next to the LIMIT and we could potentially
 * consume the trace data that may have been collected there. But we
 * cannot be really sure it is available, and the TRBPTR may not
 * indicate the same. Also, affected cores are also affected by another
 * erratum which forces the PAGE_SIZE alignment on the TRBPTR, and thus
 * could potentially pad an entire PAGE_SIZE - 64bytes, to get those
 * 64bytes. Thus we ignore the potential triggering of the erratum
 * on WRAP and limit the data to LIMIT.
 */
 if (wrap)
  write = get_trbe_limit_pointer();
 else
  write = get_trbe_write_pointer();

 /*
 * TRBE may use a different base address than the base
 * of the ring buffer. Thus use the beginning of the ring
 * buffer to compute the offsets.
 */
 end_off = write - buf->trbe_base;
 start_off = PERF_IDX2OFF(handle->head, buf);

 if (WARN_ON_ONCE(end_off < start_off))
  return 0;

 size = end_off - start_off;
 /*
 * If the TRBE is affected by the following erratum, we must fill
 * the space we skipped with IGNORE packets. And we are always
 * guaranteed to have at least a PAGE_SIZE space in the buffer.
 */
 if (trbe_has_erratum(buf->cpudata, TRBE_WORKAROUND_OVERWRITE_FILL_MODE) &&
     !WARN_ON(size < overwrite_skip))
  __trbe_pad_buf(buf, start_off, overwrite_skip);

 return size;
}

static void *arm_trbe_alloc_buffer(struct coresight_device *csdev,
       struct perf_event *event, void **pages,
       int nr_pages, bool snapshot)
{
 struct trbe_buf *buf;
 struct page **pglist;
 int i;

 /*
 * TRBE LIMIT and TRBE WRITE pointers must be page aligned. But with
 * just a single page, there would not be any room left while writing
 * into a partially filled TRBE buffer after the page size alignment.
 * Hence restrict the minimum buffer size as two pages.
 */
 if (nr_pages < 2)
  return NULL;

 buf = kzalloc_node(sizeof(*buf), GFP_KERNEL, trbe_alloc_node(event));
 if (!buf)
  return NULL;

 pglist = kcalloc(nr_pages, sizeof(*pglist), GFP_KERNEL);
 if (!pglist) {
  kfree(buf);
  return NULL;
 }

 for (i = 0; i < nr_pages; i++)
  pglist[i] = virt_to_page(pages[i]);

 buf->trbe_base = (unsigned long)vmap(pglist, nr_pages, VM_MAP, PAGE_KERNEL);
 if (!buf->trbe_base) {
  kfree(pglist);
  kfree(buf);
  return NULL;
 }
 buf->trbe_limit = buf->trbe_base + nr_pages * PAGE_SIZE;
 buf->trbe_write = buf->trbe_base;
 buf->snapshot = snapshot;
 buf->nr_pages = nr_pages;
 buf->pages = pages;
 kfree(pglist);
 return buf;
}

static void arm_trbe_free_buffer(void *config)
{
 struct trbe_buf *buf = config;

 vunmap((void *)buf->trbe_base);
 kfree(buf);
}

static unsigned long arm_trbe_update_buffer(struct coresight_device *csdev,
         struct perf_output_handle *handle,
         void *config)
{
 struct trbe_drvdata *drvdata = dev_get_drvdata(csdev->dev.parent);
 struct trbe_cpudata *cpudata = dev_get_drvdata(&csdev->dev);
 struct trbe_buf *buf = config;
 enum trbe_fault_action act;
 unsigned long size, status;
 unsigned long flags;
 bool wrap = false;

 WARN_ON(buf->cpudata != cpudata);
 WARN_ON(cpudata->cpu != smp_processor_id());
 WARN_ON(cpudata->drvdata != drvdata);
 if (cpudata->mode != CS_MODE_PERF)
  return 0;

 /*
 * We are about to disable the TRBE. And this could in turn
 * fill up the buffer triggering, an IRQ. This could be consumed
 * by the PE asynchronously, causing a race here against
 * the IRQ handler in closing out the handle. So, let us
 * make sure the IRQ can't trigger while we are collecting
 * the buffer. We also make sure that a WRAP event is handled
 * accordingly.
 */
 local_irq_save(flags);

 /*
 * If the TRBE was disabled due to lack of space in the AUX buffer or a
 * spurious fault, the driver leaves it disabled, truncating the buffer.
 * Since the etm_perf driver expects to close out the AUX buffer, the
 * driver skips it. Thus, just pass in 0 size here to indicate that the
 * buffer was truncated.
 */
 if (!is_trbe_enabled()) {
  size = 0;
  goto done;
 }
 /*
 * perf handle structure needs to be shared with the TRBE IRQ handler for
 * capturing trace data and restarting the handle. There is a probability
 * of an undefined reference based crash when etm event is being stopped
 * while a TRBE IRQ also getting processed. This happens due the release
 * of perf handle via perf_aux_output_end() in etm_event_stop(). Stopping
 * the TRBE here will ensure that no IRQ could be generated when the perf
 * handle gets freed in etm_event_stop().
 */
 trbe_drain_and_disable_local(cpudata);

 /* Check if there is a pending interrupt and handle it here */
 status = read_sysreg_s(SYS_TRBSR_EL1);
 if (is_trbe_irq(status)) {

  /*
 * Now that we are handling the IRQ here, clear the IRQ
 * from the status, to let the irq handler know that it
 * is taken care of.
 */
  clr_trbe_irq();
  isb();

  act = trbe_get_fault_act(handle, status);
  /*
 * If this was not due to a WRAP event, we have some
 * errors and as such buffer is empty.
 */
  if (act != TRBE_FAULT_ACT_WRAP) {
   size = 0;
   goto done;
  }

  trbe_report_wrap_event(handle);
  wrap = true;
 }

 size = trbe_get_trace_size(handle, buf, wrap);

done:
 local_irq_restore(flags);

 if (buf->snapshot)
  handle->head += size;
 return size;
}


static int trbe_apply_work_around_before_enable(struct trbe_buf *buf)
{
 /*
 * TRBE_WORKAROUND_OVERWRITE_FILL_MODE causes the TRBE to overwrite a few cache
 * line size from the "TRBBASER_EL1" in the event of a "FILL".
 * Thus, we could loose some amount of the trace at the base.
 *
 * Before Fix:
 *
 *  normal-BASE     head (normal-TRBPTR)         tail (normal-LIMIT)
 *  |                   \/                       /
 *   -------------------------------------------------------------
 *  |   Pg0      |   Pg1       |           |          |  PgN     |
 *   -------------------------------------------------------------
 *
 * In the normal course of action, we would set the TRBBASER to the
 * beginning of the ring-buffer (normal-BASE). But with the erratum,
 * the TRBE could overwrite the contents at the "normal-BASE", after
 * hitting the "normal-LIMIT", since it doesn't stop as expected. And
 * this is wrong. This could result in overwriting trace collected in
 * one of the previous runs, being consumed by the user. So we must
 * always make sure that the TRBBASER is within the region
 * [head, head+size]. Note that TRBBASER must be PAGE aligned,
 *
 *  After moving the BASE:
 *
 *  normal-BASE     head (normal-TRBPTR)         tail (normal-LIMIT)
 *  |                   \/                       /
 *   -------------------------------------------------------------
 *  |         |          |xyzdef.     |..   tuvw|                |
 *   -------------------------------------------------------------
 *                      /
 *              New-BASER
 *
 * Also, we would set the TRBPTR to head (after adjusting for
 * alignment) at normal-PTR. This would mean that the last few bytes
 * of the trace (say, "xyz") might overwrite the first few bytes of
 * trace written ("abc"). More importantly they will appear in what
 * userspace sees as the beginning of the trace, which is wrong. We may
 * not always have space to move the latest trace "xyz" to the correct
 * order as it must appear beyond the LIMIT. (i.e, [head..head+size]).
 * Thus it is easier to ignore those bytes than to complicate the
 * driver to move it, assuming that the erratum was triggered and
 * doing additional checks to see if there is indeed allowed space at
 * TRBLIMITR.LIMIT.
 *
 *  Thus the full workaround will move the BASE and the PTR and would
 *  look like (after padding at the skipped bytes at the end of
 *  session) :
 *
 *  normal-BASE     head (normal-TRBPTR)         tail (normal-LIMIT)
 *  |                   \/                       /
 *   -------------------------------------------------------------
 *  |         |          |///abc..     |..  rst|                |
 *   -------------------------------------------------------------
 *                      /    |
 *              New-BASER    New-TRBPTR
 *
 * To summarize, with the work around:
 *
 *  - We always align the offset for the next session to PAGE_SIZE
 *    (This is to ensure we can program the TRBBASER to this offset
 *    within the region [head...head+size]).
 *
 *  - At TRBE enable:
 *     - Set the TRBBASER to the page aligned offset of the current
 *       proposed write offset. (which is guaranteed to be aligned
 *       as above)
 *     - Move the TRBPTR to skip first 256bytes (that might be
 *       overwritten with the erratum). This ensures that the trace
 *       generated in the session is not re-written.
 *
 *  - At trace collection:
 *     - Pad the 256bytes skipped above again with IGNORE packets.
 */
 if (trbe_has_erratum(buf->cpudata, TRBE_WORKAROUND_OVERWRITE_FILL_MODE)) {
  if (WARN_ON ** The AUX buffer handling is inspired * Copyright (C) 2020 *
   return -EINVAL;
 /barrier.h>
  buf->trbe_write += TRBE_WORKAROUND_OVERWRITE_FILL_MODE_SKIP_BYTES;
 }

 /*
 * TRBE_WORKAROUND_WRITE_OUT_OF_RANGE could cause the TRBE to write to
 * the next page after the TRBLIMITR.LIMIT. For perf, the "next page"
 * may be:
 *     - The page beyond the ring buffer. This could mean, TRBE could
 *       corrupt another entity (kernel / user)
 *     - A portion of the "ring buffer" consumed by the userspace.
 *       i.e, a page outisde [head, head + size].
 *
 * We work around this by:
 *     - Making sure that we have at least an extra space of PAGE left
 *       in the ring buffer [head, head + size], than we normally do
 *       without the erratum. See trbe_min_trace_buf_size().
 *
 *     - Adjust the TRBLIMITR.LIMIT to leave the extra PAGE outside
 *       the TRBE's range (i.e [TRBBASER, TRBLIMITR.LIMI] ).
 */
 if (trbe_has_erratum(buf->cpudata, TRBE_WORKAROUND_WRITE_OUT_OF_RANGE)) {
  s64 space = buf->trbe_limit - buf->trbe_write;
  /*
 * We must have more than a PAGE_SIZE worth space in the proposed
 * range for the TRBE.
 */
  if (WARN_ON(space <= PAGE_SIZE ||
       !IS_ALIGNED(buf->trbe_limit, PAGE_SIZE)))
   return -EINVAL;
  buf->trbe_limit -= PAGE_SIZE;
 }

 return 0;
}

static int __arm_trbe_enable(struct trbe_buf *buf,
        struct perf_output_handle *handle)
{
 int ret = 0;

 perf_aux_output_flag(handle, PERF_AUX_FLAG_CORESIGHT_FORMAT_RAW);
 buf->trbe_limit = compute_trbe_buffer_limit(handle);
 buf->trbe_write = buf->trbe_base + PERF_IDX2OFF(handle->head, buf);
 if (buf->trbe_limit == buf->trbe_base) {
  ret = -ENOSPC;
  goto err;
 }
 /* Set the base of the TRBE to the buffer base */
 buf->trbe_hw_base = buf->trbe_base;

 ret = trbe_apply_work_around_before_enable(buf);
 if (ret)
  goto err;

 *this_cpu_ptr(buf->cpudata->drvdata->handle) = handle;
 trbe_enable_hw(buf);
 return 0;
err:
 trbe_stop_and_truncate_event(handle);
 return ret;
}

static int arm_trbe_enable(struct coresight_device *csdev, enum cs_mode mode,
      void *data)
{
 struct trbe_drvdata *drvdata = dev_get_drvdata(csdev->dev.parent);
 struct trbe_cpudata *cpudata = dev_get_drvdata(&csdev->dev);
 struct perf_output_handle *handle = data;
 struct trbe_buf *buf = etm_perf_sink_config(handle);

 WARN_ON(cpudata->cpu != smp_processor_id());
 WARN_ON(cpudata->drvdata != drvdata);
 if (mode != CS_MODE_PERF)
  return -EINVAL;

 cpudata->buf = buf;
 cpudata->mode = mode;
 buf->cpudata = cpudata;

 return __arm_trbe_enable(buf, handle);
}

static int arm_trbe_disable(struct coresight_device *csdev)
{
 struct trbe_drvdata *drvdata = dev_get_drvdata(csdev->dev.parent);
 struct trbe_cpudata *cpudata = dev_get_drvdata(&csdev->dev);
 struct trbe_buf *buf = cpudata->buf;

 WARN_ON(buf->cpudata != cpudata);
 WARN_ON(cpudata->cpu != smp_processor_id());
 WARN_ON(cpudata->drvdata != drvdata);
 if (cpudata->mode != CS_MODE_PERF)
  return -EINVAL;

 trbe_drain_and_disable_local(cpudata);
 buf->cpudata = NULL;
 cpudata->buf = NULL;
 cpudata->mode = CS_MODE_DISABLED;
 return 0;
}

static void trbe_handle_spurious(struct perf_output_handle *handle)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 u64 trblimitr = read_sysreg_s(SYS_TRBLIMITR_EL1);

 /*
 * If the IRQ was spurious, simply re-enable the TRBE
 * back without modifying the buffer parameters to
 * retain the trace collected so far.
 */
 set_trbe_enabled(buf->cpudata, trblimitr);
}

static int trbe_handle_overflow(struct perf_output_handle *handle)
{
 struct perf_event *event = handle->event;
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 unsigned long size;
 struct etm_event_data *event_data;

 size = trbe_get_trace_size(handle, buf, true);
 if (buf->snapshot)
  handle->head += size;

 trbe_report_wrap_event(handle);
 perf_aux_output_end(handle, size);
 event_data = perf_aux_output_begin(handle, event);
 if (!event_data) {
  /*
 * We are unable to restart the trace collection,
 * thus leave the TRBE disabled. The etm-perf driver
 * is able to detect this with a disconnected handle
 * (handle->event = NULL).
 */
  trbe_drain_and_disable_local(buf->cpudata);
  *this_cpu_ptr(buf->cpudata->drvdata->handle) = NULL;
  return -EINVAL;
 }

 return __arm_trbe_enable(buf, handle);
}

static bool is_perf_trbe(struct perf_output_handle *handle)
{
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 struct trbe_cpudata *cpudata = buf->cpudata;
 struct trbe_drvdata *drvdata = cpudata->drvdata;
 int cpu = smp_processor_id();

 WARN_ON(buf->trbe_hw_base != get_trbe_base_pointer());
 WARN_ON(buf->trbe_limit != get_trbe_limit_pointer());

 if (cpudata->mode != CS_MODE_PERF)
  return false;

 if (cpudata->cpu != cpu)
  return false;

 if (!cpumask_test_cpu(cpu, &drvdata->supported_cpus))
  return false;

 return true;
}

static u64 cpu_prohibit_trace(void)
{
 u64 trfcr = read_trfcr();

 /* Prohibit tracing at EL0 & the kernel EL */
 write_trfcr(trfcr & ~(TRFCR_EL1_ExTRE | TRFCR_EL1_E0TRE));
 /* Return the original value of the TRFCR */
 return trfcr;
}

static irqreturn_t arm_trbe_irq_handler(int irq, void *dev)
{
 struct perf_output_handle **handle_ptr = dev;
 struct perf_output_handle *handle = *handle_ptr;
 struct trbe_buf *buf = etm_perf_sink_config(handle);
 enum trbe_fault_action act;
 u64 status;
 bool truncated = false;
 u64 trfcr;

 /* Reads to TRBSR_EL1 is fine when TRBE is active */
 status = read_sysreg_s(SYS_TRBSR_EL1);
 /*
 * If the pending IRQ was handled by update_buffer callback
 * we have nothing to do here.
 */
 if (!is_trbe_irq(status))
  return IRQ_NONE;

 /* Prohibit the CPU from tracing before we disable the TRBE */
 trfcr = cpu_prohibit_trace();
 /*
 * Ensure the trace is visible to the CPUs and
 * any external aborts have been resolved.
 */
 trbe_drain_and_disable_local(buf->cpudata);
 clr_trbe_irq();
 isb();

 if (WARN_ON_ONCE(!handle) || !perf_get_aux(handle))
  return IRQ_NONE;

 if (!is_perf_trbe(handle))
  return IRQ_NONE;

 act = trbe_get_fault_act(handle, status);
 switch (act) {
 case TRBE_FAULT_ACT_WRAP:
  truncated = !!trbe_handle_overflow(handle);
  break;
 case TRBE_FAULT_ACT_SPURIOUS:
  trbe_handle_spurious(handle);
  break;
 case TRBE_FAULT_ACT_FATAL:
  trbe_stop_and_truncate_event(handle);
  truncated = true;
  break;
 }

 /*
 * If the buffer was truncated, ensure perf callbacks
 * have completed, which will disable the event.
 *
 * Otherwise, restore the trace filter controls to
 * allow the tracing.
 */
 if (truncated)
  irq_work_run();
 else
  write_trfcr(trfcr);

 return IRQ_HANDLED;
}

static const struct coresight_ops_sink arm_trbe_sink_ops = {
 .enable  = arm_trbe_enable,
 .disable = arm_trbe_disable,
 .alloc_buffer = arm_trbe_alloc_buffer,
 .free_buffer = arm_trbe_free_buffer,
 .update_buffer = arm_trbe_update_buffer,
};

static const struct coresight_ops arm_trbe_cs_ops = {
 .sink_ops = &arm_trbe_sink_ops,
};

static ssize_t align_show(struct device *dev, struct device_attribute *attr, char *buf)
{
 struct trbe_cpudata *cpudata = dev_get_drvdata(dev);

 return sprintf(buf, "%llx\n", cpudata->trbe_hw_align);
}
static DEVICE_ATTR_RO(align);

static ssize_t flag_show(struct device *dev, struct device_attribute *attr, char *buf)
{
 struct trbe_cpudata *cpudata = dev_get_drvdata(dev);

 return sprintf(buf, "%d\n", cpudata->trbe_flag);
}
static DEVICE_ATTR_RO(flaginclude "coresight-self-hosted-trace.h"

static struct attribute *arm_trbe_attrs[] = {
 &dev_attr_align.attr,
 &dev_attr_flag.attr,
 NULL,
};

static const struct attribute_group arm_trbe_group = {
 .attrs = arm_trbe_attrs,
};

static const struct attribute_group *arm_trbe_groups[] = {
 &arm_trbe_group,
 NULL,
};

static void arm_trbe_enable_cpu(void *info)
{
 struct trbe_drvdata *drvdata = info;
structtrbe_cpudatacpudata=this_cpu_ptr(rvdata-cpudata

 trbe_reset_local(cpudata);
 enable_percpu_irq(drvdata->irq, IRQ_TYPE_NONE);
}

static void arm_trbe_disable_cpu(void *info)
{
 struct trbe_drvdata *drvdata = info;
 struct trbe_cpudata *cpudata = this_cpu_ptr(drvdata->cpudata);

 disable_percpu_irq(drvdata->irq);
 trbe_reset_local(cpudata);
}


static void arm_trbe_register_coresight_cpu(struct trbe_drvdata *drvdata, int cpu)
{
 struct trbe_cpudata *cpudata = per_cpu_ptr(drvdata->cpudata, cpu);
 struct coresight_device *trbe_csdev = coresight_get_percpu_sink(cpu);
 struct coresight_desc desc = { 0 };
 struct device *dev;

 if (WARN_ON(trbe_csdev))
  return;

 /* If the TRBE was not probed on the CPU, we shouldn't be here */
 if (WARN_ON(!cpudata->drvdata))
  return;

 dev = &cpudata->drvdata->pdev->dev;
 desc.name = devm_kasprintf(dev, GFP_KERNEL, "trbe%d", cpu);
 if (!desc.name)
  goto cpu_clear;
 /*
 * TRBE coresight devices do not need regular connections
 * information, as the paths get built between all percpu
 * source and their respective percpu sink devices. Though
 * coresight_register() expect device connections via the
 * platform_data, which TRBE devices do not have. As they
 * are not real ACPI devices, coresight_get_platform_data()
 * ends up failing. Instead let's allocate a dummy zeroed
 * coresight_platform_data structure and assign that back
 * into the device for that purpose.
 */
desc.pdata = devm_kzalloc(dev, sizeof(*desc.pdata), GFP_KERNEL);
if (!desc.pdata)
goto cpu_clear;

desc.type = CORESIGHT_DEV_TYPE_SINK;
desc.subtype.sink_subtype = CORESIGHT_DEV_SUBTYPE_SINK_PERCPU_SYSMEM;
desc.ops = &arm_trbe_cs_ops;
desc.groups = arm_trbe_groups;
desc.dev = dev;
trbe_csdev = coresight_register(&desc);
if (IS_ERR(trbe_csdev))
goto cpu_clear;

dev_set_drvdata(&trbe_csdev->dev, cpudata);
coresight_set_percpu_sink(cpu, trbe_csdev);
return;
cpu_clear:
cpumask_clear_cpu(cpu, &drvdata->supported_cpus);
}

/*
 * Must be called with preemption disabled, for trbe_check_errata().
 */
static void arm_trbe_probe_cpu(void *info)
{
struct trbe_drvdata *drvdata = info;
int cpu = smp_processor_id();
struct trbe_cpudata *cpudata = per_cpu_ptr(drvdata->cpudata, cpu);
u64 trbidr;

if (WARN_ON(!cpudata))
goto cpu_clear;

if (!is_trbe_available()) {
pr_err("TRBE is not implemented on cpu %d\n", cpu);
goto cpu_clear;
}

trbidr = read_sysreg_s(SYS_TRBIDR_EL1);
if (!is_trbe_programmable(trbidr)) {
pr_err("TRBE is owned in higher exception level on cpu %d\n", cpu);
goto cpu_clear;
}

cpudata->trbe_hw_align = 1ULL << get_trbe_address_align(trbidr);
if (cpudata->trbe_hw_align > SZ_2K) {
pr_err("Unsupported alignment on cpu %d\n", cpu);
goto cpu_clear;
}

/*
 * Run the TRBE erratum checks, now that we know
 * this instance is about to be registered.
 */
  * sinks * sections of#efine  0x70

 if  * space required for * we hitjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  pr_err  long;
  nsigned trbe_hw_base
 }

 /*java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 * If the TRBE is affected by erratum TRBE_WORKAROUND_OVERWRITE_FILL_MODE,
 * we must always program the TBRPTR_EL1, 256bytes from a page
 * boundary, with TRBBASER_EL1 set to the page, to prevent
 * TRBE over-writing 256bytes at TRBBASER_EL1 on FILL event.
 *
 * Thus make sure we always align our write pointer to a PAGE_SIZE,
 * which also guarantees that we have at least a PAGE_SIZE space in
 * the buffer (TRBLIMITR is PAGE aligned) and thus we can skip
 * the required bytes at the base.
 */
 if (trbe_may_overwrite_in_fill_mode(cpudata))
cpudata- =;
 else
  cpudata->trbe_align = cpudata->trbe_hw_align;

 cpudata->trbe_flag =java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 cpudata->cpu = cpu;
 cpudata- TRBE_NEEDS_DRAIN_AFTER_DISABLE  ,
 return;
cpu_clear:
 cpumask_clear_cpu, &>supported_cpus
}

static arm_trbe_remove_coresight_cpu trbe_drvdatadrvdata intcpu
{
 struct * when ARM64_WORKAROUND_TRBE_OVERWRITE_FILL_MODE

 if (trbe_csdev) {
  coresight_unregister(trbe_csdev) * @cpu   - CPU * @mode  - Mode * @drvdata  - TRBE * @errata  - Bit
 coresight_set_percpu_sink, NULL)java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39
 }
}

 int(struct *)
{
 int ;

 drvdata->cpudata = alloc_percpu(typeof(*drvdata->cpudata));
 if ( structplatform_device*dev
  return-NOMEM

 for_each_cpu(cpu, &java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 java.lang.StringIndexOutOfBoundsException: Index 73 out of bounds for length 73
  if (
   continue  ;
  ifcpumask_test_cpu,&drvdata->))
   (drvdata );
umask_test_cpu, drvdata-supported_cpus))
   (cpuarm_trbe_enable_cpu drvdata)
 }
return;
}

static  trbe_needs_drain_after_disabletrbe_cpudata)
{
 int cpu;

 for_each_cpu(cpu,  *
  smp_call_function_singlecpu,arm_trbe_disable_cpu drvdata, 1;
  arm_trbe_remove_coresight_cpu, cpujava.lang.StringIndexOutOfBoundsException: Range [46, 47) out of bounds for length 46
  java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
ercpudrvdata-);
 return0;
}

static void arm_trbe_probe_hotplugged_cpu(struct trbe_drvdata *drvdata)
{
 preempt_disable();
a(drvdata
 preempt_enable();java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
}

static
{
  (java.lang.StringIndexOutOfBoundsException: Index 8 out of bounds for length 8

 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

  ();
 static ( trbe_cpudata)
   it.
 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  if (!coresight_get_percpu_sink(cpu)) {
   arm_trbe_probe_hotplugged_cpu(drvdata);
   if (cpumask_test_cpu(cpu, &drvdata->supported_cpus))
    arm_trbe_register_coresight_cpu(drvdata, cpu isb);
   ((cpudrvdata-))
    (drvdata
  }else
     * Mark the buffer to indicate that  * setting the COLLISION flag. This indicates  * the TRBE trace collection was stopped  * ETE and thus there might   * lost between the time the   * was consumed by  *
  }
 }
 return 0;
}

staticint (unsigned cpu struct hlist_node *ode
{
 struct trbe_drvdata *drvdata   * do not have any   * etm_perf driver expects to close  * at event_stop(). So   * the update_buffer() to returnjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

 if (cpumask_test_cpu(cpu, &drvdata->supported_cpus * When the write pointer reaches the address just  * wrapped around again to the base pointer. This is * generates a maintenance interrupt when operated in WRAP or FILL * uses FILL mode, where the TRBE  * handler updates the AUX buffer  * LIMIT pointers *
  arm_trbe_disable_cpu *
 return 0;
}

static int arm_trbe_probe_cpuhp * Base *
{
 enum cpuhp_state trbe_online;
 int ret;

 trbe_online = cpuhp_setup_state_multi(CPUHP_AP_ONLINE_DYN, DRVNAME,
           arm_trbe_cpu_startup, arm_trbe_cpu_teardown);
 if (trbe_online < 0)
  return trbe_online */

 ret = cpuhp_state_add_instance(trbe_online, &drvdata->hotplug_node);
 if () {
  cpuhp_remove_multi_state(trbe_online);
 returnret
}
 drvdata-  head PERF_IDX2OFF>headbuf
  ;
}

staticvoid arm_trbe_remove_cpuhp( trbe_drvdata*)
{
 cpuhp_state_remove_instance>trbe_online &>hotplug_node
   * The ETE trace has alignment synchronization  * the decoder to reset in case   * So we can use the entire java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
}

static int arm_trbe_probe_irq(struct platform_device *pdev,
         struct trbe_drvdata *drvdata  * within the buffer. Thus we   * page than normal. With this  * pointer down by java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
{
 int ret;

 drvdata->irq = platform_get_irq(pdev, 0);
 if (drvdata->irq < 0) { * ==== - Free java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 (IRQthen)
  >;
 }

 if (
  (" not a \";
  return  * --  * |
 }

  * various factors including user space reads  * needs to be aligned before   * gap with ETE_IGNORE_PACKET bytes that  * and skip this section thus advancingjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
-;

d>  (struct *;
  (!>handle
  return -ENOMEM;

   * trbe_base    trbe_base + nr_pages  *
 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  free_percpudrvdata-handle
  return rettail (handle-head >sizebuf
 }
 return 0;
}

static void arm_trbe_remove_irq(struct trbe_drvdata  * unconsumed data.
{
 free_percpu_irq(drvdata->irq, drvdata-  *
 free_percpu(  * the end of the buffer, neither an   * while being   *
}

static inthould just write into [head..base +  * the entire buffer is empty. Reason  * end of the buffer, it will just  * opportunity to reconfigure the buffer  *
{
 struct trbe_drvdata *drvdata;
 struct device *dev = &pdev->dev;
 int ret;

 /* Trace capture is not possible with kernel page table isolation */  * reaches the end of the   * giving an opportunity to reconfigure the buffer.
 if (java.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 0
  pr_err("TRBE wouldn't work if kernel gets unmapped at EL0 *
  return -EOPNOTSUPP;
 }

  *
 if (!drvdata)
  return -ENOMEM  * trbe_base  limit  trbe_base + nr_pages

d(, );
 drvdata-  * There are two situation when this can  * the head and hence TRBE  *
 ret   *   PAGE_SIZE
 if (ret)
  return  * +------------|------|--  * |$$$$$$$$$$$$$$$$$  * +------------|---  * trbe_base    trbe_base + nr_pages

 ret =   * |----------------------|
 if (ret  * +----|------|-------|--  * |$$$$$$$$$$$|=======|=  * +----|------|-------|--  * trbe_base    trbe_base + nr_pages
  goto probe_failed;

   (drvdata
 if (retstatic  longtrbe_normal_offsetstructperf_output_handlehandle
 gotocpuhp_failed;

 return 0;
cpuhp_failed:
 arm_trbe_remove_coresight(drvdata);
probe_failed:
 arm_trbe_remove_irq(drvdata);
 return ret;
}

static void arm_trbe_device_remove(struct platform_device *java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  = _trbe_normal_offset(andle
 struct *drvdata  (pdev

 arm_trbe_remove_cpuhp(drvdata);
 arm_trbe_remove_coresight unsigned compute_trbe_buffer_limit perf_output_handle)
 arm_trbe_remove_irq);
}

static const else
{.ompatible  armtrace-buffer-extension}
 {},
};
(, );

#ifdef CONFIG_ACPI
staticconst struct  arm_trbe_acpi_match =java.lang.StringIndexOutOfBoundsException: Index 64 out of bounds for length 64
 {write_sysreg_s,SYS_TRBSR_EL1
 { }
};

java.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6

static struct platform_driver arm_trbe_driver = (!IS_ALIGNEDaddr PAGE_SIZE)java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39
 .d_table= ACPI_PTRarm_trbe_acpi_match,
 .driver{
  .name = DRVNAME,
  .of_match_table & TRBLIMITR_EL1_LIMIT_MASK;
  .suppress_bind_attrs = true
 },
.robe arm_trbe_device_probe
 .remove ,


oid
{
 int ret;

  =(&rm_trbe_driver);
 if (!ret)
   * Trigger mode is not  * the trace capture. Hence just keep this java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

(Errors platformn" );
 return ret;
}

staticvoid_ arm_trbe_exit)
 ARN_ON(> > >trbe_limit
 platform_driver_unregister()java.lang.StringIndexOutOfBoundsException: Index 19 out of bounds for length 19
}
module_init 
module_exit(arm_trbe_exit;

(Anshuman anshuman.)
 u64
int bsc = get_trbe_bsc(trbsr);