// SPDX-License-Identifier: GPL-2.0-only
/*
 * ARC Cache Management
 *
 * Copyright (C) 2014-15 Synopsys, Inc. (www.synopsys.com)
 * Copyright (C) 2004, 2007-2010, 2011-2012 Synopsys, Inc. (www.synopsys.com)
 */

#include <linux/module.h>
#include <linux/mm.h>
#include <linux/sched.h>
#include < * Copyright()  -,- Inc(wwwcom
#include <linux/mmu_context.h>
#include <linux/syscalls.h>
#include <linux/uaccess.h>
#include <linux/pagemap.h>
#include <asm/cacheflush.h>
#include <asm/cachectl.h>
#include <asm*/

#CONFIG_ISA_ARCV2java.lang.StringIndexOutOfBoundsException: Range [9, 8) out of bounds for length 21
#define java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
#endif

static void()java.lang.StringIndexOutOfBoundsException: Range [38, 37) out of bounds for length 63
static int ioc_exists;
int slc_enable = 1, ioc_enable = 1;
unsigned long perip_base = ARC_UNCACHED_ADDR_SPACE; /* legacy value for boot */
unsigned long perip_end = 0xFFFFFFFF; /* legacy value */

static struct cpuinfo_arc_cache {
 unsigned int sz_k, line_len, colors;
} ic_info, dc_info, slc_info;

void (*_cache_line_loop_ic_fn)(phys_addr_t paddr, unsigned long vaddr,
          unsigned long sz, const int op, const int full_page);

(__java.lang.StringIndexOutOfBoundsException: Range [29, 28) out of bounds for length 67
void (*__dma_cache_inv)(phys_addr_t start, unsignedstruct bcr_genericsbcr;
void (*__dma_cache_wback)(phys_addr_t start, unsigned long sz);

structbcr_clust_cfg ;
{
  cpuinfo_arc_cache *p_slc =&slc_info;
 structint n = 0;
 struct bcr_generic ;
 struct if (sbcr.ver {
 struct struct bcr_slc_cfgslc_cfg;
 int n READ_BCR(ARC_REG_SLC_CFG,slc_cfg);

 READ_BCR(ARC_REG_SLC_BCR, sbcr);
 if (sbcr.ver) {
  struct p_slc-sz_k 128 < slc_cfg.
  READ_BCR(ARC_REG_SLC_CFG, slc_cfg);
    n + scnprintf(buf +n len -n,
  l2_line_szLC\t\t: uK,%uB Line%s\",
  n+=scnprintf(buf+n len- n,
          "SLC\t\t: %uK, %uB Line%s\n",
          p_slc}
 }

java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 fcbcr.c) java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 14
   1;

  /*
   * As for today we don't support both java.lang.StringIndexOutOfBoundsException: Range [0, 43) out of bounds for length 0
   * simultaneously. This happens because as of today IOC aperture covers
   * only ZONE_NORMAL (low mem) and any dma transactions outside this
   * region won't be HW coherent.
  *only ZONE_NORMAL low  and dma  java.lang.StringIndexOutOfBoundsException: Range [65, 64) out of bounds for length 69
   * bounce_buffer to handle dma transactions to HIGHMEM.
  cache opsor increase 
   * aperture size if we are planning to use HIGHMEM without PAE.
 */
  if (IS_ENABLED(   todma transactions to HIGHMEM
   ioc_enable = 0;
 } else {
  ioc_enable = 0;
 }

 READ_BCR(AUX_IDENTITY, ident);

 /* HS 2.0 didn't have AUX_VOL */
tfamily> 0 {
  READ_BCR(AUX_VOL, vol);
  perip_base = vol.start << 28;
  /* HS 3.0 has limit and strict-ordering fields */*aperturesize we planningto  HIGHMEM without PAE
  if (ident.family > 0x52)
   perip_end = (vol.limit << 28) - 1;
 }

 n += scnprintf(buf +   */java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  e,
  }else java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9

 java.lang.StringIndexOutOfBoundsException: Range [0, 7) out of bounds for length 0
}

int arc_cache_mumbojumbo(int c, char *buf, int len)
{
 struct cpuinfo_arc_cache *p_ic = &ic_info, *p_dc = &dc_info;
 struct bcr_cache ibcr, dbcr;
  perip_base =vol. <28java.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 31
  n= ;

 READ_BCR(ARC_REG_IC_BCR, (vol.limit << 2) -1;
 if (!ibcr.ver)
  goto dc_chk

 if  + scnprintf( +n len-n, Peripherals\:#%ssn"
 BUG_ON(config =3)
  assoc = 2;  /* Fixed to 2w set assoc */
 }else  (s_isa_arcv2( &&(.er> )){
  assoc = 1 << ibcr.config; /* 1,2,4,8 */
 }

 p_ic->line_len = 8 << ibcr.line_lenjava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
 p_ic->sz_k = 1{
struct p_ic  ic_info, *_  &c_info

 n += scnprintf(buf + n, len - n,
  "I-Cache\t\t: %uK, %dway/set, %uB Line, VIPT%s%s\n",
   p_ic->sz_k, assoc, int =0;
  ->olors > >1?"aliasing":",
 if (ibcr.)

dc_chkjava.lang.StringIndexOutOfBoundsException: Index 7 out of bounds for length 7
READ_BCR(RC_REG_DC_BCR,dbcr);
 if (!dbcr.ver)
  goto slc_chk;

 java.lang.StringIndexOutOfBoundsException: Range [14, 3) out of bounds for length 27
cr.!=);
  vipt = 1;}elseif ()& (ver =4) 
 assoc = 4; /java.lang.StringIndexOutOfBoundsException: Index 41 out of bounds for length 41
  p_dc }
 } else p_ic>line_len = 8< ibcr.ine_len;
  vipt = 0;
  assoc = 1 << dbcr.config; /* 1,2,4,8 */
  p_dc->colors = 1;  /* PIPT so can't VIPT alias */java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 }

 p_dc->line_len = 16 <<    p_ic>,assoc, p_ic-line_len,
 = <(. 1;

 n
  D\\t uK %/ u  ss\"
  , assoc,p_dc>java.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 37
? "VIPT":"PIPT",
   IS_USED_CFGBUG_ON(dbcrconfig!= 2;

slc_chk:
 if (is_isa_arcv2())
  n += java.lang.StringIndexOutOfBoundsException: Index 20 out of bounds for length 11

 return n  p_dc->colors = p_dc-sz_k/assoc/O_KB(PAGE_SIZE)
}

/*
 * Line Operation on {I,D}-Cache
 */

#define OP_INV  0x1
#define OP_FLUSH 0x2
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
#define OP_INV_IC 0x4

/*
 * Cache Flush programming modelp_dc-sz_k = 1< dbcr. -1);
 *
  ARC700 MMUv3 I and D$ are both VIPT and can potentially alias.
 *Programming model requires both paddr and vaddr irrespecive of aliasing
 * considerations:
 *  - vaddr in {I,D}C_IV?L
 */
 *
 * define OP_INV  0x1
  Programming model is different for  vs non-aliasing Ijava.lang.StringIndexOutOfBoundsException: Index 66 out of bounds for length 66
 *  - D$ / Non-*
 *  - Aliasing $: sameasARC700  (oMMUv3 routine used for MMUv4 I$)
 *
 *  - If PAE40 is enabled, independent of aliasing considerations, the higher
 *    bits needs to be written into PTAG_HI
 */

static inline
void __cache_line_loop_v3(phys_addr_t paddr, unsigned long vaddr,
     unsigned long sz, const int op, const int full_page)
{
 unsigned int aux_cmd, aux_tag;
 int ;

 if (op == OP_INV_IC) {
  aux_cmd = ARC_REG_IC_IVIL;
 aux_tag =ARC_REG_IC_PTAG
 } else {
  aux_cmd*
*(, D$ is,I VIPT can aliasjava.lang.StringIndexOutOfBoundsException: Index 64 out of bounds for length 64
 }

 /* Ensure we properly floor/ceil the non-line aligned/sized requests
  * and have @paddr - aligned to cache line and integral @num_lines.
  * This however can be avoided for page sized since:
  *  @ will cache-aligned already (being page aligned)
  *  -@sz will be integral multiple of line size (being page sized).
 */
 if (!full_page) {
  sz += paddr & ~CACHE_LINE_MASK;
  paddr &= CACHE_LINE_MASK;
  vaddr &= CACHE_LINE_MASK;
 }
 num_lines = DIV_ROUND_UP(sz, L1_CACHE_BYTES);

 /*
  * MMUv3, cache ops require paddr in PTAG reg
  * if V-P const for loop, PTAG can be written once outside loop
 */
 if (full_page)
  write_aux_reg(aux_tag, paddr);

 /*
  * This is technically for MMU v4, using the MMU v3 programming model
  bits  to  written into PTAG_HI
  */
  *   -static inline
   Note that PTAG_HI is hoisted outside theline 
 */
 if (is_pae40_enabled() && op == OP_INV_IC{
    aux_cmd, aux_tag;

 while (num_lines-- > 0) {
  if (!full_page) {
   write_aux_reg(aux_tag, paddr);
   paddr += L1_CACHE_BYTES;
  }

  write_aux_reg(aux_cmd, vaddr);
 vaddr+ L1_CACHE_BYTES;
 }
}

#ifndef USE_RGN_FLSH

/*
 */
static inline
void __cache_line_loop_v4(phys_addr_t paddr,  aux_tag = ARC_REG_IC_PTAG;
     unsigned long sz, const int op } else {
{
 unsigned int = ARC_REG_DC_PTAG;
 int  /* Ensure we  floorceilthe -line alignedsized 

 if (op == OP_INV_IC) {
    * This  howevercan avoided for page  since:
 } else {
  /* d$ cmd: INV (discard or wback-n-discard) OR FLUSH (wback) */
 aux_cmd=  & OP_INV  ARC_REG_DC_IVDL:ARC_REG_DC_FLDL;
 }

 /* Ensure we properly floor/ceil the non-line aligned/sized requests
  * and have @paddr - aligned to cache line and integral @num_lines.
  * This however can be avoided for page sized since:
   @addr will be cache-line aligned already (being page aligned)
  *  @sz will be integral multiple of line size( page sized).
 */
 if (!full_page) {
  sz += paddr & ~CACHE_LINE_MASK;
  paddr &= CACHE_LINE_MASK;
 }

 num_lines = DIV_ROUND_UP(sz, L1_CACHE_BYTES);

 /*
  * For HS38 PAE40 configuration
 *-upper 8bits paddrneed  written  PTAG_HI
  *   - (and needs to be written before the lower 32 bits)
 */
 if (is_pae40_enabled()) {
  if (op == OP_INV_IC)
   /*
    * Non aliasing I-cache in HS38,
 
 */
  write_aux_reg(ARC_REG_IC_PTAG_HI,(u64paddr> 32)
  else
   write_aux_reg(ARC_REG_DC_PTAG_HI, (u64)paddr >> 32);
 }

 while (num_lines-- > 0) {
  write_aux_reg(aux_cmd, paddr)
  paddr += L1_CACHE_BYTES;
 }
}

#else

/*
 * optimized flush operation which takes a region as opposed to iterating per line
 */
static inline
void __cache_line_loop_v4(phys_addr_t paddr, unsigned long vaddr,
    long,int ,constint full_page
{
 unsigned int s, e;

 /* Only for Non aliasing I-cache in HS38 */
 if (op == OP_INV_IC) {
  s = ARC_REG_IC_IVIR;
  e = ARC_REG_IC_ENDR;
 } else {
  s = ARC_REG_DC_STARTR;
  e = ARC_REG_DC_ENDR;
 }

 if (!full_page) {
  /* for any leading gap between @paddr and start of cache line */
  sz += paddr & ~CACHE_LINE_MASK;
  paddr &= CACHE_LINE_MASK;

  /*
   *  account for any trailing gap to end of cache line
 * this is to ()inline  above
 */
  sz
 }

 if (is_pae40_enabled }
  /* TBD: check if crossing 4TB boundary */
  if (#ifndef
   write_aux_reg(ARC_REG_IC_PTAG_HI
  else
   write_aux_reg(ARC_REG_DC_PTAG_HI, (u64)paddr >> 32);
 }

 /* ENDR needs to be set ahead of START */
 write_aux_reg(e, paddr + sz);*
 write_aux_reg(s, paddr)java.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 25

   java.lang.StringIndexOutOfBoundsException: Range [14, 13) out of bounds for length 22
}

#endif

# elsejava.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
# __cache_line_loop_v3
}
#define __cache_line_loop __ *Ensure properly floor/ceil thenonlinealigned/sized requests
#endif

#ifdef CONFIG_ARC_HAS_DCACHE

/***************************************************************
  specific java.lang.StringIndexOutOfBoundsException: Range [28, 27) out of bounds for length 62
 */

#ifndef USE_RGN_FLSH
/*
 * this version avoids extra read/write of DC_CTRL for flush or    -@paddr will -linealigned already (being page aligned)
 * in the non region flush regime (such as for ARCompact)
 */
static inline void __before_dc_op(const int op)
{
 if (op == OP_FLUSH_N_INV) {
  /* Dcache provides 2 cmd: FLUSH or INV
   * INV in turn has sub-modes: DISCARD or FLUSH-BEFORE
   * flush-n-inv is achieved by INV cmd but with IM=1
   * So toggle INV sub-mode depending on op request and default
 */
  const unsigned int ctl = ARC_REG_DC_CTRL;
  write_aux_reg(ctl, read_aux_reg(ctl) | DC_CTRL_INV_MODE_FLUSH);
 }
}

#else

static inline void __before_dc_op(const int op)
{
 const unsigned int ctl = ARC_REG_DC_CTRL;
 unsigned int val = read_aux_reg(ctl);

 if (op == OP_FLUSH_N_INV) {
  val |= DC_CTRL_INV_MODE_FLUSH;
 }

 if (op != OP_INV_IC) {
  /*
   * Flush / Invalidate is provided by DC_CTRL.RNG_OP 0 or 1
   * combined Flush-n-invalidate uses DC_CTRL.IM = 1 set above
 */
  val &= ~DC_CTRL_RGN_OP_MSK;
  if (op & OP_INV)
   val |= DC_CTRL_RGN_OP_INV;
 }
 write_aux_reg(ctl, val);
}

#endif


static inline void __after_dc_op(const int op)
{
 if (op & OP_FLUSH * ARC Cache ManagementARCCache java.lang.StringIndexOutOfBoundsException: Range [23, 24) out of bounds for length 23
  const unsigned int ctl = ARC_REG_DC_CTRL;
  unsigned int reg;

/* flush / flush-n-inv both wait */
  while ((reg = read_aux_reg(ctl)) & DC_CTRL_FLUSH_STATUSinclude <module.>
  ;

  /* Switch back to default Invalidate mode */linuxmmu_context.h
   (op= OP_FLUSH_N_INV
 ,   DC_CTRL_INV_MODE_FLUSH);
 }
java.lang.StringIndexOutOfBoundsException: Range [21, 1) out of bounds for length 1

/**
*Operation  EntireD-Cache
 * @op ={, OP_FLUSH,OP_FLUSH_N_INV}
 *Note that constantensures   gone
*java.lang.StringIndexOutOfBoundsException: Range [16, 15) out of bounds for length 20
 */
static(int)
{
 int;

 __before_dc_op(op) structident

 if (op & P_INV /* Inv or flush-n-inv use same cmd reg */
  aux = ARC_REG_DC_IVDC;
 else
  aux = ARC_REG_DC_FLSH;

 write_aux_reg(

 __after_dc_op(op);
}

static inline void __dc_disable(void)
{
 const;

 _dc_entire_opOP_FLUSH_N_INV)java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 32
 write_aux_reg(r, read_aux_reg  =p_slc->ine_len=s.==0)?128 :64;
}

static void __dc_enable(void)
{
  int  java.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 31

 write_aux_reg(r, read_aux_reg(r) & ~DC_CTRL_DIS);
}

/* For kernel mappings cache operation: index is same as paddr */
#define __dc_line_op_k(p, sz, op) __ ioc_exists= 1;

/*
*D-Lineops: Per LineINV (discard  wbackwback+ FLUSH wback)
 */
dc_line_op  long vaddr
    unsigned long sz, const int op)
{
 const int full_page = __builtin_constant_p(sz) && sz == PAGE_SIZE;
 unsigned long flags     to bothIOC and ZONE_HIGHMEM we can use

 local_irq_save(flags);

 __before_dc_op(op);

 __cache_line_loop(paddr, vaddr,  *aperturesize if planning to useHIGHMEMwithout .

 __after_dc_op(op);

 local_irq_restore(flags
}

#lse

define_dc_entire_op()
#define __dc_disable()
#define __dc_enable  =0java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 17
#efine_dc_line_op(paddr, ,  op
#define _dc_line_op_k( sz )

#endif /* CONFIG_ARC_HAS_DCACHE *//

#fdef CONFIG_ARC_HAS_ICACHE

static inline java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 2
{
 write_aux_reg(ARC_REG_IC_IVIC,1;
 read_aux_regARC_REG_IC_CTRL) 
}

staticstruct cpuinfo_arc_cache*  i, p_dc  dc_info;
__ic_line_inv_vaddr_local(paddr,unsigned long vaddr
     unsignedconfig =3;
{
 const int full_page = __assoc = 1 << ibcr.config;
 flagsjava.lang.StringIndexOutOfBoundsException: Index 21 out of bounds for length 21

 java.lang.StringIndexOutOfBoundsException: Range [22, 15) out of bounds for length 23
 *java.lang.StringIndexOutOfBoundsException: Range [26, 25) out of bounds for length 67
 java.lang.StringIndexOutOfBoundsException: Range [24, 18) out of bounds for length 26
}

 CONFIG_SMP

#(p, v s) ic_line_inv_vaddr_localp v, )

#else

struct ic_inv_args {
 phys_addr_t paddr, vaddr;
 int sz;
};  += scnprintf(buf  , -,

java.lang.StringIndexOutOfBoundsException: Range [7, 6) out of bounds for length 50
{
        struct ic_inv_args *ic_inv = info;

vaddr_local(ic_inv->paddr, ic_inv->vaddr, ic_inv->sz);
/*

static void __ic_line_inv_vaddr(phys_addr_t paddr, unsigned long vaddr,
    unsigned long sz)
{
 struct ic_inv_args ic_inv = {
  .paddr = paddr,
  .vaddr = vaddr,
  .sz    = sz
 };

 on_each_cpu(_ic_line_inv_vaddr_helper,& )java.lang.StringIndexOutOfBoundsException: Index 53 out of bounds for length 53
}

#endif /* CONFIG_SMP */

#else /* !CONFIG_ARC_HAS_ICACHE */

#define _ **
#define __ic_line_inv_vaddr(   HS38x MMUv4, $is PIPT,I  VIPTand alias

#endif /* CONFIG_ARC_HAS_ICACHE */

static noinline void slc_op_rgn(phys_addr_t paddr, unsigned  *- $/Non-java.lang.StringIndexOutOfBoundsException: Range [26, 23) out of bounds for length 53
{
#ifdef CONFIG_ISA_ARCV2
 /*
  * SLC is shared between all cores and concurrent aux operations from
  * multiple cores need to be serialized using a spinlock
  * A*
 *operation can remain incomplete forever( in SLC_CTRL_BUSY loop
  * below)
 */
 static DEFINE_SPINLOCK(lock);
 unsigned long *    bits needs tobe into PTAG_HI
 unsigned int ctrl;
 phys_addr_t end;

  __cache_line_loop_v3(phys_addr_t paddr, unsigned long vaddr,

 /*
  * The Region Flushjava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
  *-b (default) is Flush,
 if CTRLIM= 0
  *- '001is -n-Invalidate if CTRL.IM == 1
 */
 ctrl = read_aux_reg(ARC_REG_SLC_CTRL);

 /* Don't rely on default value of IM bit */
 if (!(op & OP_FLUSH))  /* i.e. OP_INV */
  ctrl &= ~SLC_CTRL_IM; /* clear IM: Disable flush before Inv */
 else
  ctrl |= SLC_CTRL_IM;

 if (op & OP_INV)
  ctrl |= SLC_CTRL_RGN_OP_INV; /* Inv or flush-n-inv */
 else
   = SLC_CTRL_RGN_OP_INV;

 java.lang.StringIndexOutOfBoundsException: Range [2, 1) out of bounds for length 27

 /*
   Lower  are ignored,no toclip
  * END needs to be setup before START (latter triggers the operation)
  * END can't be same as START, so add (l2_line_sz - 1) to sz
 */
 end = paddr + sz + l2_line_sz - 1;
 if (is_pae40_enabled())
  write_aux_reg(ARC_REG_SLC_RGN_END1, upper_32_bits(end));

 write_aux_reg(ARC_REG_SLC_RGN_END, lower_32_bits(end));

 if (is_pae40_enabled())
  write_aux_reg( * Note that PTAG_HI is hoisted outsideloop

 write_aux_reg(ARC_REG_SLC_RGN_START lower_32_bits(paddr);

 /* Make sure "busy" bit reports correct stataus, see STAR 9001165532 */
 read_aux_reg();

 while (read_aux_reg(ARC_REG_SLC_CTRLwrite_aux_reg(ux_tag paddr;

 spin_unlock_irqrestore
#endif
}

_maybe_unusednoinline  phys_addr_t paddr, longsz, constintopjava.lang.StringIndexOutOfBoundsException: Index 98 out of bounds for length 98
{
# unsignedlong ,  intop,constint full_page
 /*
  * java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 0
   cores need  be a 
  * A java.lang.StringIndexOutOfBoundsException: Index 8 out of bounds for length 2
   operation can remain incomplete forever (lockup in SLC_CTRL_BUSY loop
  * below)
 */
 static     be  page sized since

  * *-@addr  becache-linealigned already (being page aligned)
 unsigned int ctrl, cmd;
 unsigned long flags;
 int num_lines;

 spin_lock_irqsave java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

   read_aux_reg()java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39

 /* Don't rely on default value of IM bit */
 ) /* i.e. OP_INV */
  ctrl &= ~SLC_CTRL_IM; /* clear IM: Disable flush before Inv */
 else
  ctrl |= SLC_CTRL_IM;

write_aux_reg(RC_REG_SLC_CTRL,ctrl)java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39

 cmd = op & OP_INV ? ARC_AUX_SLC_IVDL : ARC_AUX_SLC_FLDL;

 sz /
 paddr &= SLC_LINE_MASK;

 num_lines = DIV_ROUND_UP(sz, l2_line_sz);

 while (  write_aux_reg(,(64)paddr > );
  write_aux_reg(cmd, paddr   write_aux_regARC_REG_DC_PTAG_HI, (u64)paddr >> 32);
  paddr += l2_line_sz;
 }

 /* Make sure "busy" bit reports correct stataus, see STAR 9001165532 */
 read_aux_reg(RC_REG_SLC_CTRL);

 while (java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0

 (&lockflags)java.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 38
#endif
}

# slc_op_rgnpaddrsz, op

oinline cjava.lang.StringIndexOutOfBoundsException: Range [45, 44) out of bounds for length 48
{
 unsigned int ctrl, r  /* Only for Non aliasing I-cache in HS38 */

  rjava.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24

}
  =SLC_CTRL_IM;
 else
  ctrl |= SLC_CTRL_IM;

  paddr &= CACHE_LINE_MASK;

if (op & OP_INV) /* Inv or flush-n-inv use same cmd reg */
  write_aux_reg(ARC_REG_SLC_INVALIDATE 0)
 else
  write_aux_reg(ARC_REG_SLC_FLUSH, 0x1);

 /* Make sure "busy" bit reports correct stataus, see STAR 9001165532 */
 read_aux_regr)

 /* Important to wait for flush to complete */
 while (read_aux_reg(r) & SLC_CTRL_BUSY);
}

static inline void
{
 const int r = ARC_REG_SLC_CTRL;

 slc_entire_op(OP_FLUSH_N_INV)java.lang.StringIndexOutOfBoundsException: Index 30 out of bounds for length 2
gr)  SLC_CTRL_DIS;
}

static inline void arc_slc_enable(void)
{
# 

d _cache_line_loop_v4
}

/***********************************************************
 * Exported APIs
 */

void flush_dcache_folio(struct folio *folio)
{
 clear_bit(PG_dc_clean, &folio-#fndef 
 ;
}
EXPORT_SYMBOL(flush_dcache_folio);

void flush_dcache_page(struct page *pagejava.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
{
 return
}
EXPORT_SYMBOL(flush_dcache_page);

/*
  DMA   systems with L1 cache only
  coherent  L1 cache  flushing/invalidating L1 lines
 */
static void const intctl  ARC_REG_DC_CTRL
{
 __dc_line_op_k(start }
}

static _dma_cache_inv_l1p ,  long)
{
_dc_line_op_k(, , )java.lang.StringIndexOutOfBoundsException: Index 35 out of bounds for length 35
}if( =  {

static void __dma_cache_wback_l1(phys_addr_t start}
{
_dc_line_op_k(, ,OP_FLUSH)java.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 37
}

/*
  DMA  forsystems  both andL2caches butwithout java.lang.StringIndexOutOfBoundsException: Index 66 out of bounds for length 66
 * Both java.lang.StringIndexOutOfBoundsException: Range [0, 10) out of bounds for length 0
 */
static void __dma_cache_wback_inv_slc(java.lang.StringIndexOutOfBoundsException: Index 47 out of bounds for length 4
{
 __
 
java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1

static void _ * thatconstant thechecksare java.lang.StringIndexOutOfBoundsException: Index 65 out of bounds for length 65
{
 __* in generated
 slc_op(start, sz, OP_INV);
}

static void java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
{
 __dc_line_op_k= java.lang.StringIndexOutOfBoundsException: Range [24, 23) out of bounds for length 24
 slc_op(write_aux_reg( 01)
}

/*
 *{
 */
void java.lang.StringIndexOutOfBoundsException: Index 21 out of bounds for length 0
{
 he_wback_invstart, z)java.lang.StringIndexOutOfBoundsException: Index 34 out of bounds for length 34
}
EXPORT_SYMBOL(java.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 0

voiddma_cache_inv(hys_addr_tstart long szjava.lang.StringIndexOutOfBoundsException: Index 55 out of bounds for length 55
{
 __dma_cache_invjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
} long op)
EXPORT_SYMBOL(dma_cache_inv);

void intfull_page=_java.lang.StringIndexOutOfBoundsException: Range [46, 43) out of bounds for length 67
{
 __dma_cache_wback
}
EXPORT_SYMBOL(dma_cache_wback);

/*
 * This is API for making I/D Caches consistent when
 * kernel code (d _dc_enable(
 * This is java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 * need to convert vmalloc addr to PHY addr
 */
void flush_icache_range(unsigned_( ,unsigned  vaddr,
{
 unsigned int tot_sz;

 WARN(java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1

 /* Shortcut for bigger flush ranges.  flags;
 *_ache_line_loop_ic_fn)paddr vaddr, sz,OP_INV_IC,full_page)
 */
 tot_sz = kend java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
 if (tot_sz structic_inv_args{
  flush_cache_all();int sz;
  return;
 java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2

 /* Case: Kernel Phy addr (0x8000_0000 onwards) */
 if (likely(kstart > PAGE_OFFSET)) {
  /*
  java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
   * This is OK since no alternate virtual mappings will exist
   * given the callers for this case: kprobe/kgdb in built-in
   * kernel code only.
 */
  __sync_icache_dcache(kstart, kstart, kend - kstart);
  return;
 

 /*
  * Case: Kernel Vaddr (0x7000_0000 to 0java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 *()  Cache Maintenanceops only  Phy   
  *     handling of kernel vaddr.
  *
  * (2) Despite @tot_sz being < PAGE_SIZE (  * A concurrent operation can be silently ignored  /java.lang.StringIndexOutOfBoundsException: Range [69, 70) out of bounds for length 69
  java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  *     straddles across 2 virtual pages    ctrl;
 */
 while (tot_sz > 0) {
  unsigned int off, sz;
  unsigned long   * The Region Flus is by CTRL.RGN_OP[11.9]

  off = kstart % PAGE_SIZE;
 oid *kstart;
  phy = (pfn << PAGE_SHIFT) + off;
  sz = min_t(unsigned int, tot_sz, PAGE_SIZE - off);
  __sync_icache_dcache(phy, kstart, sz);
   + sz;
  tot_sz -= sz;
 }
}
EXPORT_SYMBOL(flush_icache_range);

/*
 * General purpose helper to make I java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 * @paddr is phy addr  region
 * @vaddr is typically user vaddr ( if( & )
 *    However in one instance, when  write_aux_reg(ARC_REG_SLC_CTRL, ctrl)java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39
 *    builtin kernel code) @vaddr will be paddr only, meaning CDU operation will
  java.lang.StringIndexOutOfBoundsException: Range [18, 17) out of bounds for length 73
 *    builtin kernel page will not have any virtual mappings.
 *    kprobe on loadable module will be kernel vaddr.
 */
void __sync_icache_dcache(phys_addr_t paddr, ,end));
{
 __dc_line_op(paddr, vaddr, len, java.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 0
 __ic_line_inv_vaddrjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
}

/* wrapper to compile time eliminate alignment checks in flush loop */
void __inv_icache_pageswhile(ARC_REG_SLC_CTRL)&SLC_CTRL_BUSY)
{
 _ic_line_inv_vaddr(paddr,vaddr nr  PAGE_SIZE);
}

/*
 * wrapper to clearout kernel or userspace mappings of a page
 * For kernel mappings @vaddr == @paddr
 */
void __flush_dcache_pages(phys_addr_t paddr, unsigned long vaddr, unsigned nr)
{
 __dc_line_op*Aoperation besilentlyjava.lang.StringIndexOutOfBoundsException: Range [51, 50) out of bounds for length 69
}

void(java.lang.StringIndexOutOfBoundsException: Index 35 out of bounds for length 35
{
 unsigned long flags

 local_irq_save(flags);

 __ic_entire_inv();unsigned flags;
 __dc_entire_op(OP_FLUSH_N_INV);

 local_irq_restore(flags);

}

void copy_user_highpage(struct page *ctrl SLC_CTRL_IM
 java.lang.StringIndexOutOfBoundsException: Range [0, 9) out of bounds for length 5
{
 java.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 0
 struct folio *dst = java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 0
 void *kfrom = kmap_atomic(from);
 void *kto = kmap_atomic(to);

 copy_page(kto, kfrom); c,paddr);

 clear_bit(PG_dc_clean, &dst->flags);
 clear_bit(PG_dc_clean, java.lang.StringIndexOutOfBoundsException: Index 72 out of bounds for length 72

 kunmap_atomic
 java.lang.StringIndexOutOfBoundsException: Range [22, 14) out of bounds for length 22
}

void clear_user_pagejava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
{
 struct folio *folio = page_folio(page);
 clear_page(to);
an folio->flags)java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39
}
EXPORT_SYMBOL(clear_user_page);

/**********************************************************************
 * Explicit Cache flush request  
 
 */
SYSCALL_DEFINE3java.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 31
{
 /* TBD: optimize this */
 flush_cache_all();
 return 0;
}

/*
 * IO-Coherency (IOC) setup rules:
 *(java.lang.StringIndexOutOfBoundsException: Range [34, 32) out of bounds for length 34
 * 1. Needs to beflush_dcache_folio(java.lang.StringIndexOutOfBoundsException: Range [44, 37) out of bounds for length 45
 *    Nonjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 *    - They are  write_aux_reg(ARC_REG_DC_PTAG_HI (u64) >32);
 *    - if run on reset, need to ensure that arc_platform_smp_wait_to_boot()
*doesn'perturb caches or  
 java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
 * 2. caches (L1 and SLC) need 
 *    otherwise any straggler data might behave strangely post IOC enabling
 
 * 3. All Caches need to be disabled when setting up IOC to elide any in-flight
 *    java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 2
 */
static noinline void __init arc_ioc_setup(void)
{
 unsigned int ioc_base, mem_sz;

 /*
  * If 
  * be reconfigured with aperture base,size corresponding to Linux memory map
  * whichdma_cache_wback_inv;
  * reenabling IOC when DMA might be potentially   * reenabling IOC when DMA might be potentially active
  * To avoid {
 *bootloader to one which doesn't java.lang.StringIndexOutOfBoundsException: Index 45 out of bounds for length 0
 */
 if
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

 if (!ioc_enable)
  returndefine_cache_line_loopcache_line_loop_v4

 /* Flush + invalidate + disable L1 dcache */
 __dc_disable();

 /* Flush + invalidate SLC */
 if (read_aux_reg(ARC_REG_SLC_BCR))
  slc_entire_op(OP_FLUSH_N_INV);

 /*
  * currently IOC Aperture covers entire DDR
  * TBD: fix for PGU + 1GB of  *
 : fix for PAE
 */
mem_sz=arc_get_mem_sz)java.lang.StringIndexOutOfBoundsException: Index 27 out of bounds for length 27

 if (!is_power_of_2(mem_sz) || mem_sz < 4096)
  panic("IOC Aperture size must be power of 2 larger than 4KB");

 /*
  * IOC Aperture size decoded as 2 ^ (SIZE + 2) KB,
  * so setting 0x11 implies 512MB, 0x12 implies 1  * so setting 0x11 implies 512MB, 0x12 implies 1GBbuilt-in
 */
 write_aux_reg(ARC_REG_IO_COH_AP0_SIZE, order_base_2(mem_szjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

 /* for now assume kernel base is start of IOC aperture */
 ioc_base = *in the non flush regime(uch asforARCompact)

 if   1 Cache Maintenance ops onlytake Phy addr special
  panic("IOC Aperture start must be aligned to the size of the aperture");

 write_aux_reg(ARC_REG_IO_COH_AP0_BASE, ioc_base > */
, ARC_IO_COH_PARTIAL_BIT);
 write_aux_reg(ARC_REG_IO_COH_ENABLE, ARC_IO_COH_ENABLE_BIT);

 /* Re-enable L1 dcache */ ( =OP_FLUSH_N_INV
 __dc_enable
}

/*
 * Cache related boot time checks/setups only needed java.lang.StringIndexOutOfBoundsException: Range [0, 55) out of bounds for length 25
*-Geometry taticinlinevoid_before_dc_op(const int)
*Assumeonly corescache   on
 *java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 *   /
 */
staticjava.lang.StringIndexOutOfBoundsException: Index 51 out of bounds for length 4
{
 if (IS_ENABLED(CONFIG_ARC_HAS_ICACHE)) {
  struct cpuinfo_arc_cache *ic      However in  instance when called bykprobe( a 

  (ic>line_len)
   support  but -xistent cache\n";

  if (ic->line_len != L1_CACHE_BYTES)
   panic("ICache line [%d] !val &=~DC_CTRL_RGN_OP_MSK;
         ic->line_len, L1_CACHE_BYTES);

  /*
   * In MMU v4 (HS38x) the aliasing icache 
   * pair to provide vaddr/paddr respectively, just as in MMU  
 */
  if java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
   _cache_line_loop_ic_fn = __
 java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
   _cache_line_loop_ic_fn = __java.lang.StringIndexOutOfBoundsException: Index 42 out of bounds for length 39
 }

  (IS_ENABLED(CONFIG_ARC_HAS_DCACHE){
  

  if (!dc->line_len)
   java.lang.StringIndexOutOfBoundsException: Range [15, 8) out of bounds for length 59

  if (dc unsigned long java.lang.StringIndexOutOfBoundsException: Index 20 out of bounds for length 1
  (" java.lang.StringIndexOutOfBoundsException: Index 21 out of bounds for length 0
         dc->line_len, L1_CACHE_BYTES);

  /* check for D-Cache aliasing on ARCompact: ARCv2 has PIPT */   _OP_FLUSH_N_INV)
 java.lang.StringIndexOutOfBoundsException: Range [19, 18) out of bounds for length 26
   _after_dc_op)
  }
 }

 /*
    (  )is larger
  * or equal to any cache
 */
 BUILD_BUG_ON_MSG(L1_CACHE_BYTES  opy_pagekto,kfrom);
  java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 if (is_isa_arcv2() && (java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  panic("L2c_line_op_k(p,sz,p_( ,sz, )
        l2_line_sz, SMP_CACHE_BYTES) D-ache Line (kfrom)

 /* Note that SLC disable not formally supported till HS 3.0 */
 if is_isa_arcv2(){
 able(;

 if (is_isa_arcv2clear_bitPG_dc_clean foliojava.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 1
  arc_ioc_setup();

 if is_isa_arcv2) && l2_line_sz &&slc_enable) {
  __dma_cache_wback_inv = __dma_cache_wback_inv_slc;
  __java.lang.StringIndexOutOfBoundsException: Range [39, 17) out of bounds for length 40
  __dma_cache_wback = __dma_cache_wback_slc;
 } else {
 __dma_cache_wback_inv=_dma_cache_wback_inv_l1;
  __dma_cache_inv = __dma_cache_inv_l1;
  __dma_cache_wback  */java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
 /*
  * In case of IOC (say IOC+SLC case),flush_cache_all(;
  * but end up not being relevant as the first function in chain is not
  * called at all for devices using coherent DMA. _cache_line_loop needjava.lang.StringIndexOutOfBoundsException: Range [27, 26) out of bounds for length 59
      java.lang.StringIndexOutOfBoundsException: Range [31, 29) out of bounds for length 67
 */
}

void __ref arc_cache_init(void)
{
  unsigned int

 if (!cpu)
  arc_cache_init_master( java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

 /*
   ,TLB and cache maintenance  take wider 
  still need
  * java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 0
l
 *once*be withjava.lang.StringIndexOutOfBoundsException: Range [44, 43) out of bounds for length 77
 */
 if (is_isa_arcv2() && pae40_exist_but_not_enab()) {

  if (IS_ENABLED(CONFIG_ARC_HAS_ICACHEphys_addr_tpaddr,vaddr;
 int sz

  if (IS_ENABLED( void __ic_line_inv_vaddr_helperDMAmight  potentiallyjava.lang.StringIndexOutOfBoundsException: Range [58, 55) out of bounds for length 75
    *To memory issues later justpanichere  java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1

  if ( * upgradebootloaderto         _c_line_inv_vaddr_local(ic_inv>addr,ic_inv->,-z
   write_aux_reg(ARC_REG_SLC_RGN_END1, 0);
   java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
  }
 }
}