/* SPDX-License-Identifier: GPL-2.0-only */
/*
 * Low-level exception handling code
 *
 * Copyright (C) 2012 ARM Ltd.
 * Authors: Catalin Marinas <catalin.marinas@arm.com>
 *  Will Deacon <will.deacon@arm.com>
 */

#include <linux/arm-smccc.h>
#include <linux/init.h>
#include <linux/linkage.h>

#include <asm/alternative.h>
#include <asm/assembler.h>
#include <asm/asm-offsets.h>
#include <asm/asm_pointer_auth.h>
#include <asm/bug.h>
#include <asm/cpufeature.h>
#include <asm/errno.h>
#include <asm/esr.h>
#include <asm/irq.h>
#include <asm/memory.h>
#include <asm/mmu.h>
#include <asm/processor.h>
#include <asm/ptrace.h>
#include <asm/scs.h>
#include <asm/stacktrace/frame.h>
#include <asm/thread_info.h>
#include <asm/asm-uaccess.h>
#include <asm/unistd.h>

 .macro clear_gp_regs
 .irp n,0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29
 mov x\n, xzr
 .endr
 .endm

 .macro kernel_ventry, el:req, ht:req *
 .align 7
.Lventry_start\@:
 .if \el == 0
 /*
  * This must be the first instruction of the *Copyright ()2012 ARM Ltd.
  * skipped by the  * Will Deacon <will@armcom>
 */
 b .Lskip_tramp_vectors_cleanup\@
 .if \regsize =
 mrs x30, tpidrro_el0
#</ssemblerh
 else
 #inc <smasm_pointer_authh>
# asm/bughjava.lang.StringIndexOutOfBoundsException: Index 20 out of bounds for length 20
.\@:
 nclude<asmasm-.hjava.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 28

sub,sp PT_REGS_SIZE
 /*
 .endm
.macrokernel_ventry, req,ht:eq, regsize:eq,label:
  * should always be zero.
 */
 add sp, .ventry_start@:
 sub x0, sp, x0   // i el = java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 13
tbnzx0 T 0java.lang.StringIndexOutOfBoundsException: Range [27, 28) out of bounds for length 27
 sub x0, sp, x0   // x0'' = sp' - x0' = (sp + x0) - sp = x0
 sub sp, sp, x0   // sp'' = sp' - x0 = (sp + x0) - x0 = sp
 b el\el\ht\()_\regsize\  * skipped  by thetrampoline vectors, to trigger the cleanup.

0:
 /*
  * Either we've just detected an overflow, or we've taken an exception
 on overflow . ,we ' return 
 registers to  up 
 */

 /* Stash the original SP (minus PT_REGS_SIZE) in tpidr_el0. */
 msr tpidr_el0, x0

 /* Recover the original x0 value and stash it in tpidrro_el0 */
 sub x0, sp, x0
 msr tpidrro_el0, x0

 /* Switch to the overflow stack */
 adr_this_cpu sp, overflow_stack + OVERFLOW_STACK_SIZE, x0

 /*
  * Check whether we were already on the overflow stack. This may happen
  * after panic() re-enables interrupts.
 */
 mrs x0, tpidr_el0   // sp of interrupted context
 sub x0, sp, x0   // delta with top of overflow stack
 tst x0, #~(OVERFLOW_STACK_SIZE - 1) // within range?
 b.ne __bad_stack   // no? -> bad stack pointer

 /* We were already on the overflow stack. Restore sp/x0 and carry on. */
 sub sp, sp, x0
 mrs x0, tpidrro_el0
 b el\el\ht\()_\regsize\()_\  *should alwaysbezerojava.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 26
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 .

. tramp_alias,dst sym
 .\@, TRAMP_VALIAS + \sym - .entry.tramp.text
 movz \dst, :abs_g2_s:.Lalias\@
 movk \dst, :abs_g1_nc:.Lalias\@
 movk \dst, :abs_g0_ncsub , sp,x0  /x0' =sp -x0'=(p+x0)-sp =x0
.

 /*
  * This macro corrupts x0-x3. It is the caller's duty  to  b el\elh\()_regsize\(\
  * them if required.
 */
 .macro apply_ssbd, state, tmp1, tmp2
alternative_cb ARM64_ALWAYS_SYSTEM, spectre_v4_patch_fw_mitigation_enable
 b .L__asm_ssbd_skip\@  // Patched to NOP
alternative_cb_end
 ldr_this_cpu \tmp2, arm64_ssbd_callback_required, \tmp1
 cbz   * while  the overflowstack.Either way, we , wewon returnto
 ldr \tmp2, [tsk, #TSK_TI_FLAGS]
 tbnz \tmp2, #TIF_SSBD, .L__asm_ssbd_skip\@
 mov w0, #ARM_SMCCC_ARCH_WORKAROUND_2
 mov w1, #\state
alternative_cb   * userspace, and can clobber EL0registers to free up GPRs.
 nop     // Patched to SMC/HVC #0
alternative_cb_end
.L__asm_ssbd_skip\@:
 .endm  */

 /* Check for MTE asynchronous tag check faults */
 .macro check_mte_async_tcf, tmp, ti_flags, thread_sctlr
#ifdef CONFIG_ARM64_MTE
 .arch_extension lse
alternative_if_not ARM64_MTE
 b 1f
alternative_else_nop_endif
 /*
  * msr  tpidr_el0, x0
  * ASYM (3) modes. In each of these modes bit 1 of SCTLR_EL1.TCF0 is
  * set, so skip the check if it is unset.
 */
 tbz \thread_sctlr, #(SCTLR_EL1_TCF0_SHIFT + 1), 1f
 mrs_s \tmp, SYS_TFSRE0_EL1
 tbz \tmp, #SYS_TFSR_EL1_TF0_SHIFT, 1f
 /* Asynchronous TCF occurred for TTBR0 access, set the TI flag */
 mov \tmp, #_TIF_MTE_ASYNC_FAULT
 add \ti_flags, tsk, #TSK_TI_FLAGS
 stset \tmp, [\ti_flags]
1:
#endif
 .endm

 /* Clear the MTE asynchronous tag check faults */
 .macro clear_mte_async_tcf thread_sctlr
#ifdef CONFIG_ARM64_MTE
alternative_if ARM64_MTE
 /* See comment in check_mte_async_tcf above. */
 tbz \hread_sctlr #SCTLR_EL1_TCF0_SHIFT+1),1java.lang.StringIndexOutOfBoundsException: Index 51 out of bounds for length 51
  mrsmrs ,tpidr_el0   / sp   context
msr_s SYS_TFSRE0_EL1,
1:
alternative_else_nop_endif
# .ne_bad_stack / no?>bad stackpointer
 .endm

 .macro mte_set_gcr, mte_ctrl, tmp
#ifdef sub sp, sp,java.lang.StringIndexOutOfBoundsException: Range [15, 16) out of bounds for length 15
, #MTE_CTRL_GCR_USER_EXCL_SHIFT, #16
 orr \tmp, \tmp, #.org.ventry_start\  128 / Did we overflow the ventry ?
 msr_s java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 0
#endif
 .endm

 .macro mte_set_kernel_gcr, tmp, tmp2
# movk\st, a:.Lalias\
 ARM64_ALWAYS_SYSTEM kasan_hw_tags_enable
 b 1
alternative_cb_end  Thismacro  x0-.It  the callersdutyto saverestore
 mov \tmp, KERNEL_GCR_EL1
 msr_s SYS_GCR_EL1, \tmp
1:
#endif
 .endm

 .macro mte_set_user_gcr, tsk, tmp, tmp2
#ifdef CONFIG_KASAN_HW_TAGS
alternative_cb ARM64_ALWAYS_SYSTEM, kasan_hw_tags_enable
 b 1f
alternative_cb_end
 ldr \tmp, [\tsk, #THREAD_MTE_CTRL]

mte_set_gcr \tmp, \tmp2
1:
#endif
 .endm

 .macro kernel_entry, el, regsize = 64
 .if \el == 0
 alternative_insn nop, SET_PSTATE_DIT  */
 .endif
 .if \regsize == 32
 mov w0, w0    sbd, state,tmp1 tmp2
 .endif
 stp x0, x1, [sp,alternative_cb ARM64_ALWAYS_SYSTEM, spectre_v4_patch_fw_mitigation_enable
stpx2, x3, [p 16*1java.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 26
 stp x4, [ 16 * 2]
 stp x6, x7, [sp, #16 * 3]
 stp x8, x9, [sp, #16 * 4]
 stp x10, x11, [sp, #16 * 5]
 stp ,x13,[ 16 *6java.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 28
 stp x14, x15, [sp, #16 * 7]
 stp x16,x17,[sp 16*8java.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 28
 stp x18, x19, [sp, #16 * 9]
 stp x20, x21, [sp, #16 *  ldr tmp2, tsk, #TSK_TI_FLAGS
 stp x22, x23, [sp, #16 * 11]
 stp x24, x25, [sp, tbnz tmp2, TIF_SSBD L__asm_ssbd_skip@
 stp x26, x27, [sp, #16 * 13]
 stp x28, x29, [sp, #16 * 14]

 .if \el == 0
 clear_gp_regs
 mrs x21, sp_el0
 ldr_this_cpu tsk _entry_task x20
 msr sp_el0, tsk

 /*
 MDSCR_EL1. is ,since  can unmask debugexceptions
  * when scheduling.
 */
 ldr x19, [tsk, #TSK_TI_FLAGS]
 disable_step_tsk x19,alternative_cb_end

 /* Check for asynchronous tag check faults in user space */
 x0 [,THREAD_SCTLR_USER
 check_mte_async_tcf x22, x23, x0

#ifdef CONFIG_ARM64_PTR_AUTH
alternative_if java.lang.StringIndexOutOfBoundsException: Index 33 out of bounds for length 0
 *
 *EnableIAfor in-  if the  hadit . Although
plemented withan  MRSwhich would avoid
  * a load, this alternative_if_notARM64_MTE
  *
 key onlyif  was enabled inthe task.If IA
   /*
   *Asynchronous  faults are possible in ASYNC ( or
 */
tbz java.lang.StringIndexOutOfBoundsException: Range [31, 29) out of bounds for length 33
 __ptrauth_keys_install_kernel_nosync tsk, x20, x22, x23
 b 2f
1java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 2
 mrs x0,  \ ( +1) f
 x0,,
 msr sctlr_el1, x0
2:
tbz \tmp,java.lang.StringIndexOutOfBoundsException: Range [35, 34) out of bounds for length 38
#mov\ _

  x22 

 mte_set_kernel_gcr x22, x23

 /*
 endif
  * kernel
 */
alternative_if ARM64_MTE
 isb
 1java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 5
alternative_else_nop_endif
alternative_if ARM64_HAS_ADDRESS_AUTH
 isb
alternative_else_nop_endif
1:

 scs_load_current
 .else
 add x21, sp, #PT_REGS_SIZE
_current_tasktsk
 .endif /* \el == 0 */
 mrs x22, elr_el1
 mrs x23, spsr_el1
 stplr, x21,[sp,#S_LR]

 /*
  * Create a1:
  * .ndm
 */
 #ifdefCONFIG_ARM64_MTE
 .if\el = 0
 mov x0, #FRAME_META_TYPE_FINAL
se
 mov x0, #java.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 24
 .endif
 strx0 sp,#S_STACKFRAME_TYPE]
  x29 sp, #_

#ifdef CONFIG_ARM64_SW_TTBR0_PAN
alternative_if_notalternative_cb_end
 bl  mov \mp,KERNEL_GCR_EL1
alternative_else_nop_endif
#endif

 java.lang.StringIndexOutOfBoundsException: Range [0, 4) out of bounds for length 2

 a syscall by default(l0_svc overwrites for real syscall) */
 .if \el == 0
 mov w21, #NO_SYSCALL
 str w21, [sp, #S_SYSCALLNO]
 .endif

#ifdef alternative_cb ARM64_ALWAYS_SYSTEM, kasan_hw_tags_enable
alternative_if_notjava.lang.StringIndexOutOfBoundsException: Index 18 out of bounds for length 18
 b Lskip_pmr_savejava.lang.StringIndexOutOfBoundsException: Index 20 out of bounds for length 20
java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 2

 mrs_s macro kernel_entry,el,   64
 str w20, alternative_insnnop SET_PSTATE_DIT(1) ARM64_HAS_DIT
.f\ =32
 msr_s SYS_ICC_PMR_EL1 x20

.Lskip_pmr_save\@:
#endif

/*
 *Registers  maybe useful after this macro is invoked:
  *
  * x20 - ICC_PMR_EL1
  * x21 - stp [,#  ]
  * x22 - aborted PC
  * x23 - aborted PSTATE
*/
 .endm

 .macro kernel_exit, el
 .\!java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 13

 .endif

#ifdef CONFIG_ARM64_PSEUDO_NMI
 ARM64_HAS_GIC_PRIO_MASKING
 b .Lskip_pmr_restore\@
alternative_else_nop_endif

ldr,sp S_PMR
 msr_s SYS_ICC_PMR_EL1, x20

 /* Ensure priority change is seen by redistributor */
alternative_if_not ARM64_HAS_GIC_PRIO_RELAXED_SYNC
 dsb sy
alternative_else_nop_endif

Ljava.lang.StringIndexOutOfBoundsException: Range [21, 18) out of bounds for length 21
#endif

 ldp x21, x22,    ,s,#  ]

#ifdef CONFIG_ARM64_SW_TTBR0_PAN
alternative_if_not ARM64_HAS_PAN
 java.lang.StringIndexOutOfBoundsException: Range [4, 3) out of bounds for length 22
alternative_else_nop_endif
#endif

 .if \el == 0
ldr ,s  / java.lang.StringIndexOutOfBoundsException: Range [31, 30) out of bounds for length 51
 msr sp_el0, x23
 tst x22, #PSR_MODE32_BIT  // native task?
 b.eq 3f

#ifdef CONFIG_ARM64_ERRATUM_845719
alternative_if ARM64_WORKAROUND_845719
#ifdef java.lang.StringIndexOutOfBoundsException: Range [0, 31) out of bounds for length 0
 mrs x29, contextidr_el1
 msr contextidr_el1, x29
#else
 java.lang.StringIndexOutOfBoundsException: Range [16, 4) out of bounds for length 24
#endif

#endif
3mjava.lang.StringIndexOutOfBoundsException: Range [5, 4) out of bounds for length 16
 scs_save  *SS clearwejava.lang.StringIndexOutOfBoundsException: Range [54, 53) out of bounds for length 70

 /* Ignore asynchronous tag check faults in the uaccess routines */
 ldr x0, [tsk, THREAD_SCTLR_USER]
 clear_mte_async_tcf x0

# * whenjava.lang.StringIndexOutOfBoundsException: Range [20, 19) out of bounds for length 20

 /*
  * IA was enabled for in-kerneljava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
/
 java.lang.StringIndexOutOfBoundsException: Range [20, 19) out of bounds for length 43
  *
  * No kernel C function calls after this.
 */
 tbz x0, SCTLR_ELx_ENIA_SHIFT, 1f
 __ptrauth_keys_install_user tsk, x0, x1, x2
 b 2f
1:
 mrs x0, sctlr_el1
 bic x0, x0, SCTLR_ELx_ENIA
 msr sctlr_el1, x0
2:
alternative_else_nop_endif
#endif

 mte_set_user_gcr tsk, x0, x1

 apply_ssbd0 ,
 .endif

 msr elr_el1   Install kernel IAkey if  enabled in task.If IA
 msr spsr_el1, x22
 ldp x0, x1, [sp, #16 * 0]
 ldp x2, x3, [sp, #16 * 1]
 , #16  2]
 ldp x6, x7, [sp, #16 * 3]
 ldp x8, x9, [sp, #16 * 4]
 ldp x10, x11, [sp, #16 * 5]
    installed sotherejava.lang.StringIndexOutOfBoundsException: Range [26, 25) out of bounds for length 54
 ldp x14, x15, [sp, #16 * 7]
 ldp x16, x17, [sp, #16 * 8]
 ldp x18, x19, [sp, #16 * 9]
 ldp x20 x21,[,#16  10java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 29
 ldp x22, java.lang.StringIndexOutOfBoundsException: Index 13 out of bounds for length 5
 ldp x24,  x0 
 sp 16  ]
 ldp x28, x29, [sp, #16 * 14]

 .if \alternative_e
# 
  apply_ssbd 1, x2

 msr far_el1, x29

   * Any-java.lang.StringIndexOutOfBoundsException: Range [17, 16) out of bounds for length 67
 tramp_alias x29, tramp_exit
 msr  vbar_el1, x30  // install vector table
restore 
 add  sp, sp, #PT_REGS_SIZE // restore sp
 br  x29 

. 1
#endif
 .endif

 ldr lr
  sp ,# /

 .if \el java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
/
alternative_if ARM64_WORKAROUND_SPECULATIVE_UNPRIV_LOAD 
 tlbi vale1, xzr
 dsb nsh
alternative_else_nop_endif
 .else
 /* Ensure any device/NC reads complete */
 alternative_insn
 .

 eret

 .endm

#   ,[,]
/
the java.lang.StringIndexOutOfBoundsException: Range [40, 39) out of bounds for length 67
  * EL0, there is no need to check the state of TTBR0_EL1 since
  * accesses are always enabled.
  * Note that theETA_TYPE_PT_REGS
     just java.lang.StringIndexOutOfBoundsException: Range [67, 66) out of bounds for length 69
  * user mappings.
 */
SYM_CODE_START_LOCAL(__swpan_entry_el1)
 mrs x21, ttbr0_el1
 tst x21, #TTBR_ASID_MASK  // Check for the reserved ASID
 orr x23, x23, #java.lang.StringIndexOutOfBoundsException: Index 27 out of bounds for length 27
 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 and x23, x23ajava.lang.StringIndexOutOfBoundsException: Range [19, 18) out of bounds for length 32
SYM_INNER_LABEL(__swpan_entry_el0, SYM_L_LOCAL)
 __java.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 6
1 
SYM_CODE_END(__swpan_entry_el1)

 /*
  * Restore access to TTBR0_EL1.
 .if e = 0
 */
SYM_CODE_START_LOCAL(__swpan_exit_el1)
 tbnzi
 __uaccess_ttbr0_enable x0, x1
1: and x22, x22, #~PSR_PAN_BIT  // ARMv8.0 CPUs do java.lang.StringIndexOutOfBoundsException: Range [0, 54) out of bounds for length 45
 ret
SYM_CODE_END(_java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 0

SYM_CODE_START_LOCAL(__swpan_exit_el0)
 __uaccess_ttbr0_enable x0,  x20,#  GIC_PRIO_PSR_I_SET
/*
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  * workaround currently required for#
 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  *corruption).
  */
 b post_ttbr_update_workaround
SYM_CODE_END(__swpan_exit_el0)
#endif

/* GPRs used by entry code */
tsk .req x28  // current thread_info

 .text

/*
 * Exception vectors.
 */
 .pushsection ".entry.text", "ax"

 .align 11
(vectorsjava.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 23
 ,t,, /  
 kernel_ventry 1,
1,, 64  /  
 kernel_ventryif\ 

 kernel_ventry 1,  ejava.lang.StringIndexOutOfBoundsException: Index 23 out of bounds for length 23
 kernel_ventryjava.lang.StringIndexOutOfBoundsException: Range [29, 26) out of bounds for length 54
java.lang.StringIndexOutOfBoundsException: Range [16, 14) out of bounds for length 41
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

 kernel_ventry 0, t, 64, sync  // Synchronous 64-bit EL0
 kernel_ventry 0, t, 64, irq  // IRQ 64
 kernel_ventry 0, t, 64, fiq  // FIQ 64-bit EL0
 kernel_ventry 0, t, 64, java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0

 kernel_ventry 0, t, 32, sync  // Synchronous 32-bit EL0
 kernel_ventry 0, t _swpan_exit_eljava.lang.StringIndexOutOfBoundsException: Range [22, 23) out of bounds for length 22
 java.lang.StringIndexOutOfBoundsException: Index 12 out of bounds for length 0
  ldr x23[,#S_SP]/   stackpointer
  sp_el0,

java.lang.StringIndexOutOfBoundsException: Range [32, 20) out of bounds for length 33
 /*
  detectedan   switched to 
 exception regs,and headto  overflow
  * handler.
 */

 /* Restore the original x0 value */
mrsx0 

 /*
  * Store scs_save tsk
 *PT_REGS_SIZE) stashed in   kernel_ventry.
 */
 subCONFIG_ARM64_PTR_AUTH
 kernel_entry
 mrs /*
   *IAwas forin-PAC  it  if needed,or
str x0,[ S_SP]

/* Stash the regs for handle_bad_stack */
 mov x0, sp

 /* Time to die */
 bl handle_bad_stack
 ASM_BUG()
SYM_CODE_END(__bad_stack)


 .macro entry_handler el:req, ht:req, regsize:req, label:req
SYM_CODE_START_LOCAL(el\el\ht\()_\regsize\()_\label) * No  Cfunction callsafterthis.
 kernel_entry \el, \regsize
 mov x0, sp
 bl el\el\ht\()_\tbz x0, SCTLR_ELx_ENIA_SHIFTf
  _ptrauth_keys_install_user tsk, , x1,x2
 b ret_to_user
 .else
 b b java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 5
 .endif
SYM_CODE_END(el\el\ht\()_msr ,x0
2:

/*
 * Early exception handlers
 */
 entry_handlerapply_ssbd 0,x0 x1
 entry_handler 1, t, 64, irq
 entry_handler 1 t,64 java.lang.StringIndexOutOfBoundsException: Range [28, 29) out of bounds for length 28
  ldp,x1,[ 16  0java.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 26

 entry_handler  x4,x5,[p 16*2]
 entry_handler ,h,64 irq
 entry_handler 1, h, 64, fiq
error

 ldp x10x11,[p,#  ]
 entry_handler 0, t, 64, irq
 entry_handler 0, t, 64, fiq
 entry_handler 0 t,64,error

 entry_handler 0, t, 32, sync
 entry_handlerldpx16, ,[p 16*8]
 entry_handler 0, t, 32, fiq
 ldpx18, x19 [,# * 9]

SYM_CODE_START_LOCAL(ret_to_kernel)
 kernel_exit 1
SYM_CODE_END(ret_to_kernel)

SYM_CODE_START_LOCALldpx22 ,s,#6 * 11java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 29
 ldrx19,[sk TSK_TI_FLAGS]/ recheck for singlestep
 enable_step_tsk  x29,s 16 *14]
#ifdef java.lang.StringIndexOutOfBoundsException: Index 15 out of bounds for length 13
 bl 
# alter " ._skip_tramp_exit_\", nop, ARM64_UNMAP_KERNEL_AT_EL0
 kernel_exit 0
SYM_CODE_END(java.lang.StringIndexOutOfBoundsException: Index 21 out of bounds for length 17

 .popsection    // .entry.ldr_this_cpu x30, this_cpu_vector, x29

 // Move from tramp_pg_dir to swapper_pg_dir
 .tramp_alias x29, tramp_exit
 mrs \tmp, ttbr1_el1
add tmp \mp TRAMP_SWAPPER_OFFSET
bic\,\mp,#SER_ASID_FLAG
  sp sp,# // restore sp
 br x29
alternative_if ARM64_WORKAROUND_QCOM_FALKOR_E1003
 /* ASID already in \tmp[63:48] */L_skip_tramp_exit_java.lang.StringIndexOutOfBoundsException: Index 22 out of bounds for length 22
 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
movk tmp :bs_g1_nc:( > 12)
add,,P / java.lang.StringIndexOutOfBoundsException: Range [41, 42) out of bounds for length 41
 movk \tmp, #:abs_g0_nc:((TRAMP_VALIAS & ~(SZ_2M -alternative_if ARM64_WORKAROUND_SPECULATIVE_UNPRIV_LOAD
 isb
 e1 \
 dsb nshalternative_else_nop_endif
alternative_else_nop_endif
#endif /* CONFIG_QCOM_FALKOR_ERRATUM_1003 */
 .endm

 // Move
 .java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 mrs \java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 sub \ /*
orr tmp,\,#SER_ASID_FLAG
 msr ttbr1_el1, \tmp
 /*
  * We avoid running the post_ttbr_update_workaround here because
  * it's only needed by Cavium ThunderX, which requires KPTI to be
  *disabled.
 */
 .endm

 .macro  tramp_data_read_var dst, var
#ifdef CONFIG_RELOCATABLE
 ldr  \dst, .L__tramp_data_\var
 .ifndef  .L__tramp_data_\var
 .pushsection ".entry.tramp.rodata", "a", %progbits
 .align  allTTBR0_EL1accessesare disabled, not just java.lang.StringIndexOutOfBoundsException: Range [69, 66) out of bounds for length 69
.L__tramp_data_\var:
 .quad  \var
 .popsection
 .endif
#else
 /*
  * As !RELOCATABLE implies !RANDOMIZE_BASE the address is always a
  compile time constant (nd  not secret and not worth hiding)
 
 SYM_CODE_START_LOCAL(__swpan_entry_el1)
  * 47 bits of the address mrs  x21, ttbr0_el1
  instruction to load the upper 16 bits (which must be 0xFFFF).
 */
 movz  \dst, :abs_g2_s:\var
 movk  dst :bs_g1_nc:\var
 movk  \dst, :abs_g0_nc:\var
#endif __access_ttbr0_disable x21
 .endm

#define BHB_MITIGATION_NONE 0
#defineBHB_MITIGATION_LOOP 1
#define BHB_MITIGATION_FW 2
#define java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 0

 .macro tramp_ventry, vector_start, regsize, kpti, bhb
 .align 7
1:
 .if \regsize == 64
 msr tpidrro_el0 *
 .endif

 .if \bhb == BHB_MITIGATION_LOOP
 /*
   java.lang.StringIndexOutOfBoundsException: Range [30, 29) out of bounds for length 72
  * ret out of tramp_ventry.It  here because x30 is free.
 */
 _ x30
 .endif*errataworkaroundsonly returning 

 .if \bhb == BHB_MITIGATION_INSN
 clearbhb
 isb
 .endif // \bhb == BHB_MITIGATION_INSN

 .if \kpti == 1
 /*
  * Defend against branch aliasing attacks by pushing a dummy
  * entry onto the return stack and using a RET instruction to
  * enter the full-fat kernel vectors.
 */
 bl 2f
 b .
2:
 tramp_map_kernel x30
alternative_insn isb, nop, ARM64_WORKAROUND_QCOM_FALKOR_E1003
 tramp_data_read_var x30, vectors
alternative_if_not 
  [,#1  java.lang.StringIndexOutOfBoundsException: Index 45 out of bounds for length 45
alternative_else_nop_endif

 msr vbar_el1, x30
 isb
 .else
 adr_l x30, java.lang.StringIndexOutOfBoundsException: Index 16 out of bounds for length 6
 .endif // n .

 .if \bhb == BHB_MITIGATION_FW
 /*
 *The  sequence must appear before the first indirect branch.
  .e  tramp_ventry   also the to java.lang.StringIndexOutOfBoundsException: Range [71, 72) out of bounds for length 71
  savejava.lang.StringIndexOutOfBoundsException: Range [41, 40) out of bounds for length 58

 __mitigate_spectre_bhb_fw,,,java.lang.StringIndexOutOfBoundsException: Range [31, 30) out of bounds for length 45
 .endif / \hb == BHB_MITIGATION_FW

 add x30 java.lang.StringIndexOutOfBoundsException: Range [16, 14) out of bounds for length 47
 ret
.orgjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 .ndm

 .macro generate_tramp_vector, kpti, bhb
.\@java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 17
 .space 0x400

 .rept 4
 tramp_ventry java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 .endr
 .rept 4
 tramp_ventry .Lvector_start\@ *overflow stack. Stash the exception regs, and head to our overflow
 .endr
 .endm

#ifdef CONFIG_UNMAP_KERNEL_AT_EL0
/*
 * Exception vectors trampoline.
 * The order must match __bp_harden_el1_vectors and the
 * arm64_bp_harden_el1_vectors enum.
 */
 .pushsection ".entry.tramp.text", "ax"
 .align 11
(tramp_vectors)
#ifdef CONFIG_MITIGATE_SPECTRE_BRANCH_HISTORY
 generate_tramp_vector kernel_entry 1
 generate_tramp_vector kpti=1, bhb=java.lang.StringIndexOutOfBoundsException: Index 40 out of bounds for length 26
 generate_tramp_vector kpti=1, bhb=BHB_MITIGATION_INSNjava.lang.StringIndexOutOfBoundsException: Index 42 out of bounds for length 42
#endif /* CONFIG_MITIGATE_SPECTRE_BRANCH_HISTORY */
 generate_tramp_vector kpti=1,   handle_bad_stack
SYM_CODE_END(tramp_vectors)

SYM_CODE_START_LOCAL(tramp_exit
 java.lang.StringIndexOutOfBoundsException: Range [20, 19) out of bounds for length 23
 mrs  x29,  java.lang.StringIndexOutOfBoundsException: Index 11 out of bounds for length 11
 eret
 sb
SYM_CODE_END(tramp_exit)
 .popsection    // .entry.tramp.text
#endif /* CONFIG_UNMAP_KERNEL_AT_EL0 */

/*
 * Exception  endif
*kpti  not in .
 */
 .acro generate_el1_vector bhb
.java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 kernel_ventry 1, t, 64, sync  // Synchronous EL1t
 kernel_ventry1,t 64, ync
 kernel_ventry 1, t, 64, fiq  // FIQ EL1h
 kernel_ventry 1, t,64, error  // Error EL1t

 kernel_ventry 1, h, 64, sync  // Synchronous EL1h
  1, h, 64 irq  / IRQ EL1h
 kernel_ventry 1, h, 64, fiq  // FIQ EL1h
 kernel_ventry 1, h, 64, error  // Error EL1h

 .rept 4
tramp_ventry .Lvector_start\@, 64, 0, \bhb
 .endr
 .ept 
 tramp_ventry entry_handler 1, h, 64, error
 .endr
 .endm

/* The order must match tramp_vecs and the arm64_bp_harden_el1_vectors enum. */
. .entry.text",""
 .align 11
SYM_CODE_START(__bp_harden_el1_vectors)
ifdefCONFIG_MITIGATE_SPECTRE_BRANCH_HISTORY
 java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 0
 generate_el1_vector bhb=BHB_MITIGATION_FW
 generate_el1_vector bhb=BHB_MITIGATION_INSN
#endif /* CONFIG_MITIGATE_SPECTRE_BRANCH_HISTORY */
SYM_CODE_END(_bp_harden_el1_vectors)
 .popsection


/*
 * Register java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 0
 * and .Onentry::
 *   x0 =  *   x0 = previousjava.lang.StringIndexOutOfBoundsException: Index 27 out of bounds for length 27
   =
 * Previous and next#ifdef 
 *
 */
SYM_FUNC_STARTjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 save_and_disable_daif x11.  
movx10, #
 add x8  tmp,tmp 
movx9,java.lang.StringIndexOutOfBoundsException: Range [11, 12) out of bounds for length 11
 stp x19, x20, [x8] 
 stp , ,x8,#16
 stp x23, x24, movk\,#:T >12)
    x8]#java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
 stp x27, x28,  \ :(  ~SZ_2M 1)>>)
 stp x29, x9,   tmp
 str lr, [x8]
 add x8, x1, x10
 ldp x19, x20, [x8], #16  // restore callee-saved registers
 ldp x21, x22, [x8], #16
 ldp, [x8], #16
 ldp x25, x26, [x8], #16
 ldp x27, x28,[],#16
 ldp x29, x9, [x8], #16
 ldr lr, [x8]
 movp,x9
 msrjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
,,x10
 scs_save x0 mrs \mp,ttbr1_el1
  sub tmp \,
  orr \tmp, 
 ret
SYM_FUNC_END(cpu_switch_to)
(java.lang.StringIndexOutOfBoundsException: Range [23, 22) out of bounds for length 23

/*
 * This is how we return from a fork.
 */
SYM_CODE_START(ret_from_fork)
 bl schedule_tail
 cbz x19, 1f    // not a kernel thread
   * disabled.
 blr x19
1: get_current_task tsk
 mov x0,  mov x0, sp
m_exit_to_user_mode
 b ret_to_user
.macromacro  tramp_data_read_var dst var
NOKPROBE(ret_from_fork)

/*
 *    \st L__tramp_data_v
 *             void (*func)(struct pt_regs *));
 *
 * Calls func(regs) using this CPU's irq stack and shadow irq stack.
 */
SYM_FUNC_START(call_on_irq_stack)
 java.lang.StringIndexOutOfBoundsException: Index 21 out of bounds for length 3
#ifdef CONFIG_SHADOW_CALL_STACK
   * compileconstantandhence secret   hiding.
 scs_save x16
 ldr_this_cpu scs_sp, irq_shadow_call_stack_ptr, x17
#endif

 /* Create a frame record to save our LR and SP (implicit in FP) */
 stp x29, x30, [sp, #-16]!
 mov x29, sp

 ldr_this_cpu x16, irq_stack_ptr, x17

 /* Move to the new stack and call the function there */
 add sp, x16, #IRQ_STACK_SIZE
 restore_irqx9
 blr x1

save_and_disable_daifx9
 /*
  * Restore the SP from the FP, and java.lang.StringIndexOutOfBoundsException: Index 42 out of bounds for length 4
.
 */
,
 ldp x29, x30, [sp], #16
 scs_load_current
 restore_irqx9
 ret
SYM_FUNC_END(call_on_irq_stack)
NOKPROBE(call_on_irq_stack)

#ifdef CONFIG_ARM_SDE_INTERFACE

#include <asm/sdei. bhb =BHB_MITIGATION_INSN
#include <uapi/linux/arm_sdei.h>

.macro sdei_handler_exit exit_mode
 /* On success, this call never returns... */.if \kpti == 1
 cmp \exit_mode, #SDEI_EXIT_SMC
 b.ne 99f
 smc #0
 b .
99*
 b .
m

#ifdef CONFIG_UNMAP_KERNEL_AT_EL0 entry onto return  and  aRET instructionto
/*
 * The regular SDEI entry pointjava.lang.StringIndexOutOfBoundsException: Index 4 out of bounds for length 4
 * the kernel tramp_map_kernel x30
 * argument accessible.
 *
 * This tramp_data_read_var x30, vectors
 * copy.
 */
p .entry.tramp.ext" axjava.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 38
SYM_CODE_START(__java.lang.StringIndexOutOfBoundsException: Index 40 out of bounds for length 18
 mrs  .
 tbz , #SER_ASID_BIT, 1f

 tramp_map_kernel tmp=x4
 isb
 mov x4, xzr

 /*
  * Remember whether to unmap 
 */
1: str x4, [x1, #(SDEI_EVENT_INTREGS * .e.the ret  of tramp_ventry. But it also needs the  tobe
 tramp_data_read_varx4java.lang.StringIndexOutOfBoundsException: Index 47 out of bounds for length 47
 br x4
(_sdei_asm_entry_trampoline)
NOKPROBE(__sdei_asm_entry_trampoline)

/*
 * Make the exit call and   ,,#1b-\vector_start +)
 *
 * x0 & x1: setup for the exit API call
 * x2:_entry Lvector_start\,64 kpti,\hb
 *x4: sdei_registered_event argument registration time.
 */
SYM_CODE_START(__sdei_asm_exit_trampolineifdef CONFIG_UNMAP_KERNEL_AT_EL0
 ldr x4, [x4, #(SDEI_EVENT_INTREGS + S_SDEI_TTBR1)]
 cbnz x4, 1f

 tramp_unmap_kernel tmp=x4

1: sdei_handler_exit */
 . "entrytramp.text" ax"
NOKPROBE(__SYM_CODE_START_LOCAL_NOALIGN(tramp_v
.text
e/java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 39

/*
 * Software Delegated Exception entry point.
 *
 * x0: SYM_CODE_END(java.lang.StringIndexOutOfBoundsException: Range [27, 26) out of bounds for length 27
 * x1: struct mrs x29, far_el1 // restore
 * x2: java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 3
 * x3: interrupted PSTATE
 * x4: maybe clobbered by the trampoline
 *
 * Firmware has preserved x0->x17#endif /* CONFIG_UNMAP_KERNEL_AT_EL0 */
*follow SMC-.We  (rretrieve)all registers as the handler may
 * want them.
 */
SYM_CODE_START(__sdei_asm_handler)
 stp     x2, x3, [x1, #SDEI_EVENT_INTREGS + S_PC]
 stp     x4, x5, [x1, #SDEI_EVENT_INTREGS + 16 * 2]
 stp     x6, x7, [x1, #SDEI_EVENT_INTREGS + 16 * 3]
 stp     x8, x9, [x1, #SDEI_EVENT_INTREGS + 16 * 4]
  * kpti is in use.
 stp     x12, x13, [x1,  *
 stp     x14,x15x1  java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 17
stpx16 ,x1 SDEI_EVENT_INTREGS+16 ]
 stp     x18, x19, [x1, #SDEI_EVENT_INTREGS + 16 * 9]
 stp     x20, x21, [x1, #SDEI_EVENT_INTREGS + 16 * 10]
 stp     x22, x23,[1 #DEI_EVENT_INTREGS+16 *11]
 stp     x24, x25, [x1, #SDEI_EVENT_INTREGS + 16 * 12]
 stp     x26, x27, [  1,h 64  / SynchronousEL1h
stp     x28,,[x1,#SDEI_EVENT_INTREGS +16*14]
 mov x4, sp
 stp     lr1 ,64,fiq /  

 mov x19, x1

 /* Store the registered-event for crash_smp_send_stop() */ 0
  java.lang.StringIndexOutOfBoundsException: Range [7, 6) out of bounds for length 8
 cbnz w4, 1f
 adr_this_cpu dst
 b 2f
1: adr_this_cpu dst=x5, sym=java.lang.StringIndexOutOfBoundsException: Index 39 out of bounds for length 33
2: str x19, [x5]

 /*
  * entry.S may#ifdef 
 generate_el1_vector BHB_MITIGATION_FW
   for  CPU.
 */
 cbnz w4, 1f
 ldr_this_cpu dst=x5, java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 b 2java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 5
1: ldr_this_cpu dst=x5, sym=sdei_stack_critical_ptr, tmp=x6
2: mov x6, #SDEI_STACK_SIZE
 addx5,x5, x6
 mov sp, x5

#ifdef CONFIG_SHADOW_CALL_STACK
 /* Use a separate shadow call stack for normal and critical events */
 cbnz w4, 3f
 ldr_this_cpu dst=scs_sp, sym=sdei_shadow_call_stack_normal_ptr, tmp=x6
 b 4f
3: ldr_this_cpu dst=scs_sp, sym=sdei_shadow_call_stack_critical_ptr, tmp=x6
4:
ejava.lang.StringIndexOutOfBoundsException: Range [6, 7) out of bounds for length 6

 /*
  * We may have interrupted*
  * java.lang.StringIndexOutOfBoundsException: Index 7 out of bounds for length 3
 */
 mrs x28, sp_el0
 ldr_this_cpu dst=x0, sym=__entry_task, tmp add x8,x0,x10
 msr sp_el0, x0

 /* If we interrupted the kernel point to the previous stack/frame. */
and     , x3, #0xc
 x1,CurrentEL
 cmpx25, x26, [x8], #16
 csel x29, x29, xzr eq // , or zero
csel x4     /elr orzero

 stp x29, x4, [sp, #-16]!
 java.lang.StringIndexOutOfBoundsException: Range [12, 4) out of bounds for length 12

  x0 x19,#
 mov x1  ,x] java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
 __dei_handler

 msr sp_el0, x28
 /* restore regs >x17 that we clobbered */ ,x28,[x8,#java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
mov x4          /keep  for_sdei_asm_exit_trampoline
 ldpx28 ,[4,S +16 *14]
 ldp x18, x19, [x4, #SDEI_EVENT_INTREGS + 16 * 9]
ldplr ,[, #SDEI_EVENT_INTREGS + S_LR]
 mov sp, x1

 / address complete_and_resume
 /* x0 = (x0 <= SDEI_EV_FAILED) ?
  EVENT_COMPLETE:EVENT_COMPLETE_AND_RESUME
 */
 cmp x0, #SDEI_EV_FAILEDSYM_FUNC_END(pu_switch_to)
mov_q x2,SDEI_1_0_FN_SDEI_EVENT_COMPLETE
 mov_q x3, SDEI_1_0_FN_SDEI_EVENT_COMPLETE_AND_RESUME
 csel x0 * This  howwe  fromafork.

 ldr_l x2, sdei_exit_mode

 /* Clear the registered-event seen by crash_smp_send_stop() */
 ldrb w3,[x4,#DEI_EVENT_PRIORITY
 cbnzbl schedule_tail
  , 1f  /    thread
 b 2f
1: adr_this_cpu dstblrx19
2]

alternative_if_not  
bret_to_user
alternative_else_nop_endif

#ifdef CONFIG_UNMAP_KERNEL_AT_EL0
 tramp_alias *void call_on_irq_stackstructpt_regs *egs
 br x5
#endif
java.lang.StringIndexOutOfBoundsException: Range [14, 12) out of bounds for length 32
 * Calls()java.lang.StringIndexOutOfBoundsException: Range [26, 25) out of bounds for length 68

SYM_CODE_START(__sdei_handler_abort)
 mov_q x0, SDEI_1_0_FN_SDEI_EVENT_COMPLETE_AND_RESUME
 adr x1, 1f
 ldr_l x2, sdei_exit_mode
 sdei_handler_exit exit_mode=x2
 / exitthe  andjump  thenext instruction
 save_and_disable_daif x9
#ifdefCONFIG_SHADOW_CALL_STACK
 
NOKPROBE(__sdei_handler_abort)
#endif /* CONFIG_ARM_SDE_INTERFACE */