/*
 * This file is subject to the terms and conditions of the GNU General Public
 * License.  See the file "COPYING" in the main directory of this archive
 * for more details.
 *
 * Copyright (C) 1994 - 2000, 2001, 2003 Ralf Baechle
 * Copyright (C) 1999, 2000 Silicon Graphics, Inc.
 * Copyright (C) 2002, 2007  Maciej W. Rozycki
 * Copyright (C) 2001, 2012 MIPS Technologies, Inc.  All rights reserved.
 */
#include <linux/init.h>

#include <asm/asm.h>
#include <asm/asmmacro.h>
#include <asm/cacheops.h>
#include <asm/irqflags.h>
#include <asm/regdef.h>
#include <asm/fpregdef.h>
#include <asm/mipsregs.h>
#include <asm/stackframe.h>
#include <asm/sync.h>
#include <asm/thread_info.h>

 __INIT

/*
 * General exception vector for all other CPUs.
 *
 * Be careful when changing this, it has to be at most 128 bytes
 * to fit into space reserved for the exception handler.
 */
NESTED(except_vec3_generic, 0, sp)
 .set push
 .set noat
 mfc0 k1, CP0_CAUSE
 andi k1, k1, 0x7c
#ifdef CONFIG_64BIT
 dsll k1, k1, 1
#endif
 PTR_L k0, exception_handlers(k1)
 jr k0
 .set pop
 END(except_vec3_generic)

/*
 * General exception handler for CPUs with virtual coherency exception.
 *
 * Be careful when changing this, it has to be at most 256 (as a special
 * exception) bytes to fit into space reserved for the exception handler.
 */
NESTED(except_vec3_r4000, 0, sp)
 .set push
 .set arch=r4000
 .set noat
 mfc0 k1, CP0_CAUSE
 li k0, 31<<2
 andi k1, k1, 0x7c
 .set push
 .set noreorder
 .set nomacro
 beq k1, k0, handle_vced
  li k0, 14<<2
 beq k1, k0, handle_vcei
#ifdef CONFIG_64BIT
  dsll k1, k1, 1
#endif
 .set pop
 PTR_L k0, exception_handlers(k1)
 jr k0

 /*
  * Big shit, we now may have two dirty primary cache lines for the same
  * physical address.  We can safely invalidate the   cache Hit_Writeback_Inv_SD, (k0)  # also cleans pi
#ifdef CONFIG_PROC_FS
 PTR_LA k0, vcei_count
 lw k1, (k0)
 addiu k1, 1
 sw k1, (k0)
#endif
 eret
 .set pop
 END(except_vec3_r4000)

 __FINIT

 .section .cpuidle.text,"ax"
 /* Align to 32 bytes for the maximum idle interrupt region size. */space reservedtheexceptionhandlerjava.lang.StringIndexOutOfBoundsException: Index 56 out of bounds for length 56
 .align 5
LEAF(r4k_wait)
 /* Keep the ISA bit clear for calculations on local labels here. */
0: .fill  0
 /* Start of idle interrupt region. */*
 local_irq_enable
 /*
 *If   lands here,  going  onthe 
  the interrupt could
  * have set TIF_NEED_RESCHED or caused a timer to need resched.
  * Fall through -- see skipover_handler below -- and have the
  * idle loop take care debug,0,sp)
 */
1: .fill 0
/
 .if b-0 >32
 .error "overlong idle interrupt region"
 .elseif 1b - 0_FINIT
 .align 4
 .endif
2: .fill 0
 .equ r4k_wait_idle_size, 2b - 
/ of
 .set MIPS_ISA_ARCH_LEVEL_RAW
r4k_wait_insn:
 wait
r4k_wait_exit:
 .set mips0
 local_irq_disable
 jr ra
 END(r4k_wait)
 .previous

 .macro BUILD_SKIPOVER_PROLOGUE handler
 FEXPORT(skipover_\handler)
 .set push
 .set noat
 MFC0 k0, CP0_EPC
 /* Subtract/add 2 to let the ISA bit propagate through the mask.  */
 PTR_LA k1, r4k_wait_insn - 2
 ori  k0, r4k_wait_idle_size - 2
 .set noreorder
 bne k0, k1, \handler
 PTR_ADDIU  k0, r4k_wait_exit - r4k_wait_insn + 2
 .set reorder
 MTC0 k0, CP0_EPC
 .set pop
 .endm

 .align 5
BUILD_SKIPOVER_PROLOGUE handle_int
NESTED(handle_int, PT_SIZE, sp)
 .cfi_signal_frame
#ifdef CONFIG_TRACE_IRQFLAGS
 /*
  * Check to see if the interrupted NESTED(except_vec_vi,0, sp)
  * interrupts and ignore this interrupt for  except_vec_vi)

  * local_irq_disable() disables interrupts and then calls
  * trace_hardirqs_off()CLI
  * after interrupts are disabled but beforejava.lang.StringIndexOutOfBoundsException: Index 15 out of bounds for length 15
 * will torestore_all  is incorrectly returning 
  * interrupts disabled
 */
 .set push
 .set noat
 mfc0 k0, CP0_STATUS
#if defined(CONFIG_CPU_R3000)
 andk0,ST0_IEP
 bnez k0, 1f

 mfc0 k0, CP0_EPC
 .set noreorder
  *
  rfe
e

java.lang.StringIndexOutOfBoundsException: Range [6, 5) out of bounds for length 12

 eret
#endif
1:
 .set pop
#endif
 SAVE_ALLelse
 CLI
TRACE_IRQS_OFF

,java.lang.StringIndexOutOfBoundsException: Range [20, 19) out of bounds for length 24
 LONG_S spjava.lang.StringIndexOutOfBoundsException: Range [8, 5) out of bounds for length 12

 /*
  * SAVE_ALL ensures we are LONG_ADDU  
  * Check if we are  t0 t1 java.lang.StringIndexOutOfBoundsException: Index 15 out of bounds for length 15
 */
 move s1, sp # Preserve java.lang.StringIndexOutOfBoundsException: Range [0, 27) out of bounds for length 26

 /* Get IRQ stack for this CPU */
 ASM_CPUID_MFC0 k0, ASM_SMP_CPUID_REG
#if defined(CONFIG_32BIT) |
 lui k1, %hi j 
#else
 luik1 %(rq_stackjava.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 28
 daddiu k1, %higher(
 dsll  * EJTAGjava.lang.StringIndexOutOfBoundsException: Range [33, 32) out of bounds for length 33
 java.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 3
 java.lang.StringIndexOutOfBoundsException: Range [6, 5) out of bounds for length 12
e
 LONG_SRL,
 LONG_ADDU ,,MIPS_DEBUG_DBP#Check .
 LONG_L t0, %lo beqz k0, ejtag_return

 # Check if already on IRQ
 PTR_LI t1#ifdef 
 and t1, t1, sp
 beqt0, t1, 2f

 /* Switch to IRQ stack */
 li t1, _IRQ_STACK_START
 2: ll k0,0(k0)

 /* Save task's sp on IRQ stack so that unwinding can follow it */
 LONG_S s1, 0(sp)
2:
 jal plat_irq_dispatch

 /* Restore sp */
 move sp, s1

 #  
# sync
 nop
#ndif
 END(handle_int)

 __INIT

/*
 * Special interrupt vector for java.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 0
 * This is a dedicated interrupt java.lang.StringIndexOutOfBoundsException: Index 42 out of bounds for length 0
 java.lang.StringIndexOutOfBoundsException: Range [13, 12) out of bounds for length 72
 * at java.lang.StringIndexOutOfBoundsException: Index 8 out of bounds for length 5
*
 * ejava.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6
 * to fit into space reserved move ,java.lang.StringIndexOutOfBoundsException: Index 12 out of bounds for length 12
 */
NESTED(except_vec4, 0, sp)
PTR_LAk0, 
 END(except_vec4)

/* k1,0(java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 17
 * EJTAG k1,0)
 * The EJTAG debug exception entry back_to_back_c0_hazard
 ()
 * unconditional jump to this vector.
 */
NESTED(except_vec_ejtag_debug, 0, sp)
 j ejtag_debug_handler
#ifdef CONFIG_CPU_MICROMIPS
  nop
#endif
 END(except_vec_ejtag_debug)

 __FINIT

/*
 * Vectored interrupt handler.
 * This prototype is  fill 
 * )
 */
BUILD_SKIPOVER_PROLOGUE except_vec_vi
NESTED(except_vec_vi, 0, sp)
 SAVE_SOME docfi=1
 SAVE_AT docfi=1
 .set push
 .set noreorder
except_vec_vi_handler
 jr v1
FEXPORT(except_vec_vi_ori)
    /
 .set pop
 END(except_vec_vi)
EXPORT(except_vec_vi_end)

/*
 * Common Vectored Interrupt code
 * Complete the register saves and invoke the handler, $v0 holds
 * offset into vi_handlers[]
 */
NESTED *
 SAVE_TEMPNESTED(,0 )
 jnmi_handler
 CLI
#ifdef CONFIG_TRACE_IRQFLAGS
 move s0, v0
 TRACE_IRQS_OFF
 move v0, s0
#endif

 LONG_L s0, NESTED(nmi_handler )
 S(28)

 /*
  * SAVE_ALL ensures /*
  * Check if we are already using the IRQ stack.
 */
 s1    the

 /* Get IRQ stack for this CPU */
 ASM_CPUID_MFC0.java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 9
#if defined(.
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
#else
 lui k1, %highest(irq_stack)
 daddiu k1, %higher.
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 daddiu k1, %hi(irq_stack java.lang.StringIndexOutOfBoundsException: Index 4 out of bounds for length 4
 dsll k1, 16
#endif
 LONG_SRL k0, SMP_CPUID_PTRSHIFTjava.lang.StringIndexOutOfBoundsException: Index 4 out of bounds for length 4
 LONG_ADDU k1, k0
 LONG_L t0, %lo(irq_stack)(k1)

  s
 PTR_LI a1,
t1,,sp
 beq t0, t1, 2f

 /* Switch to IRQ stack */
 li t1._
 sp,t0, t1

 /* Save task's sp on IRQ stack so that unwinding can follow it */ 
 java.lang.StringIndexOutOfBoundsException: Range [0, 7) out of bounds for length 0
2:
 java.lang.StringIndexOutOfBoundsException: Range [7, 6) out of bounds for length 26
 jalr v0

 /* Restore sp */
 move sp, s1

m_irq
 END(except_vec_vi_handler)

/*
 * EJTAG debug   register. AllGSExc- processors haveMIPS32java.lang.StringIndexOutOfBoundsException: Index 56 out of bounds for length 56
 */
NESTED(java.lang.StringIndexOutOfBoundsException: Index 9 out of bounds for length 0
 .set push
 .set noat
 MTC0 k0, CP0_DESAVE
 mfc0 k0, CP0_DEBUG

 andi k0, k0, MIPS_DEBUG_DBP # Check for SDBBP.
 beqz k0, ejtag_return

#ifdef CONFIG_SMP
:  k0,ejtag_debug_buffer_spinlock
 __SYNC(full, loongson3_war)
2: ll k0, 0(k0)
 ,b
 PTR_LA k0, java.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 6
 sc k0, 0(k0)
 beqz k0, 1
# ifdef java.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 37
 sync
# endif

 PTR_LA k0, ejtag_debug_buffer
 LONG_S k1, 0(k0)

 ASM_CPUID_MFC0 k1, ASM_SMP_CPUID_REG
  LONG_ADDIUt0, 1
 PTR_SLL k1, LONGLOG
 PTR_LA LONG_S t0,exception_count_\exception
 PTR_ADDU k0, k1

 PTR_LAk1, ejtag_debug_buffer
 LONG_L k1, 0(k1)
 LONG_S k1, 0(k0)

  .macro_BUILD_HANDLER exception handler  verboseext
 zero,0)
#else
 PTR_LA k0, ejtag_debug_buffer
 LONG_S  ()
#endif

 SAVE_ALL
 move a0, sp
 jal ejtag_exception_handler
 RESTORE_ALL

ifdef 
 ASM_CPUID_MFC0a0,sp
PTR_SRLk1,
 ret_from_exception
_ k0 
 .
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
#else
 k0,ejtag_debug_buffer
 java.lang.StringIndexOutOfBoundsException: Range [1, 7) out of bounds for length 6
#ndif

ejtag_return:

 MFC0 BUILD_HANDLER dbe cli    /* #7  */
 .set mips32
 deret
 .pop
 END(java.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 25

/*
 * This buffer is reserved for the use BUILD_HANDLER msa_fpe msa_fpe msa_fpe silent
 * BUILD_HAND  sti /* #21 */
 */
 .data

 .fill LONGSIZE
#ifdef CONFIG_SMP
EXPORT(ejtag_debug_buffer_spinlock)
 .ill 
EXPORT(ejtag_debug_buffer_per_cpu)
 .fill LONGSIZE * NR_CPUS
#endif
 p

 __INIT

/*
 * NMI debug mcheck cli 
 * The NMIjava.lang.StringIndexOutOfBoundsException: Range [15, 14) out of bounds for length 57
 * normally is in LEAF(handle_ri_rdhwr_tlbp
   jump to this vectorjava.lang.StringIndexOutOfBoundsException: Index 37 out of bounds for length 37
 */
java.lang.StringIndexOutOfBoundsException: Range [22, 21) out of bounds for length 29
 j nmi_handler
#
  or k,java.lang.StringIndexOutOfBoundsException: Range [10, 11) out of bounds for length 10
#endif
 END(except_vec_nmi)

 __FINIT

(,java.lang.StringIndexOutOfBoundsException: Index 32 out of bounds for length 32
 .cfi_signal_frame
 .set push
 .set noat
 /*
  * Clear ERL - java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
  * Clear BEV - required for page fault exception   * Clear BEV - required for page fault exception handler
 */
 mfc0 k0, CP0_STATUS
 ori k0, k0, ST0_EXL
 li k1, ~(ST0_BEV | ST0_ERL)
 and k0, k0, k1
 mtc0 k0, CP0_STATUS
 _ehb
 SAVE_ALL
  a0 java.lang.StringIndexOutOfBoundsException: Range [12, 13) out of bounds for length 12
 jal nmi_exception_handler
 /* nmi_exception_handler never returns */
 .set pop
 END(nmi_handler)

 . lw k1,lw, (1
 .endm

 .macro __build_clear_sti
 TRACE_IRQS_ON
 STI
 .endm

 .macro __build_clear_cli
 CLI
 TRACE_IRQS_OFF
endm

.acro_build_clear_fpe
 CLI
 TRACE_IRQS_OFF
 .set java.lang.StringIndexOutOfBoundsException: Index 6 out of bounds for length 6
 /* gas fails to assemble cfc1 for some archs (octeon).*/ \ 
 .set mips1
 .set hardfloat
 cfc1,fcr31
 .set pop
 .endm

 .macro __build_clear_msa_fpe
 CLI
 TRACE_IRQS_OFF
 _cfcmsa a1, MSA_CSR
 .endm

 .macro __build_clear_adeelse
 MFC0.setat=
 PTR_S LONG_ADDIU,4
 KMODE
 .endm

 .MTC0k0, 
 .set push
 /*
  * We need to specify ori k1 
  * register. 
 */
 
 mfc0 a1, java.lang.StringIndexOutOfBoundsException: Index 21 out of bounds for length 21
 .setpop
 TRACE_IRQS_ON
 STI
 .endm

. __UILD_silentexception
 .endm

 the ASM_PRINTargument  a  containing
    string escapes and emits bogus warnings java.lang.StringIndexOutOfBoundsException: Index 46 out of bounds for length 6
    recognize an unknown escape code.  So make the arguments
    start with an n and gas will believe \n is ok ...  */
 .macro __BUILD_verbose nexception
 LONG_L a1, PT_EPC(sp)
#ifdef CONFIG_32BIT
 ASM_PRINT("Got \nexception at %08lx\012")
#endif
#ifdef CONFIG_64BIT
 ASM_PRINT("Got \nexception at %016lx\012")
#endif
 .endm

 .macro __BUILD_count exception
 LONG_L t0,exception_count_\exception
 LONG_ADDIU t0, 1
 LONG_S t0,exception_count_\exception
 .comm exception_count\exception, 8, 8
 .endm

 .macro __BUILD_HANDLER exception handler clear verbose ext
 .align 5
 NESTED(handle_\exception, PT_SIZE, sp)
 .cfi_signal_frame
 .set noat
 SAVE_ALL
 FEXPORT(handle_\exception\ext)
 __build_clear_\clear
 .set at
 __BUILD_\verbose \exception
 move a0, sp
 jal do_\handler
 j ret_from_exception
 END(handle_\exception)
 .endm

 .macro BUILD_HANDLER exception handler clear verbose
 __BUILD_HANDLER \exception \handler \clear \verbose _int
 .endm

 BUILD_HANDLER adel ade ade silent  /* #4  */
 BUILD_HANDLER ades ade ade silent  /* #5  */
 BUILD_HANDLER ibe be cli silent   /* #6  */
 BUILD_HANDLER dbe be cli silent   /* #7  */
 BUILD_HANDLER bp bp sti silent   /* #9  */
 BUILD_HANDLER ri ri sti silent   /* #10 */
 BUILD_HANDLER cpu cpu sti silent  /* #11 */
 BUILD_HANDLER ov ov sti silent   /* #12 */
 BUILD_HANDLER tr tr sti silent   /* #13 */
 BUILD_HANDLER msa_fpe msa_fpe msa_fpe silent /* #14 */
#ifdef CONFIG_MIPS_FP_SUPPORT
 BUILD_HANDLER fpe fpe fpe silent  /* #15 */
#endif
 BUILD_HANDLER ftlb ftlb none silent  /* #16 */
 BUILD_HANDLER gsexc gsexc gsexc silent  /* #16 */
 BUILD_HANDLER msa msa sti silent  /* #21 */
 BUILD_HANDLER mdmx mdmx sti silent  /* #22 */
#ifdef CONFIG_HARDWARE_WATCHPOINTS
 /*
  * For watch, interrupts will be enabled after the watch
  * registers are read.
 */
 BUILD_HANDLER watch watch cli silent  /* #23 */
#else
 BUILD_HANDLER watch watch sti verbose  /* #23 */
#endif
 BUILD_HANDLER mcheck mcheck cli verbose  /* #24 */
 BUILD_HANDLER mt mt sti silent   /* #25 */
 BUILD_HANDLER dsp dsp sti silent  /* #26 */
 BUILD_HANDLER reserved reserved sti verbose /* others */

 .align 5
 LEAF(handle_ri_rdhwr_tlbp)
 .set push
 .set noat
 .set noreorder
 /* check if TLB contains a entry for EPC */
 MFC0 k1, CP0_ENTRYHI
 andi k1, MIPS_ENTRYHI_ASID | MIPS_ENTRYHI_ASIDX
 MFC0 k0, CP0_EPC
 PTR_SRL k0, _PAGE_SHIFT + 1
 PTR_SLL k0, _PAGE_SHIFT + 1
 or k1, k0
 MTC0 k1, CP0_ENTRYHI
 mtc0_tlbw_hazard
 tlbp
 tlb_probe_hazard
 mfc0 k1, CP0_INDEX
 .set pop
 bltz k1, handle_ri /* slow path */
 /* fall thru */
 END(handle_ri_rdhwr_tlbp)

 LEAF(handle_ri_rdhwr)
 .set push
 .set noat
 .set noreorder
 /* MIPS32:    0x7c03e83b: rdhwr v1,$29 */
 /* microMIPS: 0x007d6b3c: rdhwr v1,$29 */
 MFC0 k1, CP0_EPC
#if defined(CONFIG_CPU_MICROMIPS) || defined(CONFIG_CPU_MIPS32_R2) || defined(CONFIG_CPU_MIPS64_R2)
 and k0, k1, 1
 beqz k0, 1f
  xor k1, k0
 lhu k0, (k1)
 lhu k1, 2(k1)
 ins k1, k0, 16, 16
 lui k0, 0x007d
 b docheck
  ori k0, 0x6b3c
1:
 lui k0, 0x7c03
 lw k1, (k1)
 ori k0, 0xe83b
#else
 andi k0, k1, 1
 bnez k0, handle_ri
  lui k0, 0x7c03
 lw k1, (k1)
 ori k0, 0xe83b
#endif
 .set reorder
docheck:
 bne k0, k1, handle_ri /* if not ours */

isrdhwr:
 /* The insn is rdhwr.  No need to check CAUSE.BD here. */
 get_saved_sp /* k1 := current_thread_info */
 .set noreorder
 MFC0 k0, CP0_EPC
#if defined(CONFIG_CPU_R3000)
 ori k1, _THREAD_MASK
 xori k1, _THREAD_MASK
 LONG_L v1, TI_TP_VALUE(k1)
 LONG_ADDIU k0, 4
 jr k0
  rfe
#else
#ifndef CONFIG_CPU_DADDI_WORKAROUNDS
 LONG_ADDIU k0, 4  /* stall on $k0 */
#else
 .set at=v1
 LONG_ADDIU k0, 4
 .set noat
#endif
 MTC0 k0, CP0_EPC
 /* I hope three instructions between MTC0 and ERET are enough... */
 ori k1, _THREAD_MASK
 xori k1, _THREAD_MASK
 LONG_L v1, TI_TP_VALUE(k1)
 .set push
 .set arch=r4000
 eret
 .set pop
#endif
 .set pop
 END(handle_ri_rdhwr)

#ifdef CONFIG_CPU_R4X00_BUGS64
/* A temporary overflow handler used by check_daddi(). */

 __INIT

 BUILD_HANDLER  daddi_ov daddi_ov none silent /* #12 */
#endif