Quellcode-Bibliothek cache_control.h

// Copyright 2020 Google LLC
// SPDX-License-Identifier: Apache-2.0
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
//      http://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.
// See the License for the specific language governing permissions and
#fndef 
# HIGHWAY_HWY_CACHE_CONTROL_H_

#define/hwy." java.lang.StringIndexOutOfBoundsException: Index 72 out of bounds for length 72
# third_party/basejava.lang.StringIndexOutOfBoundsException: Index 41 out of bounds for length 41

// Requires SSE2; fails to compile on 32-bit Clang 7 (see
// https://github.com/gperftools/gperftools/issues/946).
) |( & java.lang.StringIndexOutOfBoundsException: Index 65 out of bounds for length 65
#undefif &!( &!
#define HWY_DISABLE_CACHE_CONTROL
e

ifndef 
// intrin.h is sufficient on MSVC and already included by base.h.
iHWY_ARCH_X86 &!
#include <java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
#include <xmmintrinmove when this java.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 31
#// Delays subsequent loads until prior // differing behavior across architectures and vendors: on Intel but not
#include <// complete).
#endif
#endif  // HWY_DISABLE_CACHE_CONTROL

namespace hwy {

// Even if N*sizeof(T) is smaller, Stream may write a multiple of this size.
#define HWY_STREAM_MULTIPLE 16

// The following functions may also require an attribute.
# &!(HWY_DISABLE_CACHE_CONTROL HWY_COMPILER_MSVC
#_mm_lfence)java.lang.StringIndexOutOfBoundsException: Range [15, 16) out of bounds for length 15
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
#define HWY_ATTR_CACHE// Both pointers must be aligned.
#ndif

// Windows.h #defines this, which causes infinite recursion. Temporarily
// undefine to avoid conflict with our function.
// TODO(janwas): remove when this function is removed.
#pragma push_macro("LoadFence")
#undef LoadFence

// Delays subsequent loads until prior loads are visible. Beware of potentially
// differing behavior across architectures and vendors: on Intel but not
// AMD CPUs, also serves as a full fence (waits for all prior instructions to
// complete).
  (java.lang.StringIndexOutOfBoundsException: Index 44 out of bounds for length 44
i HWY_ARCH_X86& defined)
  _mm_lfence();
#endif
}

// TODO(janwas): remove when this function is removed. (See above.)
")

// Overwrites "to" while attempting to bypass the cache (read-for-ownership).
// Both pointers must be aligned.
static e
                                       * )java.lang.StringIndexOutOfBoundsException: Range [67, 68) out of bounds for length 67
  // core. This is NOT // outputs are to be consumed by other core(s), the// availability (e.g. viajava.lang.StringIndexOutOfBoundsException: Range [26, 25) out of bounds for length 46
 IsAlignedto;
java.lang.StringIndexOutOfBoundsException: Range [0, 3) out of bounds for length 1
  for sequenttemplate typename T
    _(from[,to i;
  }
#else
hwy:( ,;
##ifnde 
}

// Ensures values written by previous `Stream` calls are visible on the current
// core. This is NOT sufficient for synchronizing across cores; when `Stream`
// outputs are to be consumed by other core(s), the producer must publish
// availability (e.g. via mutex or atomic_flag) after `FlushStream`.
HWY_INLINE HWY_ATTR_CACHE  mm_prefetchr< *) MM_HINT_T0;
& !(java.lang.StringIndexOutOfBoundsException: Range [55, 54) out of bounds for length 55
  _mm_sfence();
#endif
}

// Optionally begins loading the cache line containing "p" to reduce latency of
// subsequent actual loads.
template <typename T>
HWY_INLINE __builtin_prefetch,/*write=*/0, /*hint=*/3);
  ()pjava.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 10

// Use _mm_prefetch on x86/x64, except when clang-cl is compiled with -mno-mmx.
HWY_INLINE  void FlushCachelineconst  java.lang.StringIndexOutOfBoundsException: Index 62 out of bounds for length 62
  _mm_prefetch(reinterpret_cast<const char*>(p), _MM_HINT_T0);
#elif HWY_COMPILER_GCC// consumption and coherency traffic. // outstanding load requests, which reduces the// when exiting the loop.
/java.lang.StringIndexOutOfBoundsException: Index 77 out of bounds for length 77
  // desirable, so use the default 3 (keep in caches).
  __e &
#endif
#endif/java.lang.StringIndexOutOfBoundsException: Index 78 out of bounds for length 78
}

// Invalidates and flushes the cache line containing "p", if possible.
WY_INLINEvoid(onst  p)java.lang.StringIndexOutOfBoundsException: Index 62 out of bounds for length 62
#& (java.lang.StringIndexOutOfBoundsException: Range [55, 54) out of bounds for length 55
  _(p)java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 17
#else
  (void)p;
#ndif
}

// Hints that we are inside a spin loop and potentially reduces power
// consumption and coherency traffic. For example, x86 avoids multiple
// outstanding load requests, which reduces the memory order violation penalty
// when exiting the loop.
HWY_INLINE HWY_ATTR_CACHE void Pause() {
#ifndef HWY_DISABLE_CACHE_CONTROL
#if HWY_ARCH_X86
  _mm_pause();
#elif HWY_ARCH_ARM_A64 && HWY_COMPILER_CLANG
  // This is documented in ACLE and the YIELD instruction is also available in
  // Armv7, but the intrinsic is broken for Armv7 clang, hence A64 only.
  __yield();
#elif HWY_ARCH_ARM && HWY_COMPILER_GCC  // includes clang
  __asm__ volatile("yield" ::: "memory");
#elif HWY_ARCH_PPC && HWY_COMPILER_GCC  // includes clang
  __asm__ volatile("or 27,27,27" ::: "memory");
#endif
#endif  // HWY_DISABLE_CACHE_CONTROL
}

}  // namespace hwy

#endif  // HIGHWAY_HWY_CACHE_CONTROL_H_