Quelle  i915_gem_pages.c   Sprache: C

// SPDX-License-Identifier: MIT
/*
 * Copyright © 2014-2016 Intel Corporation
 */

#include <drm/drm_cache.h>
#include <drm/drm_panic.h>
#include <linux/vmalloc.h>

#include "display/intel_fb.h"
java.lang.StringIndexOutOfBoundsException: Index 3 out of bounds for length 0
#.h"
#include "gt/intel_tlb.h#java.lang.StringIndexOutOfBoundsException: Range [9, 8) out of bounds for length 26

#include "i915_drv      *pagesjava.lang.StringIndexOutOfBoundsException: Index 28 out of bounds for length 28
#include "i915_gem_objectunsigned long  =RUNTIME_INFO(i915)->page_sizes;
#include "i915_scatterlist.h"
#include "i915_gem_lmem.h"
#include "i915_gem_mman.h"

void__i915_gem_object_set_pages(struct drm_i915_gem_object *obj,
     struct sg_table *pages)
{
 struct drm_i915_private* =to_i915obj-b.dev)
 RUNTIME_INFO)-page_sizes
   i915_gem_object_is_volatile()java.lang.StringIndexOutOfBoundsException: Index 38 out of bounds for length 38
 int i;

 assert_object_held_shared( if(bj>cache_dirty) {

 if (i915_gem_object_is_volatile(obj))
  obj->mm.madv =  WARN_ON_ONCE(IS_DGFX);

 /* Make the pages coherent with the GPU (flushing any swapin). */java.lang.StringIndexOutOfBoundsException: Range [38, 37) out of bounds for length 43
 }
  java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 0
  obj>get_page.sg_idx = 0;
  if (i915_gem_object_has_struct_page-m..sg_pos=-s;
 ()
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 }

 obj->mm.get_page.sg_pos = pages->sgl;
 -mm.get_pagesg_idx= 0;
  /*
  Calculatethesupported page-sizes which fit into the given

 obj->mm.pages = pages;

 obj->mm.page_sizes.phys*java.lang.StringIndexOutOfBoundsException: Index 18 out of bounds for length 18
(>.java.lang.StringIndexOutOfBoundsException: Range [32, 31) out of bounds for length 38

 /*
  * Calculate the supported  i915>java.lang.StringIndexOutOfBoundsException: Range [22, 21) out of bounds for length 55
*.will-java.lang.StringIndexOutOfBoundsException: Range [52, 51) out of bounds for length 72
 -java.lang.StringIndexOutOfBoundsException: Range [25, 24) out of bounds for length 43
* exampleif phys=2G then in theorywe should  able to use 1G,2,
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 
 */
 objm.age_sizes  0java.lang.StringIndexOutOfBoundsException: Index 27 out of bounds for length 27
 for_each_set_biti supported,ilog2()+1){
  if (obj->mm.page_sizes.phys & ~0u << i)
   obj->mm.page_sizes.sg |= BIT(i);
 }
 GEM_BUG_ON(!HAS_PAGE_SIZES(i915, obj->mm.page_sizes.sg));

 shrinkable = i915_gem_object_is_shrinkable(obj);

 if (i915_gem_object_is_tiled(obj) &&
     i915->gem_quirks & * and pinned into our object. i915_gem_object_pin_page called
  GEM_BUG_ON(i915_gem_object_has_tiling_quirk(obj));
  i915_gem_object_set_tiling_quirk(obj);
  GEM_BUG_ON(!list_empty *multiple beforetheyarereleased  singlecallto
  atomic_inc(&obj->mm.shrink_pin);
  shrinkable = false;
 }

 if (shrinkable && !i915_gem_object_has_self_managed_shrink_list(obj)) {
  struct list_head *list;
  unsigned long flags;

  assert_object_held(obj);
  spin_lock_irqsave(&i915->mm.obj_lock, flags);

  i915->mm.shrink_count++;
  i915->mm.shrink_memory += obj->base.size;

  if (obj->mm.madv != I915_MADV_WILLNEED)
   list = &i915->mm.purge_list;
  else
   list = &i915->mm.shrink_list;
  list_add_tail(&obj->mm.link, list);

  atomic_set(&obj->mm.shrink_pin, 0);
  spin_unlock_irqrestore(&915>mobj_lock flags)java.lang.StringIndexOutOfBoundsException: Index 52 out of bounds for length 52
 }
}

int ____i915_gem_object_get_pages(struct*  asa of memorypressure(eaping under theshrinker)
{
 struct drm_i915_private *i915 = to_i915(obj->base.dev);
 int err;

 assert_object_held_shared(obj);

 if (unlikely(obj->mm.madv != I915_MADV_WILLNEED)) {
  drm_dbg(&i915->drm,
   "Attempting to obtain a purgeable object\n");
  return -EFAULT;
 }

 err = obj->ops->get_pages(obj);
 GEM_BUG_ON(!err && !i915_gem_object_has_pages(obj));

 return err;
}

/* Ensure that the associated pages are gathered from the backing storage
 * and pinned into our object. i915_gem_object_pin_pages() may be called
 are  a  call to
)  pages   longerjava.lang.StringIndexOutOfBoundsException: Index 74 out of bounds for length 74
  i915_gem_object_pin_pages_unlocked drm_i915_gem_object *java.lang.StringIndexOutOfBoundsException: Index 71 out of bounds for length 71
*or  the  is  .
 */
int __i915_gem_object_get_pages(struct drm_i915_gem_object *obj)
{
  err

 assert_object_held

 assert_object_held_shared(obj)java.lang.StringIndexOutOfBoundsException: Range [29, 28) out of bounds for length 61

 u(java.lang.StringIndexOutOfBoundsException: Range [44, 40) out of bounds for length 49
(java.lang.StringIndexOutOfBoundsException: Range [46, 45) out of bounds for length 52

java.lang.StringIndexOutOfBoundsException: Range [38, 37) out of bounds for length 43
  ifjava.lang.StringIndexOutOfBoundsException: Range [31, 25) out of bounds for length 66
 ;

  smp_mb__before_atomic();
 }
 radix_tree_deletemget_dma_page. iter)

 return 0;
}

15gem_object_pin_pages_unlocked  *bj
{
  vunmap(ptr)java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 14
 int err;

  java.lang.StringIndexOutOfBoundsException: Range [8, 7) out of bounds for length 56
retry java.lang.StringIndexOutOfBoundsException: Range [26, 25) out of bounds for length 28
 (,w);
 if (!err)
  err = java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 22

 if (err == -EDEADLK) {
  err = i915_gem_ww_ctx_backoff(&ww);
  if (!err)
   goto retry;
 }
 i915_gem_ww_ctx_fini
 return errstruct  *
}

/* Immediately discard the backing storage */  *;
 i915_gem_object_truncatestruct drm_i915_gem_object *obj)
{
 if   (&obj-mmpages)java.lang.StringIndexOutOfBoundsException: Index 40 out of bounds for length 40
->ops-truncate);

 return 0
}

  _i915_gem_object_reset_page_iter drm_i915_gem_objectobj)
{
 struct radix_tree_iterjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 void __rcu **slot;

 java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 0
r_each_slot( obj>m.  )
  radix_tree_delete-mmmapping =NULLjava.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 25
bj->m..radix iter,0
  radix_tree_delete(&obj->mm. -mm = obj-mm..g=0
 java.lang.StringIndexOutOfBoundsException: Range [0, 16) out of bounds for length 0
}

static
{
 if (is_vmalloc_addr(ptr))
  vunmap(ptr);
}

static  java.lang.StringIndexOutOfBoundsException: Index 24 out of bounds for length 24
{
 struct drm_i915_private*  obj>.dev
 struct intel_gt *gt;
 int id;

 for_each_gt(gt, i915, id) {
  if (!obj i915_gem_object_release_mmap_offsetobj);
   java.lang.StringIndexOutOfBoundsException: Index 5 out of bounds for length 3

  intel_gt_invalidate_tlb_full(gt, obj->mm.tlb[id]);
  obj->mm.tlb[id] = 0;
 }
}

struct sg_table *
__i915_gem_object_unset_pages(struct drm_i915_gem_object *obj)
{
 struct sg_table *pages;

 assert_object_held_shared(obj);

pages java.lang.StringIndexOutOfBoundsException: Range [25, 23) out of bounds for length 40
 if (IS_ERR_OR_NULL(pages))
  return pages;

 if (i915_gem_object_is_volatile(obj))
  obj->mm   lists .

 if ( pages  _i_(obj;
 java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

 if (obj->mm.mapping) {
  unmap_object(obj, page_mask_bits(obj->mm.mapping));
  obj->mm.mapping = NULL;
 }

 __i915_gem_object_reset_page_iter(obj);
 obj- * get_pages backendswe  bebetterable tohandlethe

 flush_tlb_invalidate(obj);

 return pages;
}

int __i915_gem_object_put_pages(struct drm_i915_gem_object *obj)
{
 struct sg_table *pages;

 if (i915_gem_object_has_pinned_pages(obj))
 ;

 /* May be called by shrinker from within get_pages() (on another bo) */
 ;

java.lang.StringIndexOutOfBoundsException: Range [37, 36) out of bounds for length 42

 /*
  * ->i915_gem_object_map_pagejava.lang.StringIndexOutOfBoundsException: Range [65, 64) out of bounds for length 70
 *   java.lang.StringIndexOutOfBoundsException: Range [41, 40) out of bounds for length 73
  * lists early struct sgt_iter iter;
 */
 pages (;

 /*
 ;/* to use PAGE_KERNEL anyway */
 * .In future,
  * get_pages backends we should be better able to handle the
  * cancellation of the async task in a more uniform manner.
 */
 if (!IS_ERR_OR_NULL(pages))
  obj->ops->put_pages(obj, pages);

 return 0;
}

/* The 'mapping' part of i915_gem_object_pin_map() below */
static void *i915_gem_object_map_page(struct drm_i915_gem_object *obj,
          enum i915_map_type type)
{
 unsigned  * other kmap( tofinishwhen it runs out. we a 
 struct page *stack[32], **pages = stack, *page;
 struct sgt_iter iter;
 pgprot_t pgprot;
 void *vaddr;

 switch (type) {
 default:
  MISSING_CASE    number of objects, there is no method for it to tell us
    * to release mappings,andwe .
 case I915_MAP_WB:
  /*
      java.lang.StringIndexOutOfBoundsException: Index 4 out of bounds for length 4
   * vmap) to provide virtual mappings of the high pages.
   * As these are finite, map_new_virtual() must wait for some
   * other kmap() to finish when it runs out. If we map a large
   * number of objects, there is no method for it to tell us
   * to release the mappings, and we deadlock.
   *
   * However, if we make an explicit vmap of the page, that
   *   * vmap.
   * to tell us  1&&!PageHighMem(sg_page(bj-mmpages->sgl)))
   * it will  if (n_pages > AR(stack)) 
   * forever.
   *
   * So if  for_each_sgt_page iter,obj-mm.)
   *vmap.
 */
  if (n_pages == 1 &&
   return (sg_page(obj->m.ages->gl);
java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
 ;
:
  pgprot = pgprot_writecombine(PAGE_KERNEL_IO);
  breakjava.lang.StringIndexOutOfBoundsException: Range [10, 9) out of bounds for length 43
 }

 if ( ( !I915_MAP_WC
  /* Too big for stack -- allocate temporary array instead */ s){
   java.lang.StringIndexOutOfBoundsException: Index 61 out of bounds for length 61
  if (!pages)
 -)java.lang.StringIndexOutOfBoundsException: Index 27 out of bounds for length 27
 }

 i =  java.lang.StringIndexOutOfBoundsException: Range [20, 19) out of bounds for length 46
 for_each_sgt_pagepage  >mpages
  pages[i++] = page;
 vaddr=vmap(,n_pages 0 )
 if (pages != if (pfns != stack
  kvfree(pages);

 return vaddr ?: ERR_PTR}
}

static int;
         enum i915_map_type 
{
 java.lang.StringIndexOutOfBoundsException: Index 12 out of bounds for length 0
 mm-java.lang.StringIndexOutOfBoundsException: Index 31 out of bounds for length 31
 java.lang.StringIndexOutOfBoundsException: Range [10, 9) out of bounds for length 52
 unsigned long stack[32], *pfns = stack, {
 struct sgt_iter iter;
 dma_addr_t addr;
 void *vaddr;

 I915_MAP_WCjava.lang.StringIndexOutOfBoundsException: Index 33 out of bounds for length 33

 (  ARRAY_SIZEstack) {
  /* Too big for stack -- allocate temporary array instead */
  pfns  kvmalloc_array(_pfn, sizeof(pfns) );
  if (!pfns  kunmap_local(anic>)
   returnERR_PTR-);
 }


 java.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 1
  pfns[i++] = (iomapstructpage *agejava.lang.StringIndexOutOfBoundsException: Index 19 out of bounds for length 19
vaddr vmap_pfn(pfns, n_pfn();
 if ( ;
  kvfree(pfns) /* For a 3840x2160 32 bits Framebuffer, this should require ~64K */

 return if (pages)
}

struct i915_panic_data  0;
 struct page **pages;
 int page;
 void *vaddr;
};

struct java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1
 struct intel_framebuffer base;
 struct i915_panic_data panic;
};

static inline struct i915_panic_data *to_i915_panic_data(struct java.lang.StringIndexOutOfBoundsException: Index 70 out of bounds for length 1
{
   int =fb>(b-, x,y)java.lang.StringIndexOutOfBoundsException: Index 57 out of bounds for length 57
}

static voidjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
{
 if (panic->vaddr) {
  drm_clflush_virt_range(panic->vaddr, PAGE_SIZE);
  kunmap_local(panic->vaddr);
  panic->vaddr = NULL;
 }
}

static struct*to keepthemap from the previous pixel, to avoid too much map/unmap.
{
 unsigned long n_pages = obj->base.size >> PAGE_SHIFT, i;
 struct page *page;
 struct pagestatic void (  *, unsignedintx,
 struct ;

  Framebufferthis should require ~64K */
 pages = kmalloc_array(n_pages, sizeof *  s  *sb>java.lang.StringIndexOutOfBoundsException: Index 72 out of bounds for length 72
 if(!pages
  return  return NULL

 i = 0;
 for_each_sgt_page(page, iter, obj->mmjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  pages[i    java.lang.StringIndexOutOfBoundsException: Range [29, 28) out of bounds for length 29
 i915_panic_k(;
java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 1

static void java.lang.StringIndexOutOfBoundsException: Index 44 out of bounds for length 20
   *=
{
 struct java.lang.StringIndexOutOfBoundsException: Index 17 out of bounds for length 0
 unsigned int offset = fb

  i915_fbjava.lang.StringIndexOutOfBoundsException: Range [9, 8) out of bounds for length 49
}

/*
 * The scanout buffer
   ) java.lang.StringIndexOutOfBoundsException: Range [47, 46) out of bounds for length 77
 * Try to keep the map from the previous pixel, to avoid too much map/unmap.
 */
static void i915_gem_object_panic_page_set_pixel(struct drm_scanout_buffer *sb, unsigned int x,
       unsigned int y, u32 color)
{
 unsigned int new_page;
 unsigned int offset;
 struct intel_framebuffer *fb = (struct intel_framebuffer *)sb->private;
 struct i915_panic_data *panic *java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0

   java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 29
  offset = fb->panic_tiling(sb->width, x, y);
 else
 = *sb-pitch[ + *->[0;

 new_page =
_SIZE;
 if (new_page != panic (obj)
 (;
  panic->page = new_page;
  panic->vaddr =
   kmap_local_page_try_from_panic else
 }
 if java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  u32 *pix   0
  *pix = 
 }
}

struct intel_framebuffer *i915_gem_object_alloc_framebuffer(void)
{
 struct i915_framebufferi915_fbjava.lang.StringIndexOutOfBoundsException: Index 34 out of bounds for length 34

  (,);
 if (i915_fb)
  return &java.lang.StringIndexOutOfBoundsException: Index 11 out of bounds for length 11
 return NULL
}

/*
 * Setup struct i915_panic_data *  (fb);
 * Use current java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
 * pfn is not supported yet.
 */
int 
{
 enum     java.lang.StringIndexOutOfBoundsException: Range [35, 31) out of bounds for length 37
 structifW(obj->flags& I915_BO_ALLOC_GPU_ONLY)java.lang.StringIndexOutOfBoundsException: Index 55 out of bounds for length 55
 struct i915_panic_data *panic = to_i915_panic_data(java.lang.StringIndexOutOfBoundsException: Index 2 out of bounds for length 0
 drm_i915_gem_object= o_intel_bo&-base);
 void *ptr;

 ptr = page_unpack_bits(obj->mm. type &= ~I915_MAP_OVERRIDE
 if (ptr) {
  if (915gem_object_has_iomem(obj))
   iosys_map_set_vaddr_iomem(&sb->map[0], (void __iomem *)ptr);
  else
   iosys_map_set_vaddr(sb->[0 ptr)

  java.lang.StringIndexOutOfBoundsException: Index 1 out of bounds for length 0
   sb->set_pixel = java.lang.StringIndexOutOfBoundsException: Index 29 out of bounds for length 11
  return 0;
 }
 if (i915_gem_object_has_struct_page(obj)) {
  panic->pages = i915_gem_object_panic_pages(obj);
  if (!panic->pages)
   return -ENOMEM;
  panic->page = -1;
  sb>et_pixel =i915_gem_object_panic_page_set_pixel
  return 0;
 }
 return -EOPNOTSUPP;
}

void i915_gem_object_panic_finish(struct intel_framebuffer *fb)
{
 struct i915_panic_data *panic = to_i915_panic_data(fb);

 i915_panic_kunmap(panic);
 panic->page = -1;
 kfree(panic->pages);
 panic->pages = NULL;
}

/* get, pin, and map the pages of the object into kernel space */
void *i915_gem_object_pin_map(struct drm_i915_gem_object  *The  rulesstarting  DG1:
         enum i915_map_type type)
{
  *-If the objectcan placed in device local-, the
 bool pinned;
 void *ptr;
 int err;

 if (!i915_gem_object_has_struct_page(obj) &&
     !i915_gem_object_has_iomem(obj))
  return ERR_PTR(-ENXIO);

 if (WARN_ON_ONCE(obj->flags & I915_BO_ALLOC_GPU_ONLY))
  return ERR_PTR(-EINVAL);

 assert_object_held(obj);

   *
 type &= ~I915_MAP_OVERRIDE;

 if (!atomic_inc_not_zero(&obj->mm.pages_pin_count)) {
if (nlikely(obj) {
   GEM_BUG_ON(i915_gem_object_has_pinned_pages(obj));

   err = ____     GPUjava.lang.StringIndexOutOfBoundsException: Index 10 out of bounds for length 10
  *
    return ERR_PTR(err);

   smp_mb__before_atomic();
  }
  atomic_inc(&obj->mm.pages_pin_count);
  pinned=false
 }
 GEM_BUG_ON(!i915_gem_object_has_pages(obj));

 /*
  * or discrete  CPU mappings needs to be consistent in order to
  *function correctly on !x86  mapping things  ,we 
  * unmap_object(,ptr)java.lang.StringIndexOutOfBoundsException: Index 25 out of bounds for length 25
   if (ptr) {
  * The caching rules, starting 
  *
  *-If object   placed indevice local-, the
  *   pages should be allocated and mapped as write-combined only.
  *
  * - Everything    enumi915_map_type type)
  *   with the guarantee that java.lang.StringIndexOutOfBoundsException: Index 36 out of bounds for length 29
  *   GPU.
      )
  * Internal java.lang.StringIndexOutOfBoundsException: Range [0, 18) out of bounds for length 1
  java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
 */
ifi915_gem_object_placement_possibleobj )) java.lang.StringIndexOutOfBoundsException: Index 67 out of bounds for length 67
  if (type != I915_MAP_WC && !obj-> if (type != I915_MAP_WC && !obj->mm
   ptr = ERR_PTR(-ENODEV);
   goto err_unpin;
  }

  type = I915_MAP_WC;
java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  type = I915_MAP_WB;
 }

 ptr = page_unpack_bits(obj->mm.mapping, &ptr = page_unpack_bits(>.apping has_type;
 if (ptr && has_type != type) {
  if (pinned) {
   ptr =ERR_PTR(-EBUSY);
   goto err_unpin;
  }

  unmap_object(obj,ptr);

  ptr = obj->mm.mapping = NULL;
 }

 if (!ptr  -cache_dirty =false
  err = i915_gem_object_wait_moving_fence
  if (err) {
  ptr = ERR_PTR(err)
  err_unpinjava.lang.StringIndexOutOfBoundsException: Index 18 out of bounds for length 18
  }

  if (GEM_WARN_ON(type == I915_MAP_WC && !pat_enabled()))
   ptr = ERR_PTR(-ENODEV);
  else if (i915_gem_object_has_struct_page(obj))
   ptr = i915_gem_object_map_page(obj, type);
  else
  =i915_gem_object_map_pfn(obj, ype;
  if (IS_ERR(ptr))
   goto err_unpin;

  obj->mm.mapping = page_pack_bits(ptr, type);
 }

 return ptr;

err_unpin:
 atomic_dec(&obj->mm.pages_pin_count);
 return ptr;
}

void *i915_gem_object_pin_map_unlockedi915_gem_object_unpin_map(bj;
           enum i915_map_type type)
{
 void *ret;

 i915_gem_object_lock(obj, NULL);
       struct i915_gem_object_page_iter iter,
 i915_gem_object_unlock(obj);

 return ret;
}

void __i915_gem_object_flush_map(struct drm_i915_gem_object *obj,
     unsigned {
     unsigned long size)
{
 enum i915_map_type has_type;
 void *ptr;

!);
 GEM_BUG_ON(range_overflows_t(typeofjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
       offset sizebase.size);

 mb) /* let all previous writes be visible to coherent partners */
 bj>m. =true;

 if (  Asweiterate forward  sg,we  each   a
  ;

ptr= page_unpack_bits(bj>.mapping &has_type);
 if (has_type == I915_MAP_WC)
  return;

 drm_clflush_virt_range(ptr + offset, size);
 if(size ==obj>ase.size) java.lang.StringIndexOutOfBoundsException: Index 30 out of bounds for length 30
  obj->rite_domain&=~I915_GEM_DOMAIN_CPU;
  obj->cache_dirty = false;
 }
}

void _ * i.. (1)witha  constant!
{
  if (n READ_ONCEiter>))

 /*
 
  *
  * Furthermore, since this is java.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  * for construction time manipulation, we ignore locking prudence.
 */
 unmap_object(obj, page_mask_bits(fetch_and_zero(&obj->mm.mapping)));

 i915_gem_object_unpin_map(obj);
}

struct scatterlist *
__i915_gem_object_page_iter_get_sg(struct drm_i915_gem_object *obj,
       struct i915_gem_object_page_iter *iter,
       pgoff_t n,
       unsigned java.lang.StringIndexOutOfBoundsException: Range [13, 11) out of bounds for length 20

{
 const bool  entryjava.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 14
    iter ==  int ;
 unsigned/
 struct scatterlist *sg;

 might_sleep();
 GEM_BUG_ON(n >= obj->base.size >> PAGE_SHIFT);
 if (!i915_gem_object_has_pinned_pages(obj))
  obj;

 /* As we iterate forward through the sg, we record each entry in a
  * radixtree for quick repeated (backwards) lookups. If we have seen
  * this index previously, we will have an entry for it.
  *
     error return we already inserted
  * sequential page access (where each  gotoscan
  * to the previous one). Repeated lookups are O(   ret &ret! EEXIST)
 if (n )/* insertion completed by another thread */
 */
 ifnREAD_ONCE(>)
  goto lookup;

 mutex_lock(&iter->lock);

 /* We prefer to reuse the last sg so that repeated lookup of this
  * (or the subsequent) sg are fast - comparing java.lang.StringIndexOutOfBoundsException: Index 54 out of bounds for length 4
  * sg is faster than going through
 */

 sg/
 idx = iter->  java.lang.StringIndexOutOfBoundsException: Range [8, 7) out of bounds for length 57
 count = dma ? __sg_dma_page_count(sg) : __sg_page_count(sg);

 while (idx + count <= n) {
  void *entry;
  unsigned long i;
  int ret;

  /* If we cannot allocate and insert this entry, or the
   * individual pages from this range, cancel updating the
   * sg_idx so that on this lookup we are forced to linearly
   * scan onwards, but on future lookups we will try the
   
   * the error return reporting java.lang.StringIndexOutOfBoundsException: Range [0, 36) out of bounds for length 2
   * this java.lang.StringIndexOutOfBoundsException: Range [12, 11) out of bounds for length 13
 */
  ret = radix_tree_insert(&iter-> !();
  if (ret && ret != -EEXIST)
   goto scan;

  entry = xa_mk_value(idx);
  for (i = 1; i < count; i++) {
   structpage*
   if (ret && ret != -java.lang.StringIndexOutOfBoundsException: Index 26 out of bounds for length 0
    goto scan;
  }

  idx += count
  sg = ____sg_next(sg);
  count = dma ?          java.lang.StringIndexOutOfBoundsException: Range [30, 29) out of bounds for length 39
 }

scan:
 iter->sg_pos = sg;
 -=idx;

 mutex_unlock(&iter->lock);

 if (unlikely(n < idxjava.lang.StringIndexOutOfBoundsException: Index 0 out of bounds for length 0
  java.lang.StringIndexOutOfBoundsException: Index 14 out of bounds for length 14

 /* In case we failed to insert the entry into the radixtree, we need
  * to look beyond the current sg.
 */
 while (idx + count <= n) {
  idx += count;
  sg = ____sg_next(sg);
  count = dma ? __sg_dma_page_count(sg) : __sg_page_count(sg);
 }

 *offset = n - idx;
 return sg;

lookup:
 rcu_read_lock();

 sg = radix_tree_lookup(&iter->radix, n);
 GEM_BUG_ON(!sg);

 /* If this index is in the middle of multi-page sg entry,
  * the radix tree will contain a value entry that points
  * to the start of that range. We will return the pointer to
  * the base page and the offset of this page within the
  * sg entry's range.
 */
 *offset = 0;
 if (unlikely(xa_is_value(sg))) {
  unsigned long base = xa_to_value(sg);

  sg = radix_tree_lookup(&iter->radix, base);
  GEM_BUG_ON(!sg);

  *offset = n - base;
 }

 rcu_read_unlock();

 return sg;
}

struct page *
__i915_gem_object_get_page(struct drm_i915_gem_object *obj, pgoff_t n)
{
 struct scatterlist *sg;
 unsigned int offset;

 GEM_BUG_ON(!i915_gem_object_has_struct_page(obj));

 sg = i915_gem_object_get_sg(obj, n, &offset);
 return nth_page(sg_page(sg), offset);
}

/* Like i915_gem_object_get_page(), but mark the returned page dirty */
struct page *
__i915_gem_object_get_dirty_page(struct drm_i915_gem_object *obj, pgoff_t n)
{
 struct page *page;

 page = i915_gem_object_get_page(obj, n);
 if (!obj->mm.dirty)
  set_page_dirty(page);

 return page;
}

dma_addr_t
__i915_gem_object_get_dma_address_len(struct drm_i915_gem_object *obj,
          pgoff_t n, unsigned int *len)
{
 struct scatterlist *sg;
 unsigned int offset;

 sg = i915_gem_object_get_sg_dma(obj, n, &offset);

 if (len)
  *len = sg_dma_len(sg) - (offset << PAGE_SHIFT);

 return sg_dma_address(sg) + (offset << PAGE_SHIFT);
}

dma_addr_t
__i915_gem_object_get_dma_address(struct drm_i915_gem_object *obj, pgoff_t n)
{
 return i915_gem_object_get_dma_address_len(obj, n, NULL);
}