Quellcodebibliothek Statistik Leitseite products/Sources/formale Sprachen/C/Linux/drivers/gpu/drm/radeon/   (Open Source Betriebssystem Version 6.17.9©)  Datei vom 24.10.2025 mit Größe 116 kB image not shown  

Quelle  r100.c   Sprache: C

 
/*
 * Copyright 2008 Advanced Micro Devices, Inc.
 * Copyright 2008 Red Hat Inc.
 * Copyright 2009 Jerome Glisse.
 *
 * Permission is hereby granted, free of charge, to any person obtaining a
 * copy of this software and associated documentation files (the "Software"),
 * to deal in the Software without restriction, including without limitation
 * the rights to use, copy, modify, merge, publish, distribute, sublicense,
 * and/or sell copies of the Software, and to permit persons to whom the
 * Software is furnished to do so, subject to the following conditions:
 *
 * The above copyright notice and this permission notice shall be included in
 * all copies or substantial portions of the Software.
 *
 * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
 * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
 * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
 * THE COPYRIGHT HOLDER(S) OR AUTHOR(S) BE LIABLE FOR ANY CLAIM, DAMAGES OR
 * OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE,
 * ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR
 * OTHER DEALINGS IN THE SOFTWARE.
 *
 * Authors: Dave Airlie
 *          Alex Deucher
 *          Jerome Glisse
 */


#include <linux/debugfs.h>
#include <linux/firmware.h>
#include <linux/module.h>
#include <linux/pci.h>
#include <linux/seq_file.h>
#include <linux/slab.h>

#include <drm/drm_device.h>
#include <drm/drm_file.h>
#include <drm/drm_fourcc.h>
#include <drm/drm_framebuffer.h>
#include <drm/drm_vblank.h>
#include <drm/radeon_drm.h>

#include "atom.h"
#include "r100_reg_safe.h"
#include "r100d.h"
#include "radeon.h"
#include "radeon_asic.h"
#include "radeon_reg.h"
#include "rn50_reg_safe.h"
#include "rs100d.h"
#include "rv200d.h"
#include "rv250d.h"

/* Firmware Names */
#define FIRMWARE_R100  "radeon/R100_cp.bin"
#define FIRMWARE_R200  "radeon/R200_cp.bin"
#define FIRMWARE_R300  "radeon/R300_cp.bin"
#define FIRMWARE_R420  "radeon/R420_cp.bin"
#define FIRMWARE_RS690  "radeon/RS690_cp.bin"
#define FIRMWARE_RS600  "radeon/RS600_cp.bin"
#define FIRMWARE_R520  "radeon/R520_cp.bin"

MODULE_FIRMWARE(FIRMWARE_R100);
MODULE_FIRMWARE(FIRMWARE_R200);
MODULE_FIRMWARE(FIRMWARE_R300);
MODULE_FIRMWARE(FIRMWARE_R420);
MODULE_FIRMWARE(FIRMWARE_RS690);
MODULE_FIRMWARE(FIRMWARE_RS600);
MODULE_FIRMWARE(FIRMWARE_R520);

#include "r100_track.h"

/* This files gather functions specifics to:
 * r100,rv100,rs100,rv200,rs200,r200,rv250,rs300,rv280
 * and others in some cases.
 */


static bool r100_is_in_vblank(struct radeon_device *rdev, int crtc)
{
 if (crtc == 0) {
  if (RREG32(RADEON_CRTC_STATUS) & RADEON_CRTC_VBLANK_CUR)
   return true;
  else
   return false;
 } else {
  if (RREG32(RADEON_CRTC2_STATUS) & RADEON_CRTC2_VBLANK_CUR)
   return true;
  else
   return false;
 }
}

static bool r100_is_counter_moving(struct radeon_device *rdev, int crtc)
{
 u32 vline1, vline2;

 if (crtc == 0) {
  vline1 = (RREG32(RADEON_CRTC_VLINE_CRNT_VLINE) >> 16) & RADEON_CRTC_V_TOTAL;
  vline2 = (RREG32(RADEON_CRTC_VLINE_CRNT_VLINE) >> 16) & RADEON_CRTC_V_TOTAL;
 } else {
  vline1 = (RREG32(RADEON_CRTC2_VLINE_CRNT_VLINE) >> 16) & RADEON_CRTC_V_TOTAL;
  vline2 = (RREG32(RADEON_CRTC2_VLINE_CRNT_VLINE) >> 16) & RADEON_CRTC_V_TOTAL;
 }
 if (vline1 != vline2)
  return true;
 else
  return false;
}

/**
 * r100_wait_for_vblank - vblank wait asic callback.
 *
 * @rdev: radeon_device pointer
 * @crtc: crtc to wait for vblank on
 *
 * Wait for vblank on the requested crtc (r1xx-r4xx).
 */

void r100_wait_for_vblank(struct radeon_device *rdev, int crtc)
{
 unsigned i = 0;

 if (crtc >= rdev->num_crtc)
  return;

 if (crtc == 0) {
  if (!(RREG32(RADEON_CRTC_GEN_CNTL) & RADEON_CRTC_EN))
   return;
 } else {
  if (!(RREG32(RADEON_CRTC2_GEN_CNTL) & RADEON_CRTC2_EN))
   return;
 }

 /* depending on when we hit vblank, we may be close to active; if so,
 * wait for another frame.
 */

 while (r100_is_in_vblank(rdev, crtc)) {
  if (i++ % 100 == 0) {
   if (!r100_is_counter_moving(rdev, crtc))
    break;
  }
 }

 while (!r100_is_in_vblank(rdev, crtc)) {
  if (i++ % 100 == 0) {
   if (!r100_is_counter_moving(rdev, crtc))
    break;
  }
 }
}

/**
 * r100_page_flip - pageflip callback.
 *
 * @rdev: radeon_device pointer
 * @crtc_id: crtc to cleanup pageflip on
 * @crtc_base: new address of the crtc (GPU MC address)
 * @async: asynchronous flip
 *
 * Does the actual pageflip (r1xx-r4xx).
 * During vblank we take the crtc lock and wait for the update_pending
 * bit to go high, when it does, we release the lock, and allow the
 * double buffered update to take place.
 */

void r100_page_flip(struct radeon_device *rdev, int crtc_id, u64 crtc_base, bool async)
{
 struct radeon_crtc *radeon_crtc = rdev->mode_info.crtcs[crtc_id];
 uint32_t crtc_pitch, pitch_pixels;
 struct drm_framebuffer *fb = radeon_crtc->base.primary->fb;
 u32 tmp = ((u32)crtc_base) | RADEON_CRTC_OFFSET__OFFSET_LOCK;
 int i;

 /* Lock the graphics update lock */
 /* update the scanout addresses */
 WREG32(RADEON_CRTC_OFFSET + radeon_crtc->crtc_offset, tmp);

 /* update pitch */
 pitch_pixels = fb->pitches[0] / fb->format->cpp[0];
 crtc_pitch = DIV_ROUND_UP(pitch_pixels * fb->format->cpp[0] * 8,
      fb->format->cpp[0] * 8 * 8);
 crtc_pitch |= crtc_pitch << 16;
 WREG32(RADEON_CRTC_PITCH + radeon_crtc->crtc_offset, crtc_pitch);

 /* Wait for update_pending to go high. */
 for (i = 0; i < rdev->usec_timeout; i++) {
  if (RREG32(RADEON_CRTC_OFFSET + radeon_crtc->crtc_offset) & RADEON_CRTC_OFFSET__GUI_TRIG_OFFSET)
   break;
  udelay(1);
 }
 DRM_DEBUG("Update pending now high. Unlocking vupdate_lock.\n");

 /* Unlock the lock, so double-buffering can take place inside vblank */
 tmp &= ~RADEON_CRTC_OFFSET__OFFSET_LOCK;
 WREG32(RADEON_CRTC_OFFSET + radeon_crtc->crtc_offset, tmp);

}

/**
 * r100_page_flip_pending - check if page flip is still pending
 *
 * @rdev: radeon_device pointer
 * @crtc_id: crtc to check
 *
 * Check if the last pagefilp is still pending (r1xx-r4xx).
 * Returns the current update pending status.
 */

bool r100_page_flip_pending(struct radeon_device *rdev, int crtc_id)
{
 struct radeon_crtc *radeon_crtc = rdev->mode_info.crtcs[crtc_id];

 /* Return current update_pending status: */
 return !!(RREG32(RADEON_CRTC_OFFSET + radeon_crtc->crtc_offset) &
  RADEON_CRTC_OFFSET__GUI_TRIG_OFFSET);
}

/**
 * r100_pm_get_dynpm_state - look up dynpm power state callback.
 *
 * @rdev: radeon_device pointer
 *
 * Look up the optimal power state based on the
 * current state of the GPU (r1xx-r5xx).
 * Used for dynpm only.
 */

void r100_pm_get_dynpm_state(struct radeon_device *rdev)
{
 int i;
 rdev->pm.dynpm_can_upclock = true;
 rdev->pm.dynpm_can_downclock = true;

 switch (rdev->pm.dynpm_planned_action) {
 case DYNPM_ACTION_MINIMUM:
  rdev->pm.requested_power_state_index = 0;
  rdev->pm.dynpm_can_downclock = false;
  break;
 case DYNPM_ACTION_DOWNCLOCK:
  if (rdev->pm.current_power_state_index == 0) {
   rdev->pm.requested_power_state_index = rdev->pm.current_power_state_index;
   rdev->pm.dynpm_can_downclock = false;
  } else {
   if (rdev->pm.active_crtc_count > 1) {
    for (i = 0; i < rdev->pm.num_power_states; i++) {
     if (rdev->pm.power_state[i].flags & RADEON_PM_STATE_SINGLE_DISPLAY_ONLY)
      continue;
     else if (i >= rdev->pm.current_power_state_index) {
      rdev->pm.requested_power_state_index = rdev->pm.current_power_state_index;
      break;
     } else {
      rdev->pm.requested_power_state_index = i;
      break;
     }
    }
   } else
    rdev->pm.requested_power_state_index =
     rdev->pm.current_power_state_index - 1;
  }
  /* don't use the power state if crtcs are active and no display flag is set */
  if ((rdev->pm.active_crtc_count > 0) &&
      (rdev->pm.power_state[rdev->pm.requested_power_state_index].clock_info[0].flags &
       RADEON_PM_MODE_NO_DISPLAY)) {
   rdev->pm.requested_power_state_index++;
  }
  break;
 case DYNPM_ACTION_UPCLOCK:
  if (rdev->pm.current_power_state_index == (rdev->pm.num_power_states - 1)) {
   rdev->pm.requested_power_state_index = rdev->pm.current_power_state_index;
   rdev->pm.dynpm_can_upclock = false;
  } else {
   if (rdev->pm.active_crtc_count > 1) {
    for (i = (rdev->pm.num_power_states - 1); i >= 0; i--) {
     if (rdev->pm.power_state[i].flags & RADEON_PM_STATE_SINGLE_DISPLAY_ONLY)
      continue;
     else if (i <= rdev->pm.current_power_state_index) {
      rdev->pm.requested_power_state_index = rdev->pm.current_power_state_index;
      break;
     } else {
      rdev->pm.requested_power_state_index = i;
      break;
     }
    }
   } else
    rdev->pm.requested_power_state_index =
     rdev->pm.current_power_state_index + 1;
  }
  break;
 case DYNPM_ACTION_DEFAULT:
  rdev->pm.requested_power_state_index = rdev->pm.default_power_state_index;
  rdev->pm.dynpm_can_upclock = false;
  break;
 case DYNPM_ACTION_NONE:
 default:
  DRM_ERROR("Requested mode for not defined action\n");
  return;
 }
 /* only one clock mode per power state */
 rdev->pm.requested_clock_mode_index = 0;

 DRM_DEBUG_DRIVER("Requested: e: %d m: %d p: %d\n",
    rdev->pm.power_state[rdev->pm.requested_power_state_index].
    clock_info[rdev->pm.requested_clock_mode_index].sclk,
    rdev->pm.power_state[rdev->pm.requested_power_state_index].
    clock_info[rdev->pm.requested_clock_mode_index].mclk,
    rdev->pm.power_state[rdev->pm.requested_power_state_index].
    pcie_lanes);
}

/**
 * r100_pm_init_profile - Initialize power profiles callback.
 *
 * @rdev: radeon_device pointer
 *
 * Initialize the power states used in profile mode
 * (r1xx-r3xx).
 * Used for profile mode only.
 */

void r100_pm_init_profile(struct radeon_device *rdev)
{
 /* default */
 rdev->pm.profiles[PM_PROFILE_DEFAULT_IDX].dpms_off_ps_idx = rdev->pm.default_power_state_index;
 rdev->pm.profiles[PM_PROFILE_DEFAULT_IDX].dpms_on_ps_idx = rdev->pm.default_power_state_index;
 rdev->pm.profiles[PM_PROFILE_DEFAULT_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_DEFAULT_IDX].dpms_on_cm_idx = 0;
 /* low sh */
 rdev->pm.profiles[PM_PROFILE_LOW_SH_IDX].dpms_off_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_LOW_SH_IDX].dpms_on_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_LOW_SH_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_LOW_SH_IDX].dpms_on_cm_idx = 0;
 /* mid sh */
 rdev->pm.profiles[PM_PROFILE_MID_SH_IDX].dpms_off_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_MID_SH_IDX].dpms_on_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_MID_SH_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_MID_SH_IDX].dpms_on_cm_idx = 0;
 /* high sh */
 rdev->pm.profiles[PM_PROFILE_HIGH_SH_IDX].dpms_off_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_HIGH_SH_IDX].dpms_on_ps_idx = rdev->pm.default_power_state_index;
 rdev->pm.profiles[PM_PROFILE_HIGH_SH_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_HIGH_SH_IDX].dpms_on_cm_idx = 0;
 /* low mh */
 rdev->pm.profiles[PM_PROFILE_LOW_MH_IDX].dpms_off_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_LOW_MH_IDX].dpms_on_ps_idx = rdev->pm.default_power_state_index;
 rdev->pm.profiles[PM_PROFILE_LOW_MH_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_LOW_MH_IDX].dpms_on_cm_idx = 0;
 /* mid mh */
 rdev->pm.profiles[PM_PROFILE_MID_MH_IDX].dpms_off_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_MID_MH_IDX].dpms_on_ps_idx = rdev->pm.default_power_state_index;
 rdev->pm.profiles[PM_PROFILE_MID_MH_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_MID_MH_IDX].dpms_on_cm_idx = 0;
 /* high mh */
 rdev->pm.profiles[PM_PROFILE_HIGH_MH_IDX].dpms_off_ps_idx = 0;
 rdev->pm.profiles[PM_PROFILE_HIGH_MH_IDX].dpms_on_ps_idx = rdev->pm.default_power_state_index;
 rdev->pm.profiles[PM_PROFILE_HIGH_MH_IDX].dpms_off_cm_idx = 0;
 rdev->pm.profiles[PM_PROFILE_HIGH_MH_IDX].dpms_on_cm_idx = 0;
}

/**
 * r100_pm_misc - set additional pm hw parameters callback.
 *
 * @rdev: radeon_device pointer
 *
 * Set non-clock parameters associated with a power state
 * (voltage, pcie lanes, etc.) (r1xx-r4xx).
 */

void r100_pm_misc(struct radeon_device *rdev)
{
 int requested_index = rdev->pm.requested_power_state_index;
 struct radeon_power_state *ps = &rdev->pm.power_state[requested_index];
 struct radeon_voltage *voltage = &ps->clock_info[0].voltage;
 u32 tmp, sclk_cntl, sclk_cntl2, sclk_more_cntl;

 if ((voltage->type == VOLTAGE_GPIO) && (voltage->gpio.valid)) {
  if (ps->misc & ATOM_PM_MISCINFO_VOLTAGE_DROP_SUPPORT) {
   tmp = RREG32(voltage->gpio.reg);
   if (voltage->active_high)
    tmp |= voltage->gpio.mask;
   else
    tmp &= ~(voltage->gpio.mask);
   WREG32(voltage->gpio.reg, tmp);
   if (voltage->delay)
    udelay(voltage->delay);
  } else {
   tmp = RREG32(voltage->gpio.reg);
   if (voltage->active_high)
    tmp &= ~voltage->gpio.mask;
   else
    tmp |= voltage->gpio.mask;
   WREG32(voltage->gpio.reg, tmp);
   if (voltage->delay)
    udelay(voltage->delay);
  }
 }

 sclk_cntl = RREG32_PLL(SCLK_CNTL);
 sclk_cntl2 = RREG32_PLL(SCLK_CNTL2);
 sclk_cntl2 &= ~REDUCED_SPEED_SCLK_SEL(3);
 sclk_more_cntl = RREG32_PLL(SCLK_MORE_CNTL);
 sclk_more_cntl &= ~VOLTAGE_DELAY_SEL(3);
 if (ps->misc & ATOM_PM_MISCINFO_ASIC_REDUCED_SPEED_SCLK_EN) {
  sclk_more_cntl |= REDUCED_SPEED_SCLK_EN;
  if (ps->misc & ATOM_PM_MISCINFO_DYN_CLK_3D_IDLE)
   sclk_cntl2 |= REDUCED_SPEED_SCLK_MODE;
  else
   sclk_cntl2 &= ~REDUCED_SPEED_SCLK_MODE;
  if (ps->misc & ATOM_PM_MISCINFO_DYNAMIC_CLOCK_DIVIDER_BY_2)
   sclk_cntl2 |= REDUCED_SPEED_SCLK_SEL(0);
  else if (ps->misc & ATOM_PM_MISCINFO_DYNAMIC_CLOCK_DIVIDER_BY_4)
   sclk_cntl2 |= REDUCED_SPEED_SCLK_SEL(2);
 } else
  sclk_more_cntl &= ~REDUCED_SPEED_SCLK_EN;

 if (ps->misc & ATOM_PM_MISCINFO_ASIC_DYNAMIC_VOLTAGE_EN) {
  sclk_more_cntl |= IO_CG_VOLTAGE_DROP;
  if (voltage->delay) {
   sclk_more_cntl |= VOLTAGE_DROP_SYNC;
   switch (voltage->delay) {
   case 33:
    sclk_more_cntl |= VOLTAGE_DELAY_SEL(0);
    break;
   case 66:
    sclk_more_cntl |= VOLTAGE_DELAY_SEL(1);
    break;
   case 99:
    sclk_more_cntl |= VOLTAGE_DELAY_SEL(2);
    break;
   case 132:
    sclk_more_cntl |= VOLTAGE_DELAY_SEL(3);
    break;
   }
  } else
   sclk_more_cntl &= ~VOLTAGE_DROP_SYNC;
 } else
  sclk_more_cntl &= ~IO_CG_VOLTAGE_DROP;

 if (ps->misc & ATOM_PM_MISCINFO_DYNAMIC_HDP_BLOCK_EN)
  sclk_cntl &= ~FORCE_HDP;
 else
  sclk_cntl |= FORCE_HDP;

 WREG32_PLL(SCLK_CNTL, sclk_cntl);
 WREG32_PLL(SCLK_CNTL2, sclk_cntl2);
 WREG32_PLL(SCLK_MORE_CNTL, sclk_more_cntl);

 /* set pcie lanes */
 if ((rdev->flags & RADEON_IS_PCIE) &&
     !(rdev->flags & RADEON_IS_IGP) &&
     rdev->asic->pm.set_pcie_lanes &&
     (ps->pcie_lanes !=
      rdev->pm.power_state[rdev->pm.current_power_state_index].pcie_lanes)) {
  radeon_set_pcie_lanes(rdev,
          ps->pcie_lanes);
  DRM_DEBUG_DRIVER("Setting: p: %d\n", ps->pcie_lanes);
 }
}

/**
 * r100_pm_prepare - pre-power state change callback.
 *
 * @rdev: radeon_device pointer
 *
 * Prepare for a power state change (r1xx-r4xx).
 */

void r100_pm_prepare(struct radeon_device *rdev)
{
 struct drm_device *ddev = rdev_to_drm(rdev);
 struct drm_crtc *crtc;
 struct radeon_crtc *radeon_crtc;
 u32 tmp;

 /* disable any active CRTCs */
 list_for_each_entry(crtc, &ddev->mode_config.crtc_list, head) {
  radeon_crtc = to_radeon_crtc(crtc);
  if (radeon_crtc->enabled) {
   if (radeon_crtc->crtc_id) {
    tmp = RREG32(RADEON_CRTC2_GEN_CNTL);
    tmp |= RADEON_CRTC2_DISP_REQ_EN_B;
    WREG32(RADEON_CRTC2_GEN_CNTL, tmp);
   } else {
    tmp = RREG32(RADEON_CRTC_GEN_CNTL);
    tmp |= RADEON_CRTC_DISP_REQ_EN_B;
    WREG32(RADEON_CRTC_GEN_CNTL, tmp);
   }
  }
 }
}

/**
 * r100_pm_finish - post-power state change callback.
 *
 * @rdev: radeon_device pointer
 *
 * Clean up after a power state change (r1xx-r4xx).
 */

void r100_pm_finish(struct radeon_device *rdev)
{
 struct drm_device *ddev = rdev_to_drm(rdev);
 struct drm_crtc *crtc;
 struct radeon_crtc *radeon_crtc;
 u32 tmp;

 /* enable any active CRTCs */
 list_for_each_entry(crtc, &ddev->mode_config.crtc_list, head) {
  radeon_crtc = to_radeon_crtc(crtc);
  if (radeon_crtc->enabled) {
   if (radeon_crtc->crtc_id) {
    tmp = RREG32(RADEON_CRTC2_GEN_CNTL);
    tmp &= ~RADEON_CRTC2_DISP_REQ_EN_B;
    WREG32(RADEON_CRTC2_GEN_CNTL, tmp);
   } else {
    tmp = RREG32(RADEON_CRTC_GEN_CNTL);
    tmp &= ~RADEON_CRTC_DISP_REQ_EN_B;
    WREG32(RADEON_CRTC_GEN_CNTL, tmp);
   }
  }
 }
}

/**
 * r100_gui_idle - gui idle callback.
 *
 * @rdev: radeon_device pointer
 *
 * Check of the GUI (2D/3D engines) are idle (r1xx-r5xx).
 * Returns true if idle, false if not.
 */

bool r100_gui_idle(struct radeon_device *rdev)
{
 if (RREG32(RADEON_RBBM_STATUS) & RADEON_RBBM_ACTIVE)
  return false;
 else
  return true;
}

/* hpd for digital panel detect/disconnect */
/**
 * r100_hpd_sense - hpd sense callback.
 *
 * @rdev: radeon_device pointer
 * @hpd: hpd (hotplug detect) pin
 *
 * Checks if a digital monitor is connected (r1xx-r4xx).
 * Returns true if connected, false if not connected.
 */

bool r100_hpd_sense(struct radeon_device *rdev, enum radeon_hpd_id hpd)
{
 bool connected = false;

 switch (hpd) {
 case RADEON_HPD_1:
  if (RREG32(RADEON_FP_GEN_CNTL) & RADEON_FP_DETECT_SENSE)
   connected = true;
  break;
 case RADEON_HPD_2:
  if (RREG32(RADEON_FP2_GEN_CNTL) & RADEON_FP2_DETECT_SENSE)
   connected = true;
  break;
 default:
  break;
 }
 return connected;
}

/**
 * r100_hpd_set_polarity - hpd set polarity callback.
 *
 * @rdev: radeon_device pointer
 * @hpd: hpd (hotplug detect) pin
 *
 * Set the polarity of the hpd pin (r1xx-r4xx).
 */

void r100_hpd_set_polarity(struct radeon_device *rdev,
      enum radeon_hpd_id hpd)
{
 u32 tmp;
 bool connected = r100_hpd_sense(rdev, hpd);

 switch (hpd) {
 case RADEON_HPD_1:
  tmp = RREG32(RADEON_FP_GEN_CNTL);
  if (connected)
   tmp &= ~RADEON_FP_DETECT_INT_POL;
  else
   tmp |= RADEON_FP_DETECT_INT_POL;
  WREG32(RADEON_FP_GEN_CNTL, tmp);
  break;
 case RADEON_HPD_2:
  tmp = RREG32(RADEON_FP2_GEN_CNTL);
  if (connected)
   tmp &= ~RADEON_FP2_DETECT_INT_POL;
  else
   tmp |= RADEON_FP2_DETECT_INT_POL;
  WREG32(RADEON_FP2_GEN_CNTL, tmp);
  break;
 default:
  break;
 }
}

/**
 * r100_hpd_init - hpd setup callback.
 *
 * @rdev: radeon_device pointer
 *
 * Setup the hpd pins used by the card (r1xx-r4xx).
 * Set the polarity, and enable the hpd interrupts.
 */

void r100_hpd_init(struct radeon_device *rdev)
{
 struct drm_device *dev = rdev_to_drm(rdev);
 struct drm_connector *connector;
 unsigned enable = 0;

 list_for_each_entry(connector, &dev->mode_config.connector_list, head) {
  struct radeon_connector *radeon_connector = to_radeon_connector(connector);
  if (radeon_connector->hpd.hpd != RADEON_HPD_NONE)
   enable |= 1 << radeon_connector->hpd.hpd;
  radeon_hpd_set_polarity(rdev, radeon_connector->hpd.hpd);
 }
 radeon_irq_kms_enable_hpd(rdev, enable);
}

/**
 * r100_hpd_fini - hpd tear down callback.
 *
 * @rdev: radeon_device pointer
 *
 * Tear down the hpd pins used by the card (r1xx-r4xx).
 * Disable the hpd interrupts.
 */

void r100_hpd_fini(struct radeon_device *rdev)
{
 struct drm_device *dev = rdev_to_drm(rdev);
 struct drm_connector *connector;
 unsigned disable = 0;

 list_for_each_entry(connector, &dev->mode_config.connector_list, head) {
  struct radeon_connector *radeon_connector = to_radeon_connector(connector);
  if (radeon_connector->hpd.hpd != RADEON_HPD_NONE)
   disable |= 1 << radeon_connector->hpd.hpd;
 }
 radeon_irq_kms_disable_hpd(rdev, disable);
}

/*
 * PCI GART
 */

void r100_pci_gart_tlb_flush(struct radeon_device *rdev)
{
 /* TODO: can we do somethings here ? */
 /* It seems hw only cache one entry so we should discard this
 * entry otherwise if first GPU GART read hit this entry it
 * could end up in wrong address. */

}

int r100_pci_gart_init(struct radeon_device *rdev)
{
 int r;

 if (rdev->gart.ptr) {
  WARN(1, "R100 PCI GART already initialized\n");
  return 0;
 }
 /* Initialize common gart structure */
 r = radeon_gart_init(rdev);
 if (r)
  return r;
 rdev->gart.table_size = rdev->gart.num_gpu_pages * 4;
 rdev->asic->gart.tlb_flush = &r100_pci_gart_tlb_flush;
 rdev->asic->gart.get_page_entry = &r100_pci_gart_get_page_entry;
 rdev->asic->gart.set_page = &r100_pci_gart_set_page;
 return radeon_gart_table_ram_alloc(rdev);
}

int r100_pci_gart_enable(struct radeon_device *rdev)
{
 uint32_t tmp;

 /* discard memory request outside of configured range */
 tmp = RREG32(RADEON_AIC_CNTL) | RADEON_DIS_OUT_OF_PCI_GART_ACCESS;
 WREG32(RADEON_AIC_CNTL, tmp);
 /* set address range for PCI address translate */
 WREG32(RADEON_AIC_LO_ADDR, rdev->mc.gtt_start);
 WREG32(RADEON_AIC_HI_ADDR, rdev->mc.gtt_end);
 /* set PCI GART page-table base address */
 WREG32(RADEON_AIC_PT_BASE, rdev->gart.table_addr);
 tmp = RREG32(RADEON_AIC_CNTL) | RADEON_PCIGART_TRANSLATE_EN;
 WREG32(RADEON_AIC_CNTL, tmp);
 r100_pci_gart_tlb_flush(rdev);
 DRM_INFO("PCI GART of %uM enabled (table at 0x%016llX).\n",
   (unsigned)(rdev->mc.gtt_size >> 20),
   (unsigned long long)rdev->gart.table_addr);
 rdev->gart.ready = true;
 return 0;
}

void r100_pci_gart_disable(struct radeon_device *rdev)
{
 uint32_t tmp;

 /* discard memory request outside of configured range */
 tmp = RREG32(RADEON_AIC_CNTL) | RADEON_DIS_OUT_OF_PCI_GART_ACCESS;
 WREG32(RADEON_AIC_CNTL, tmp & ~RADEON_PCIGART_TRANSLATE_EN);
 WREG32(RADEON_AIC_LO_ADDR, 0);
 WREG32(RADEON_AIC_HI_ADDR, 0);
}

uint64_t r100_pci_gart_get_page_entry(uint64_t addr, uint32_t flags)
{
 return addr;
}

void r100_pci_gart_set_page(struct radeon_device *rdev, unsigned i,
       uint64_t entry)
{
 u32 *gtt = rdev->gart.ptr;
 gtt[i] = cpu_to_le32(lower_32_bits(entry));
}

void r100_pci_gart_fini(struct radeon_device *rdev)
{
 radeon_gart_fini(rdev);
 r100_pci_gart_disable(rdev);
 radeon_gart_table_ram_free(rdev);
}

int r100_irq_set(struct radeon_device *rdev)
{
 uint32_t tmp = 0;

 if (!rdev->irq.installed) {
  WARN(1, "Can't enable IRQ/MSI because no handler is installed\n");
  WREG32(R_000040_GEN_INT_CNTL, 0);
  return -EINVAL;
 }
 if (atomic_read(&rdev->irq.ring_int[RADEON_RING_TYPE_GFX_INDEX])) {
  tmp |= RADEON_SW_INT_ENABLE;
 }
 if (rdev->irq.crtc_vblank_int[0] ||
     atomic_read(&rdev->irq.pflip[0])) {
  tmp |= RADEON_CRTC_VBLANK_MASK;
 }
 if (rdev->irq.crtc_vblank_int[1] ||
     atomic_read(&rdev->irq.pflip[1])) {
  tmp |= RADEON_CRTC2_VBLANK_MASK;
 }
 if (rdev->irq.hpd[0]) {
  tmp |= RADEON_FP_DETECT_MASK;
 }
 if (rdev->irq.hpd[1]) {
  tmp |= RADEON_FP2_DETECT_MASK;
 }
 WREG32(RADEON_GEN_INT_CNTL, tmp);

 /* read back to post the write */
 RREG32(RADEON_GEN_INT_CNTL);

 return 0;
}

void r100_irq_disable(struct radeon_device *rdev)
{
 u32 tmp;

 WREG32(R_000040_GEN_INT_CNTL, 0);
 /* Wait and acknowledge irq */
 mdelay(1);
 tmp = RREG32(R_000044_GEN_INT_STATUS);
 WREG32(R_000044_GEN_INT_STATUS, tmp);
}

static uint32_t r100_irq_ack(struct radeon_device *rdev)
{
 uint32_t irqs = RREG32(RADEON_GEN_INT_STATUS);
 uint32_t irq_mask = RADEON_SW_INT_TEST |
  RADEON_CRTC_VBLANK_STAT | RADEON_CRTC2_VBLANK_STAT |
  RADEON_FP_DETECT_STAT | RADEON_FP2_DETECT_STAT;

 if (irqs) {
  WREG32(RADEON_GEN_INT_STATUS, irqs);
 }
 return irqs & irq_mask;
}

int r100_irq_process(struct radeon_device *rdev)
{
 uint32_t status, msi_rearm;
 bool queue_hotplug = false;

 status = r100_irq_ack(rdev);
 if (!status) {
  return IRQ_NONE;
 }
 if (rdev->shutdown) {
  return IRQ_NONE;
 }
 while (status) {
  /* SW interrupt */
  if (status & RADEON_SW_INT_TEST) {
   radeon_fence_process(rdev, RADEON_RING_TYPE_GFX_INDEX);
  }
  /* Vertical blank interrupts */
  if (status & RADEON_CRTC_VBLANK_STAT) {
   if (rdev->irq.crtc_vblank_int[0]) {
    drm_handle_vblank(rdev_to_drm(rdev), 0);
    rdev->pm.vblank_sync = true;
    wake_up(&rdev->irq.vblank_queue);
   }
   if (atomic_read(&rdev->irq.pflip[0]))
    radeon_crtc_handle_vblank(rdev, 0);
  }
  if (status & RADEON_CRTC2_VBLANK_STAT) {
   if (rdev->irq.crtc_vblank_int[1]) {
    drm_handle_vblank(rdev_to_drm(rdev), 1);
    rdev->pm.vblank_sync = true;
    wake_up(&rdev->irq.vblank_queue);
   }
   if (atomic_read(&rdev->irq.pflip[1]))
    radeon_crtc_handle_vblank(rdev, 1);
  }
  if (status & RADEON_FP_DETECT_STAT) {
   queue_hotplug = true;
   DRM_DEBUG("HPD1\n");
  }
  if (status & RADEON_FP2_DETECT_STAT) {
   queue_hotplug = true;
   DRM_DEBUG("HPD2\n");
  }
  status = r100_irq_ack(rdev);
 }
 if (queue_hotplug)
  schedule_delayed_work(&rdev->hotplug_work, 0);
 if (rdev->msi_enabled) {
  switch (rdev->family) {
  case CHIP_RS400:
  case CHIP_RS480:
   msi_rearm = RREG32(RADEON_AIC_CNTL) & ~RS400_MSI_REARM;
   WREG32(RADEON_AIC_CNTL, msi_rearm);
   WREG32(RADEON_AIC_CNTL, msi_rearm | RS400_MSI_REARM);
   break;
  default:
   WREG32(RADEON_MSI_REARM_EN, RV370_MSI_REARM_EN);
   break;
  }
 }
 return IRQ_HANDLED;
}

u32 r100_get_vblank_counter(struct radeon_device *rdev, int crtc)
{
 if (crtc == 0)
  return RREG32(RADEON_CRTC_CRNT_FRAME);
 else
  return RREG32(RADEON_CRTC2_CRNT_FRAME);
}

/**
 * r100_ring_hdp_flush - flush Host Data Path via the ring buffer
 * @rdev: radeon device structure
 * @ring: ring buffer struct for emitting packets
 */

static void r100_ring_hdp_flush(struct radeon_device *rdev, struct radeon_ring *ring)
{
 radeon_ring_write(ring, PACKET0(RADEON_HOST_PATH_CNTL, 0));
 radeon_ring_write(ring, rdev->config.r100.hdp_cntl |
    RADEON_HDP_READ_BUFFER_INVALIDATE);
 radeon_ring_write(ring, PACKET0(RADEON_HOST_PATH_CNTL, 0));
 radeon_ring_write(ring, rdev->config.r100.hdp_cntl);
}

/* Who ever call radeon_fence_emit should call ring_lock and ask
 * for enough space (today caller are ib schedule and buffer move) */

void r100_fence_ring_emit(struct radeon_device *rdev,
     struct radeon_fence *fence)
{
 struct radeon_ring *ring = &rdev->ring[fence->ring];

 /* We have to make sure that caches are flushed before
 * CPU might read something from VRAM. */

 radeon_ring_write(ring, PACKET0(RADEON_RB3D_DSTCACHE_CTLSTAT, 0));
 radeon_ring_write(ring, RADEON_RB3D_DC_FLUSH_ALL);
 radeon_ring_write(ring, PACKET0(RADEON_RB3D_ZCACHE_CTLSTAT, 0));
 radeon_ring_write(ring, RADEON_RB3D_ZC_FLUSH_ALL);
 /* Wait until IDLE & CLEAN */
 radeon_ring_write(ring, PACKET0(RADEON_WAIT_UNTIL, 0));
 radeon_ring_write(ring, RADEON_WAIT_2D_IDLECLEAN | RADEON_WAIT_3D_IDLECLEAN);
 r100_ring_hdp_flush(rdev, ring);
 /* Emit fence sequence & fire IRQ */
 radeon_ring_write(ring, PACKET0(rdev->fence_drv[fence->ring].scratch_reg, 0));
 radeon_ring_write(ring, fence->seq);
 radeon_ring_write(ring, PACKET0(RADEON_GEN_INT_STATUS, 0));
 radeon_ring_write(ring, RADEON_SW_INT_FIRE);
}

bool r100_semaphore_ring_emit(struct radeon_device *rdev,
         struct radeon_ring *ring,
         struct radeon_semaphore *semaphore,
         bool emit_wait)
{
 /* Unused on older asics, since we don't have semaphores or multiple rings */
 BUG();
 return false;
}

struct radeon_fence *r100_copy_blit(struct radeon_device *rdev,
        uint64_t src_offset,
        uint64_t dst_offset,
        unsigned num_gpu_pages,
        struct dma_resv *resv)
{
 struct radeon_ring *ring = &rdev->ring[RADEON_RING_TYPE_GFX_INDEX];
 struct radeon_fence *fence;
 uint32_t cur_pages;
 uint32_t stride_bytes = RADEON_GPU_PAGE_SIZE;
 uint32_t pitch;
 uint32_t stride_pixels;
 unsigned ndw;
 int num_loops;
 int r = 0;

 /* radeon limited to 16k stride */
 stride_bytes &= 0x3fff;
 /* radeon pitch is /64 */
 pitch = stride_bytes / 64;
 stride_pixels = stride_bytes / 4;
 num_loops = DIV_ROUND_UP(num_gpu_pages, 8191);

 /* Ask for enough room for blit + flush + fence */
 ndw = 64 + (10 * num_loops);
 r = radeon_ring_lock(rdev, ring, ndw);
 if (r) {
  DRM_ERROR("radeon: moving bo (%d) asking for %u dw.\n", r, ndw);
  return ERR_PTR(-EINVAL);
 }
 while (num_gpu_pages > 0) {
  cur_pages = num_gpu_pages;
  if (cur_pages > 8191) {
   cur_pages = 8191;
  }
  num_gpu_pages -= cur_pages;

  /* pages are in Y direction - height
   page width in X direction - width */

  radeon_ring_write(ring, PACKET3(PACKET3_BITBLT_MULTI, 8));
  radeon_ring_write(ring,
      RADEON_GMC_SRC_PITCH_OFFSET_CNTL |
      RADEON_GMC_DST_PITCH_OFFSET_CNTL |
      RADEON_GMC_SRC_CLIPPING |
      RADEON_GMC_DST_CLIPPING |
      RADEON_GMC_BRUSH_NONE |
      (RADEON_COLOR_FORMAT_ARGB8888 << 8) |
      RADEON_GMC_SRC_DATATYPE_COLOR |
      RADEON_ROP3_S |
      RADEON_DP_SRC_SOURCE_MEMORY |
      RADEON_GMC_CLR_CMP_CNTL_DIS |
      RADEON_GMC_WR_MSK_DIS);
  radeon_ring_write(ring, (pitch << 22) | (src_offset >> 10));
  radeon_ring_write(ring, (pitch << 22) | (dst_offset >> 10));
  radeon_ring_write(ring, (0x1fff) | (0x1fff << 16));
  radeon_ring_write(ring, 0);
  radeon_ring_write(ring, (0x1fff) | (0x1fff << 16));
  radeon_ring_write(ring, num_gpu_pages);
  radeon_ring_write(ring, num_gpu_pages);
  radeon_ring_write(ring, cur_pages | (stride_pixels << 16));
 }
 radeon_ring_write(ring, PACKET0(RADEON_DSTCACHE_CTLSTAT, 0));
 radeon_ring_write(ring, RADEON_RB2D_DC_FLUSH_ALL);
 radeon_ring_write(ring, PACKET0(RADEON_WAIT_UNTIL, 0));
 radeon_ring_write(ring,
     RADEON_WAIT_2D_IDLECLEAN |
     RADEON_WAIT_HOST_IDLECLEAN |
     RADEON_WAIT_DMA_GUI_IDLE);
 r = radeon_fence_emit(rdev, &fence, RADEON_RING_TYPE_GFX_INDEX);
 if (r) {
  radeon_ring_unlock_undo(rdev, ring);
  return ERR_PTR(r);
 }
 radeon_ring_unlock_commit(rdev, ring, false);
 return fence;
}

static int r100_cp_wait_for_idle(struct radeon_device *rdev)
{
 unsigned i;
 u32 tmp;

 for (i = 0; i < rdev->usec_timeout; i++) {
  tmp = RREG32(R_000E40_RBBM_STATUS);
  if (!G_000E40_CP_CMDSTRM_BUSY(tmp)) {
   return 0;
  }
  udelay(1);
 }
 return -1;
}

void r100_ring_start(struct radeon_device *rdev, struct radeon_ring *ring)
{
 int r;

 r = radeon_ring_lock(rdev, ring, 2);
 if (r) {
  return;
 }
 radeon_ring_write(ring, PACKET0(RADEON_ISYNC_CNTL, 0));
 radeon_ring_write(ring,
     RADEON_ISYNC_ANY2D_IDLE3D |
     RADEON_ISYNC_ANY3D_IDLE2D |
     RADEON_ISYNC_WAIT_IDLEGUI |
     RADEON_ISYNC_CPSCRATCH_IDLEGUI);
 radeon_ring_unlock_commit(rdev, ring, false);
}


/* Load the microcode for the CP */
static int r100_cp_init_microcode(struct radeon_device *rdev)
{
 const char *fw_name = NULL;
 int err;

 DRM_DEBUG_KMS("\n");

 switch (rdev->family) {
 case CHIP_R100:
 case CHIP_RV100:
 case CHIP_RV200:
 case CHIP_RS100:
 case CHIP_RS200:
  DRM_INFO("Loading R100 Microcode\n");
  fw_name = FIRMWARE_R100;
  break;

 case CHIP_R200:
 case CHIP_RV250:
 case CHIP_RV280:
 case CHIP_RS300:
  DRM_INFO("Loading R200 Microcode\n");
  fw_name = FIRMWARE_R200;
  break;

 case CHIP_R300:
 case CHIP_R350:
 case CHIP_RV350:
 case CHIP_RV380:
 case CHIP_RS400:
 case CHIP_RS480:
  DRM_INFO("Loading R300 Microcode\n");
  fw_name = FIRMWARE_R300;
  break;

 case CHIP_R420:
 case CHIP_R423:
 case CHIP_RV410:
  DRM_INFO("Loading R400 Microcode\n");
  fw_name = FIRMWARE_R420;
  break;

 case CHIP_RS690:
 case CHIP_RS740:
  DRM_INFO("Loading RS690/RS740 Microcode\n");
  fw_name = FIRMWARE_RS690;
  break;

 case CHIP_RS600:
  DRM_INFO("Loading RS600 Microcode\n");
  fw_name = FIRMWARE_RS600;
  break;

 case CHIP_RV515:
 case CHIP_R520:
 case CHIP_RV530:
 case CHIP_R580:
 case CHIP_RV560:
 case CHIP_RV570:
  DRM_INFO("Loading R500 Microcode\n");
  fw_name = FIRMWARE_R520;
  break;

 default:
  DRM_ERROR("Unsupported Radeon family %u\n", rdev->family);
  return -EINVAL;
 }

 err = request_firmware(&rdev->me_fw, fw_name, rdev->dev);
 if (err) {
  pr_err("radeon_cp: Failed to load firmware \"%s\"\n", fw_name);
 } else if (rdev->me_fw->size % 8) {
  pr_err("radeon_cp: Bogus length %zu in firmware \"%s\"\n",
         rdev->me_fw->size, fw_name);
  err = -EINVAL;
  release_firmware(rdev->me_fw);
  rdev->me_fw = NULL;
 }
 return err;
}

u32 r100_gfx_get_rptr(struct radeon_device *rdev,
        struct radeon_ring *ring)
{
 u32 rptr;

 if (rdev->wb.enabled)
  rptr = le32_to_cpu(rdev->wb.wb[ring->rptr_offs/4]);
 else
  rptr = RREG32(RADEON_CP_RB_RPTR);

 return rptr;
}

u32 r100_gfx_get_wptr(struct radeon_device *rdev,
        struct radeon_ring *ring)
{
 return RREG32(RADEON_CP_RB_WPTR);
}

void r100_gfx_set_wptr(struct radeon_device *rdev,
         struct radeon_ring *ring)
{
 WREG32(RADEON_CP_RB_WPTR, ring->wptr);
 (void)RREG32(RADEON_CP_RB_WPTR);
}

static void r100_cp_load_microcode(struct radeon_device *rdev)
{
 const __be32 *fw_data;
 int i, size;

 if (r100_gui_wait_for_idle(rdev)) {
  pr_warn("Failed to wait GUI idle while programming pipes. Bad things might happen.\n");
 }

 if (rdev->me_fw) {
  size = rdev->me_fw->size / 4;
  fw_data = (const __be32 *)&rdev->me_fw->data[0];
  WREG32(RADEON_CP_ME_RAM_ADDR, 0);
  for (i = 0; i < size; i += 2) {
   WREG32(RADEON_CP_ME_RAM_DATAH,
          be32_to_cpup(&fw_data[i]));
   WREG32(RADEON_CP_ME_RAM_DATAL,
          be32_to_cpup(&fw_data[i + 1]));
  }
 }
}

int r100_cp_init(struct radeon_device *rdev, unsigned ring_size)
{
 struct radeon_ring *ring = &rdev->ring[RADEON_RING_TYPE_GFX_INDEX];
 unsigned rb_bufsz;
 unsigned rb_blksz;
 unsigned max_fetch;
 unsigned pre_write_timer;
 unsigned pre_write_limit;
 unsigned indirect2_start;
 unsigned indirect1_start;
 uint32_t tmp;
 int r;

 r100_debugfs_cp_init(rdev);
 if (!rdev->me_fw) {
  r = r100_cp_init_microcode(rdev);
  if (r) {
   DRM_ERROR("Failed to load firmware!\n");
   return r;
  }
 }

 /* Align ring size */
 rb_bufsz = order_base_2(ring_size / 8);
 ring_size = (1 << (rb_bufsz + 1)) * 4;
 r100_cp_load_microcode(rdev);
 r = radeon_ring_init(rdev, ring, ring_size, RADEON_WB_CP_RPTR_OFFSET,
        RADEON_CP_PACKET2);
 if (r) {
  return r;
 }
 /* Each time the cp read 1024 bytes (16 dword/quadword) update
 * the rptr copy in system ram */

 rb_blksz = 9;
 /* cp will read 128bytes at a time (4 dwords) */
 max_fetch = 1;
 ring->align_mask = 16 - 1;
 /* Write to CP_RB_WPTR will be delayed for pre_write_timer clocks */
 pre_write_timer = 64;
 /* Force CP_RB_WPTR write if written more than one time before the
 * delay expire
 */

 pre_write_limit = 0;
 /* Setup the cp cache like this (cache size is 96 dwords) :
 * RING 0  to 15
 * INDIRECT1 16 to 79
 * INDIRECT2 80 to 95
 * So ring cache size is 16dwords (> (2 * max_fetch = 2 * 4dwords))
 *    indirect1 cache size is 64dwords (> (2 * max_fetch = 2 * 4dwords))
 *    indirect2 cache size is 16dwords (> (2 * max_fetch = 2 * 4dwords))
 * Idea being that most of the gpu cmd will be through indirect1 buffer
 * so it gets the bigger cache.
 */

 indirect2_start = 80;
 indirect1_start = 16;
 /* cp setup */
 WREG32(0x718, pre_write_timer | (pre_write_limit << 28));
 tmp = (REG_SET(RADEON_RB_BUFSZ, rb_bufsz) |
        REG_SET(RADEON_RB_BLKSZ, rb_blksz) |
        REG_SET(RADEON_MAX_FETCH, max_fetch));
#ifdef __BIG_ENDIAN
 tmp |= RADEON_BUF_SWAP_32BIT;
#endif
 WREG32(RADEON_CP_RB_CNTL, tmp | RADEON_RB_NO_UPDATE);

 /* Set ring address */
 DRM_INFO("radeon: ring at 0x%016lX\n", (unsigned long)ring->gpu_addr);
 WREG32(RADEON_CP_RB_BASE, ring->gpu_addr);
 /* Force read & write ptr to 0 */
 WREG32(RADEON_CP_RB_CNTL, tmp | RADEON_RB_RPTR_WR_ENA | RADEON_RB_NO_UPDATE);
 WREG32(RADEON_CP_RB_RPTR_WR, 0);
 ring->wptr = 0;
 WREG32(RADEON_CP_RB_WPTR, ring->wptr);

 /* set the wb address whether it's enabled or not */
 WREG32(R_00070C_CP_RB_RPTR_ADDR,
  S_00070C_RB_RPTR_ADDR((rdev->wb.gpu_addr + RADEON_WB_CP_RPTR_OFFSET) >> 2));
 WREG32(R_000774_SCRATCH_ADDR, rdev->wb.gpu_addr + RADEON_WB_SCRATCH_OFFSET);

 if (rdev->wb.enabled)
  WREG32(R_000770_SCRATCH_UMSK, 0xff);
 else {
  tmp |= RADEON_RB_NO_UPDATE;
  WREG32(R_000770_SCRATCH_UMSK, 0);
 }

 WREG32(RADEON_CP_RB_CNTL, tmp);
 udelay(10);
 /* Set cp mode to bus mastering & enable cp*/
 WREG32(RADEON_CP_CSQ_MODE,
        REG_SET(RADEON_INDIRECT2_START, indirect2_start) |
        REG_SET(RADEON_INDIRECT1_START, indirect1_start));
 WREG32(RADEON_CP_RB_WPTR_DELAY, 0);
 WREG32(RADEON_CP_CSQ_MODE, 0x00004D4D);
 WREG32(RADEON_CP_CSQ_CNTL, RADEON_CSQ_PRIBM_INDBM);

 /* at this point everything should be setup correctly to enable master */
 pci_set_master(rdev->pdev);

 radeon_ring_start(rdev, RADEON_RING_TYPE_GFX_INDEX, &rdev->ring[RADEON_RING_TYPE_GFX_INDEX]);
 r = radeon_ring_test(rdev, RADEON_RING_TYPE_GFX_INDEX, ring);
 if (r) {
  DRM_ERROR("radeon: cp isn't working (%d).\n", r);
  return r;
 }
 ring->ready = true;
 radeon_ttm_set_active_vram_size(rdev, rdev->mc.real_vram_size);

 if (!ring->rptr_save_reg /* not resuming from suspend */
     && radeon_ring_supports_scratch_reg(rdev, ring)) {
  r = radeon_scratch_get(rdev, &ring->rptr_save_reg);
  if (r) {
   DRM_ERROR("failed to get scratch reg for rptr save (%d).\n", r);
   ring->rptr_save_reg = 0;
  }
 }
 return 0;
}

void r100_cp_fini(struct radeon_device *rdev)
{
 if (r100_cp_wait_for_idle(rdev)) {
  DRM_ERROR("Wait for CP idle timeout, shutting down CP.\n");
 }
 /* Disable ring */
 r100_cp_disable(rdev);
 radeon_scratch_free(rdev, rdev->ring[RADEON_RING_TYPE_GFX_INDEX].rptr_save_reg);
 radeon_ring_fini(rdev, &rdev->ring[RADEON_RING_TYPE_GFX_INDEX]);
 DRM_INFO("radeon: cp finalized\n");
}

void r100_cp_disable(struct radeon_device *rdev)
{
 /* Disable ring */
 radeon_ttm_set_active_vram_size(rdev, rdev->mc.visible_vram_size);
 rdev->ring[RADEON_RING_TYPE_GFX_INDEX].ready = false;
 WREG32(RADEON_CP_CSQ_MODE, 0);
 WREG32(RADEON_CP_CSQ_CNTL, 0);
 WREG32(R_000770_SCRATCH_UMSK, 0);
 if (r100_gui_wait_for_idle(rdev)) {
  pr_warn("Failed to wait GUI idle while programming pipes. Bad things might happen.\n");
 }
}

/*
 * CS functions
 */

int r100_reloc_pitch_offset(struct radeon_cs_parser *p,
       struct radeon_cs_packet *pkt,
       unsigned idx,
       unsigned reg)
{
 int r;
 u32 tile_flags = 0;
 u32 tmp;
 struct radeon_bo_list *reloc;
 u32 value;

 r = radeon_cs_packet_next_reloc(p, &reloc, 0);
 if (r) {
  DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
     idx, reg);
  radeon_cs_dump_packet(p, pkt);
  return r;
 }

 value = radeon_get_ib_value(p, idx);
 tmp = value & 0x003fffff;
 tmp += (((u32)reloc->gpu_offset) >> 10);

 if (!(p->cs_flags & RADEON_CS_KEEP_TILING_FLAGS)) {
  if (reloc->tiling_flags & RADEON_TILING_MACRO)
   tile_flags |= RADEON_DST_TILE_MACRO;
  if (reloc->tiling_flags & RADEON_TILING_MICRO) {
   if (reg == RADEON_SRC_PITCH_OFFSET) {
    DRM_ERROR("Cannot src blit from microtiled surface\n");
    radeon_cs_dump_packet(p, pkt);
    return -EINVAL;
   }
   tile_flags |= RADEON_DST_TILE_MICRO;
  }

  tmp |= tile_flags;
  p->ib.ptr[idx] = (value & 0x3fc00000) | tmp;
 } else
  p->ib.ptr[idx] = (value & 0xffc00000) | tmp;
 return 0;
}

int r100_packet3_load_vbpntr(struct radeon_cs_parser *p,
        struct radeon_cs_packet *pkt,
        int idx)
{
 unsigned c, i;
 struct radeon_bo_list *reloc;
 struct r100_cs_track *track;
 int r = 0;
 volatile uint32_t *ib;
 u32 idx_value;

 ib = p->ib.ptr;
 track = (struct r100_cs_track *)p->track;
 c = radeon_get_ib_value(p, idx++) & 0x1F;
 if (c > 16) {
     DRM_ERROR("Only 16 vertex buffers are allowed %d\n",
        pkt->opcode);
     radeon_cs_dump_packet(p, pkt);
     return -EINVAL;
 }
 track->num_arrays = c;
 for (i = 0; i < (c - 1); i += 2, idx += 3) {
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for packet3 %d\n",
      pkt->opcode);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  idx_value = radeon_get_ib_value(p, idx);
  ib[idx+1] = radeon_get_ib_value(p, idx + 1) + ((u32)reloc->gpu_offset);

  track->arrays[i + 0].esize = idx_value >> 8;
  track->arrays[i + 0].robj = reloc->robj;
  track->arrays[i + 0].esize &= 0x7F;
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for packet3 %d\n",
      pkt->opcode);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  ib[idx+2] = radeon_get_ib_value(p, idx + 2) + ((u32)reloc->gpu_offset);
  track->arrays[i + 1].robj = reloc->robj;
  track->arrays[i + 1].esize = idx_value >> 24;
  track->arrays[i + 1].esize &= 0x7F;
 }
 if (c & 1) {
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for packet3 %d\n",
       pkt->opcode);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  idx_value = radeon_get_ib_value(p, idx);
  ib[idx+1] = radeon_get_ib_value(p, idx + 1) + ((u32)reloc->gpu_offset);
  track->arrays[i + 0].robj = reloc->robj;
  track->arrays[i + 0].esize = idx_value >> 8;
  track->arrays[i + 0].esize &= 0x7F;
 }
 return r;
}

int r100_cs_parse_packet0(struct radeon_cs_parser *p,
     struct radeon_cs_packet *pkt,
     const unsigned *auth, unsigned n,
     radeon_packet0_check_t check)
{
 unsigned reg;
 unsigned i, j, m;
 unsigned idx;
 int r;

 idx = pkt->idx + 1;
 reg = pkt->reg;
 /* Check that register fall into register range
 * determined by the number of entry (n) in the
 * safe register bitmap.
 */

 if (pkt->one_reg_wr) {
  if ((reg >> 7) > n) {
   return -EINVAL;
  }
 } else {
  if (((reg + (pkt->count << 2)) >> 7) > n) {
   return -EINVAL;
  }
 }
 for (i = 0; i <= pkt->count; i++, idx++) {
  j = (reg >> 7);
  m = 1 << ((reg >> 2) & 31);
  if (auth[j] & m) {
   r = check(p, pkt, idx, reg);
   if (r) {
    return r;
   }
  }
  if (pkt->one_reg_wr) {
   if (!(auth[j] & m)) {
    break;
   }
  } else {
   reg += 4;
  }
 }
 return 0;
}

/**
 * r100_cs_packet_parse_vline() - parse userspace VLINE packet
 * @p: parser structure holding parsing context.
 *
 * Userspace sends a special sequence for VLINE waits.
 * PACKET0 - VLINE_START_END + value
 * PACKET0 - WAIT_UNTIL +_value
 * RELOC (P3) - crtc_id in reloc.
 *
 * This function parses this and relocates the VLINE START END
 * and WAIT UNTIL packets to the correct crtc.
 * It also detects a switched off crtc and nulls out the
 * wait in that case.
 */

int r100_cs_packet_parse_vline(struct radeon_cs_parser *p)
{
 struct drm_crtc *crtc;
 struct radeon_crtc *radeon_crtc;
 struct radeon_cs_packet p3reloc, waitreloc;
 int crtc_id;
 int r;
 uint32_t header, h_idx, reg;
 volatile uint32_t *ib;

 ib = p->ib.ptr;

 /* parse the wait until */
 r = radeon_cs_packet_parse(p, &waitreloc, p->idx);
 if (r)
  return r;

 /* check its a wait until and only 1 count */
 if (waitreloc.reg != RADEON_WAIT_UNTIL ||
     waitreloc.count != 0) {
  DRM_ERROR("vline wait had illegal wait until segment\n");
  return -EINVAL;
 }

 if (radeon_get_ib_value(p, waitreloc.idx + 1) != RADEON_WAIT_CRTC_VLINE) {
  DRM_ERROR("vline wait had illegal wait until\n");
  return -EINVAL;
 }

 /* jump over the NOP */
 r = radeon_cs_packet_parse(p, &p3reloc, p->idx + waitreloc.count + 2);
 if (r)
  return r;

 h_idx = p->idx - 2;
 p->idx += waitreloc.count + 2;
 p->idx += p3reloc.count + 2;

 header = radeon_get_ib_value(p, h_idx);
 crtc_id = radeon_get_ib_value(p, h_idx + 5);
 reg = R100_CP_PACKET0_GET_REG(header);
 crtc = drm_crtc_find(rdev_to_drm(p->rdev), p->filp, crtc_id);
 if (!crtc) {
  DRM_ERROR("cannot find crtc %d\n", crtc_id);
  return -ENOENT;
 }
 radeon_crtc = to_radeon_crtc(crtc);
 crtc_id = radeon_crtc->crtc_id;

 if (!crtc->enabled) {
  /* if the CRTC isn't enabled - we need to nop out the wait until */
  ib[h_idx + 2] = PACKET2(0);
  ib[h_idx + 3] = PACKET2(0);
 } else if (crtc_id == 1) {
  switch (reg) {
  case AVIVO_D1MODE_VLINE_START_END:
   header &= ~R300_CP_PACKET0_REG_MASK;
   header |= AVIVO_D2MODE_VLINE_START_END >> 2;
   break;
  case RADEON_CRTC_GUI_TRIG_VLINE:
   header &= ~R300_CP_PACKET0_REG_MASK;
   header |= RADEON_CRTC2_GUI_TRIG_VLINE >> 2;
   break;
  default:
   DRM_ERROR("unknown crtc reloc\n");
   return -EINVAL;
  }
  ib[h_idx] = header;
  ib[h_idx + 3] |= RADEON_ENG_DISPLAY_SELECT_CRTC1;
 }

 return 0;
}

static int r100_get_vtx_size(uint32_t vtx_fmt)
{
 int vtx_size;
 vtx_size = 2;
 /* ordered according to bits in spec */
 if (vtx_fmt & RADEON_SE_VTX_FMT_W0)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_FPCOLOR)
  vtx_size += 3;
 if (vtx_fmt & RADEON_SE_VTX_FMT_FPALPHA)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_PKCOLOR)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_FPSPEC)
  vtx_size += 3;
 if (vtx_fmt & RADEON_SE_VTX_FMT_FPFOG)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_PKSPEC)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_ST0)
  vtx_size += 2;
 if (vtx_fmt & RADEON_SE_VTX_FMT_ST1)
  vtx_size += 2;
 if (vtx_fmt & RADEON_SE_VTX_FMT_Q1)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_ST2)
  vtx_size += 2;
 if (vtx_fmt & RADEON_SE_VTX_FMT_Q2)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_ST3)
  vtx_size += 2;
 if (vtx_fmt & RADEON_SE_VTX_FMT_Q3)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_Q0)
  vtx_size++;
 /* blend weight */
 if (vtx_fmt & (0x7 << 15))
  vtx_size += (vtx_fmt >> 15) & 0x7;
 if (vtx_fmt & RADEON_SE_VTX_FMT_N0)
  vtx_size += 3;
 if (vtx_fmt & RADEON_SE_VTX_FMT_XY1)
  vtx_size += 2;
 if (vtx_fmt & RADEON_SE_VTX_FMT_Z1)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_W1)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_N1)
  vtx_size++;
 if (vtx_fmt & RADEON_SE_VTX_FMT_Z)
  vtx_size++;
 return vtx_size;
}

static int r100_packet0_check(struct radeon_cs_parser *p,
         struct radeon_cs_packet *pkt,
         unsigned idx, unsigned reg)
{
 struct radeon_bo_list *reloc;
 struct r100_cs_track *track;
 volatile uint32_t *ib;
 uint32_t tmp;
 int r;
 int i, face;
 u32 tile_flags = 0;
 u32 idx_value;

 ib = p->ib.ptr;
 track = (struct r100_cs_track *)p->track;

 idx_value = radeon_get_ib_value(p, idx);

 switch (reg) {
 case RADEON_CRTC_GUI_TRIG_VLINE:
  r = r100_cs_packet_parse_vline(p);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  break;
  /* FIXME: only allow PACKET3 blit? easier to check for out of
 * range access */

 case RADEON_DST_PITCH_OFFSET:
 case RADEON_SRC_PITCH_OFFSET:
  r = r100_reloc_pitch_offset(p, pkt, idx, reg);
  if (r)
   return r;
  break;
 case RADEON_RB3D_DEPTHOFFSET:
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  track->zb.robj = reloc->robj;
  track->zb.offset = idx_value;
  track->zb_dirty = true;
  ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  break;
 case RADEON_RB3D_COLOROFFSET:
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  track->cb[0].robj = reloc->robj;
  track->cb[0].offset = idx_value;
  track->cb_dirty = true;
  ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  break;
 case RADEON_PP_TXOFFSET_0:
 case RADEON_PP_TXOFFSET_1:
 case RADEON_PP_TXOFFSET_2:
  i = (reg - RADEON_PP_TXOFFSET_0) / 24;
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  if (!(p->cs_flags & RADEON_CS_KEEP_TILING_FLAGS)) {
   if (reloc->tiling_flags & RADEON_TILING_MACRO)
    tile_flags |= RADEON_TXO_MACRO_TILE;
   if (reloc->tiling_flags & RADEON_TILING_MICRO)
    tile_flags |= RADEON_TXO_MICRO_TILE_X2;

   tmp = idx_value & ~(0x7 << 2);
   tmp |= tile_flags;
   ib[idx] = tmp + ((u32)reloc->gpu_offset);
  } else
   ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  track->textures[i].robj = reloc->robj;
  track->tex_dirty = true;
  break;
 case RADEON_PP_CUBIC_OFFSET_T0_0:
 case RADEON_PP_CUBIC_OFFSET_T0_1:
 case RADEON_PP_CUBIC_OFFSET_T0_2:
 case RADEON_PP_CUBIC_OFFSET_T0_3:
 case RADEON_PP_CUBIC_OFFSET_T0_4:
  i = (reg - RADEON_PP_CUBIC_OFFSET_T0_0) / 4;
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  track->textures[0].cube_info[i].offset = idx_value;
  ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  track->textures[0].cube_info[i].robj = reloc->robj;
  track->tex_dirty = true;
  break;
 case RADEON_PP_CUBIC_OFFSET_T1_0:
 case RADEON_PP_CUBIC_OFFSET_T1_1:
 case RADEON_PP_CUBIC_OFFSET_T1_2:
 case RADEON_PP_CUBIC_OFFSET_T1_3:
 case RADEON_PP_CUBIC_OFFSET_T1_4:
  i = (reg - RADEON_PP_CUBIC_OFFSET_T1_0) / 4;
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  track->textures[1].cube_info[i].offset = idx_value;
  ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  track->textures[1].cube_info[i].robj = reloc->robj;
  track->tex_dirty = true;
  break;
 case RADEON_PP_CUBIC_OFFSET_T2_0:
 case RADEON_PP_CUBIC_OFFSET_T2_1:
 case RADEON_PP_CUBIC_OFFSET_T2_2:
 case RADEON_PP_CUBIC_OFFSET_T2_3:
 case RADEON_PP_CUBIC_OFFSET_T2_4:
  i = (reg - RADEON_PP_CUBIC_OFFSET_T2_0) / 4;
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  track->textures[2].cube_info[i].offset = idx_value;
  ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  track->textures[2].cube_info[i].robj = reloc->robj;
  track->tex_dirty = true;
  break;
 case RADEON_RE_WIDTH_HEIGHT:
  track->maxy = ((idx_value >> 16) & 0x7FF);
  track->cb_dirty = true;
  track->zb_dirty = true;
  break;
 case RADEON_RB3D_COLORPITCH:
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  if (!(p->cs_flags & RADEON_CS_KEEP_TILING_FLAGS)) {
   if (reloc->tiling_flags & RADEON_TILING_MACRO)
    tile_flags |= RADEON_COLOR_TILE_ENABLE;
   if (reloc->tiling_flags & RADEON_TILING_MICRO)
    tile_flags |= RADEON_COLOR_MICROTILE_ENABLE;

   tmp = idx_value & ~(0x7 << 16);
   tmp |= tile_flags;
   ib[idx] = tmp;
  } else
   ib[idx] = idx_value;

  track->cb[0].pitch = idx_value & RADEON_COLORPITCH_MASK;
  track->cb_dirty = true;
  break;
 case RADEON_RB3D_DEPTHPITCH:
  track->zb.pitch = idx_value & RADEON_DEPTHPITCH_MASK;
  track->zb_dirty = true;
  break;
 case RADEON_RB3D_CNTL:
  switch ((idx_value >> RADEON_RB3D_COLOR_FORMAT_SHIFT) & 0x1f) {
  case 7:
  case 8:
  case 9:
  case 11:
  case 12:
   track->cb[0].cpp = 1;
   break;
  case 3:
  case 4:
  case 15:
   track->cb[0].cpp = 2;
   break;
  case 6:
   track->cb[0].cpp = 4;
   break;
  default:
   DRM_ERROR("Invalid color buffer format (%d) !\n",
      ((idx_value >> RADEON_RB3D_COLOR_FORMAT_SHIFT) & 0x1f));
   return -EINVAL;
  }
  track->z_enabled = !!(idx_value & RADEON_Z_ENABLE);
  track->cb_dirty = true;
  track->zb_dirty = true;
  break;
 case RADEON_RB3D_ZSTENCILCNTL:
  switch (idx_value & 0xf) {
  case 0:
   track->zb.cpp = 2;
   break;
  case 2:
  case 3:
  case 4:
  case 5:
  case 9:
  case 11:
   track->zb.cpp = 4;
   break;
  default:
   break;
  }
  track->zb_dirty = true;
  break;
 case RADEON_RB3D_ZPASS_ADDR:
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for ib[%d]=0x%04X\n",
      idx, reg);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  ib[idx] = idx_value + ((u32)reloc->gpu_offset);
  break;
 case RADEON_PP_CNTL:
  {
   uint32_t temp = idx_value >> 4;
   for (i = 0; i < track->num_texture; i++)
    track->textures[i].enabled = !!(temp & (1 << i));
   track->tex_dirty = true;
  }
  break;
 case RADEON_SE_VF_CNTL:
  track->vap_vf_cntl = idx_value;
  break;
 case RADEON_SE_VTX_FMT:
  track->vtx_size = r100_get_vtx_size(idx_value);
  break;
 case RADEON_PP_TEX_SIZE_0:
 case RADEON_PP_TEX_SIZE_1:
 case RADEON_PP_TEX_SIZE_2:
  i = (reg - RADEON_PP_TEX_SIZE_0) / 8;
  track->textures[i].width = (idx_value & RADEON_TEX_USIZE_MASK) + 1;
  track->textures[i].height = ((idx_value & RADEON_TEX_VSIZE_MASK) >> RADEON_TEX_VSIZE_SHIFT) + 1;
  track->tex_dirty = true;
  break;
 case RADEON_PP_TEX_PITCH_0:
 case RADEON_PP_TEX_PITCH_1:
 case RADEON_PP_TEX_PITCH_2:
  i = (reg - RADEON_PP_TEX_PITCH_0) / 8;
  track->textures[i].pitch = idx_value + 32;
  track->tex_dirty = true;
  break;
 case RADEON_PP_TXFILTER_0:
 case RADEON_PP_TXFILTER_1:
 case RADEON_PP_TXFILTER_2:
  i = (reg - RADEON_PP_TXFILTER_0) / 24;
  track->textures[i].num_levels = ((idx_value & RADEON_MAX_MIP_LEVEL_MASK)
       >> RADEON_MAX_MIP_LEVEL_SHIFT);
  tmp = (idx_value >> 23) & 0x7;
  if (tmp == 2 || tmp == 6)
   track->textures[i].roundup_w = false;
  tmp = (idx_value >> 27) & 0x7;
  if (tmp == 2 || tmp == 6)
   track->textures[i].roundup_h = false;
  track->tex_dirty = true;
  break;
 case RADEON_PP_TXFORMAT_0:
 case RADEON_PP_TXFORMAT_1:
 case RADEON_PP_TXFORMAT_2:
  i = (reg - RADEON_PP_TXFORMAT_0) / 24;
  if (idx_value & RADEON_TXFORMAT_NON_POWER2) {
   track->textures[i].use_pitch = true;
  } else {
   track->textures[i].use_pitch = false;
   track->textures[i].width = 1 << ((idx_value & RADEON_TXFORMAT_WIDTH_MASK) >> RADEON_TXFORMAT_WIDTH_SHIFT);
   track->textures[i].height = 1 << ((idx_value & RADEON_TXFORMAT_HEIGHT_MASK) >> RADEON_TXFORMAT_HEIGHT_SHIFT);
  }
  if (idx_value & RADEON_TXFORMAT_CUBIC_MAP_ENABLE)
   track->textures[i].tex_coord_type = 2;
  switch ((idx_value & RADEON_TXFORMAT_FORMAT_MASK)) {
  case RADEON_TXFORMAT_I8:
  case RADEON_TXFORMAT_RGB332:
  case RADEON_TXFORMAT_Y8:
   track->textures[i].cpp = 1;
   track->textures[i].compress_format = R100_TRACK_COMP_NONE;
   break;
  case RADEON_TXFORMAT_AI88:
  case RADEON_TXFORMAT_ARGB1555:
  case RADEON_TXFORMAT_RGB565:
  case RADEON_TXFORMAT_ARGB4444:
  case RADEON_TXFORMAT_VYUY422:
  case RADEON_TXFORMAT_YVYU422:
  case RADEON_TXFORMAT_SHADOW16:
  case RADEON_TXFORMAT_LDUDV655:
  case RADEON_TXFORMAT_DUDV88:
   track->textures[i].cpp = 2;
   track->textures[i].compress_format = R100_TRACK_COMP_NONE;
   break;
  case RADEON_TXFORMAT_ARGB8888:
  case RADEON_TXFORMAT_RGBA8888:
  case RADEON_TXFORMAT_SHADOW32:
  case RADEON_TXFORMAT_LDUDUV8888:
   track->textures[i].cpp = 4;
   track->textures[i].compress_format = R100_TRACK_COMP_NONE;
   break;
  case RADEON_TXFORMAT_DXT1:
   track->textures[i].cpp = 1;
   track->textures[i].compress_format = R100_TRACK_COMP_DXT1;
   break;
  case RADEON_TXFORMAT_DXT23:
  case RADEON_TXFORMAT_DXT45:
   track->textures[i].cpp = 1;
   track->textures[i].compress_format = R100_TRACK_COMP_DXT35;
   break;
  }
  track->textures[i].cube_info[4].width = 1 << ((idx_value >> 16) & 0xf);
  track->textures[i].cube_info[4].height = 1 << ((idx_value >> 20) & 0xf);
  track->tex_dirty = true;
  break;
 case RADEON_PP_CUBIC_FACES_0:
 case RADEON_PP_CUBIC_FACES_1:
 case RADEON_PP_CUBIC_FACES_2:
  tmp = idx_value;
  i = (reg - RADEON_PP_CUBIC_FACES_0) / 4;
  for (face = 0; face < 4; face++) {
   track->textures[i].cube_info[face].width = 1 << ((tmp >> (face * 8)) & 0xf);
   track->textures[i].cube_info[face].height = 1 << ((tmp >> ((face * 8) + 4)) & 0xf);
  }
  track->tex_dirty = true;
  break;
 default:
  pr_err("Forbidden register 0x%04X in cs at %d\n", reg, idx);
  return -EINVAL;
 }
 return 0;
}

int r100_cs_track_check_pkt3_indx_buffer(struct radeon_cs_parser *p,
      struct radeon_cs_packet *pkt,
      struct radeon_bo *robj)
{
 unsigned idx;
 u32 value;
 idx = pkt->idx + 1;
 value = radeon_get_ib_value(p, idx + 2);
 if ((value + 1) > radeon_bo_size(robj)) {
  DRM_ERROR("[drm] Buffer too small for PACKET3 INDX_BUFFER "
     "(need %u have %lu) !\n",
     value + 1,
     radeon_bo_size(robj));
  return -EINVAL;
 }
 return 0;
}

static int r100_packet3_check(struct radeon_cs_parser *p,
         struct radeon_cs_packet *pkt)
{
 struct radeon_bo_list *reloc;
 struct r100_cs_track *track;
 unsigned idx;
 volatile uint32_t *ib;
 int r;

 ib = p->ib.ptr;
 idx = pkt->idx + 1;
 track = (struct r100_cs_track *)p->track;
 switch (pkt->opcode) {
 case PACKET3_3D_LOAD_VBPNTR:
  r = r100_packet3_load_vbpntr(p, pkt, idx);
  if (r)
   return r;
  break;
 case PACKET3_INDX_BUFFER:
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for packet3 %d\n", pkt->opcode);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  ib[idx+1] = radeon_get_ib_value(p, idx+1) + ((u32)reloc->gpu_offset);
  r = r100_cs_track_check_pkt3_indx_buffer(p, pkt, reloc->robj);
  if (r) {
   return r;
  }
  break;
 case 0x23:
  /* 3D_RNDR_GEN_INDX_PRIM on r100/r200 */
  r = radeon_cs_packet_next_reloc(p, &reloc, 0);
  if (r) {
   DRM_ERROR("No reloc for packet3 %d\n", pkt->opcode);
   radeon_cs_dump_packet(p, pkt);
   return r;
  }
  ib[idx] = radeon_get_ib_value(p, idx) + ((u32)reloc->gpu_offset);
  track->num_arrays = 1;
  track->vtx_size = r100_get_vtx_size(radeon_get_ib_value(p, idx + 2));

  track->arrays[0].robj = reloc->robj;
  track->arrays[0].esize = track->vtx_size;

  track->max_indx = radeon_get_ib_value(p, idx+1);

  track->vap_vf_cntl = radeon_get_ib_value(p, idx+3);
  track->immd_dwords = pkt->count - 1;
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
 case PACKET3_3D_DRAW_IMMD:
  if (((radeon_get_ib_value(p, idx + 1) >> 4) & 0x3) != 3) {
   DRM_ERROR("PRIM_WALK must be 3 for IMMD draw\n");
   return -EINVAL;
  }
  track->vtx_size = r100_get_vtx_size(radeon_get_ib_value(p, idx + 0));
  track->vap_vf_cntl = radeon_get_ib_value(p, idx + 1);
  track->immd_dwords = pkt->count - 1;
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
  /* triggers drawing using in-packet vertex data */
 case PACKET3_3D_DRAW_IMMD_2:
  if (((radeon_get_ib_value(p, idx) >> 4) & 0x3) != 3) {
   DRM_ERROR("PRIM_WALK must be 3 for IMMD draw\n");
   return -EINVAL;
  }
  track->vap_vf_cntl = radeon_get_ib_value(p, idx);
  track->immd_dwords = pkt->count;
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
  /* triggers drawing using in-packet vertex data */
 case PACKET3_3D_DRAW_VBUF_2:
  track->vap_vf_cntl = radeon_get_ib_value(p, idx);
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
  /* triggers drawing of vertex buffers setup elsewhere */
 case PACKET3_3D_DRAW_INDX_2:
  track->vap_vf_cntl = radeon_get_ib_value(p, idx);
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
  /* triggers drawing using indices to vertex buffer */
 case PACKET3_3D_DRAW_VBUF:
  track->vap_vf_cntl = radeon_get_ib_value(p, idx + 1);
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
  /* triggers drawing of vertex buffers setup elsewhere */
 case PACKET3_3D_DRAW_INDX:
  track->vap_vf_cntl = radeon_get_ib_value(p, idx + 1);
  r = r100_cs_track_check(p->rdev, track);
  if (r)
   return r;
  break;
  /* triggers drawing using indices to vertex buffer */
 case PACKET3_3D_CLEAR_HIZ:
 case PACKET3_3D_CLEAR_ZMASK:
  if (p->rdev->hyperz_filp != p->filp)
   return -EINVAL;
  break;
 case PACKET3_NOP:
  break;
 default:
  DRM_ERROR("Packet3 opcode %x not supported\n", pkt->opcode);
  return -EINVAL;
 }
 return 0;
}

int r100_cs_parse(struct radeon_cs_parser *p)
{
 struct radeon_cs_packet pkt;
 struct r100_cs_track *track;
 int r;

 track = kzalloc(sizeof(*track), GFP_KERNEL);
 if (!track)
  return -ENOMEM;
 r100_cs_track_clear(p->rdev, track);
 p->track = track;
 do {
  r = radeon_cs_packet_parse(p, &pkt, p->idx);
  if (r) {
   return r;
  }
  p->idx += pkt.count + 2;
  switch (pkt.type) {
  case RADEON_PACKET_TYPE0:
   if (p->rdev->family >= CHIP_R200)
    r = r100_cs_parse_packet0(p, &pkt,
     p->rdev->config.r100.reg_safe_bm,
     p->rdev->config.r100.reg_safe_bm_size,
     &r200_packet0_check);
   else
    r = r100_cs_parse_packet0(p, &pkt,
     p->rdev->config.r100.reg_safe_bm,
     p->rdev->config.r100.reg_safe_bm_size,
     &r100_packet0_check);
   break;
  case RADEON_PACKET_TYPE2:
   break;
  case RADEON_PACKET_TYPE3:
   r = r100_packet3_check(p, &pkt);
   break;
  default:
   DRM_ERROR("Unknown packet type %d !\n",
      pkt.type);
   return -EINVAL;
  }
  if (r)
   return r;
 } while (p->idx < p->chunk_ib->length_dw);
 return 0;
}

static void r100_cs_track_texture_print(struct r100_cs_track_texture *t)
{
 DRM_ERROR("pitch %d\n", t->pitch);
 DRM_ERROR("use_pitch %d\n", t->use_pitch);
 DRM_ERROR("width %d\n", t->width);
 DRM_ERROR("width_11 %d\n", t->width_11);
 DRM_ERROR("height %d\n", t->height);
 DRM_ERROR("height_11 %d\n", t->height_11);
 DRM_ERROR("num levels %d\n", t->num_levels);
 DRM_ERROR("depth %d\n", t->txdepth);
 DRM_ERROR("bpp %d\n", t->cpp);
 DRM_ERROR("coordinate type %d\n", t->tex_coord_type);
 DRM_ERROR("width round to power of 2 %d\n", t->roundup_w);
 DRM_ERROR("height round to power of 2 %d\n", t->roundup_h);
 DRM_ERROR("compress format %d\n", t->compress_format);
}

static int r100_track_compress_size(int compress_format, int w, int h)
{
 int block_width, block_height, block_bytes;
 int wblocks, hblocks;
 int min_wblocks;
 int sz;

 block_width = 4;
 block_height = 4;

 switch (compress_format) {
 case R100_TRACK_COMP_DXT1:
  block_bytes = 8;
  min_wblocks = 4;
  break;
 default:
 case R100_TRACK_COMP_DXT35:
  block_bytes = 16;
  min_wblocks = 2;
  break;
 }

 hblocks = (h + block_height - 1) / block_height;
 wblocks = (w + block_width - 1) / block_width;
 if (wblocks < min_wblocks)
  wblocks = min_wblocks;
 sz = wblocks * hblocks * block_bytes;
 return sz;
}

static int r100_cs_track_cube(struct radeon_device *rdev,
         struct r100_cs_track *track, unsigned idx)
{
 unsigned face, w, h;
 struct radeon_bo *cube_robj;
 unsigned long size;
 unsigned compress_format = track->textures[idx].compress_format;

 for (face = 0; face < 5; face++) {
  cube_robj = track->textures[idx].cube_info[face].robj;
  w = track->textures[idx].cube_info[face].width;
  h = track->textures[idx].cube_info[face].height;

  if (compress_format) {
   size = r100_track_compress_size(compress_format, w, h);
  } else
   size = w * h;
  size *= track->textures[idx].cpp;

  size += track->textures[idx].cube_info[face].offset;

  if (size > radeon_bo_size(cube_robj)) {
   DRM_ERROR("Cube texture offset greater than object size %lu %lu\n",
      size, radeon_bo_size(cube_robj));
   r100_cs_track_texture_print(&track->textures[idx]);
   return -1;
  }
 }
 return 0;
}

static int r100_cs_track_texture_check(struct radeon_device *rdev,
           struct r100_cs_track *track)
{
 struct radeon_bo *robj;
 unsigned long size;
 unsigned u, i, w, h, d;
 int ret;

 for (u = 0; u < track->num_texture; u++) {
  if (!track->textures[u].enabled)
   continue;
  if (track->textures[u].lookup_disable)
   continue;
  robj = track->textures[u].robj;
  if (robj == NULL) {
   DRM_ERROR("No texture bound to unit %u\n", u);
   return -EINVAL;
  }
  size = 0;
  for (i = 0; i <= track->textures[u].num_levels; i++) {
   if (track->textures[u].use_pitch) {
    if (rdev->family < CHIP_R300)
     w = (track->textures[u].pitch / track->textures[u].cpp) / (1 << i);
    else
     w = track->textures[u].pitch / (1 << i);
   } else {
    w = track->textures[u].width;
    if (rdev->family >= CHIP_RV515)
     w |= track->textures[u].width_11;
    w = w / (1 << i);
    if (track->textures[u].roundup_w)
     w = roundup_pow_of_two(w);
   }
   h = track->textures[u].height;
   if (rdev->family >= CHIP_RV515)
    h |= track->textures[u].height_11;
   h = h / (1 << i);
   if (track->textures[u].roundup_h)
    h = roundup_pow_of_two(h);
   if (track->textures[u].tex_coord_type == 1) {
    d = (1 << track->textures[u].txdepth) / (1 << i);
    if (!d)
     d = 1;
   } else {
    d = 1;
   }
   if (track->textures[u].compress_format) {

    size += r100_track_compress_size(track->textures[u].compress_format, w, h) * d;
    /* compressed textures are block based */
   } else
    size += w * h * d;
  }
  size *= track->textures[u].cpp;

  switch (track->textures[u].tex_coord_type) {
  case 0:
  case 1:
   break;
  case 2:
   if (track->separate_cube) {
    ret = r100_cs_track_cube(rdev, track, u);
    if (ret)
     return ret;
   } else
    size *= 6;
   break;
  default:
   DRM_ERROR("Invalid texture coordinate type %u for unit "
      "%u\n", track->textures[u].tex_coord_type, u);
   return -EINVAL;
  }
  if (size > radeon_bo_size(robj)) {
   DRM_ERROR("Texture of unit %u needs %lu bytes but is "
      "%lu\n", u, size, radeon_bo_size(robj));
   r100_cs_track_texture_print(&track->textures[u]);
   return -EINVAL;
  }
 }
 return 0;
}

int r100_cs_track_check(struct radeon_device *rdev, struct r100_cs_track *track)
{
 unsigned i;
 unsigned long size;
 unsigned prim_walk;
 unsigned nverts;
 unsigned num_cb = track->cb_dirty ? track->num_cb : 0;

 if (num_cb && !track->zb_cb_clear && !track->color_channel_mask &&
     !track->blend_read_enable)
  num_cb = 0;

 for (i = 0; i < num_cb; i++) {
  if (track->cb[i].robj == NULL) {
   DRM_ERROR("[drm] No buffer for color buffer %d !\n", i);
   return -EINVAL;
  }
  size = track->cb[i].pitch * track->cb[i].cpp * track->maxy;
  size += track->cb[i].offset;
  if (size > radeon_bo_size(track->cb[i].robj)) {
   DRM_ERROR("[drm] Buffer too small for color buffer %d "
      "(need %lu have %lu) !\n", i, size,
      radeon_bo_size(track->cb[i].robj));
   DRM_ERROR("[drm] color buffer %d (%u %u %u %u)\n",
      i, track->cb[i].pitch, track->cb[i].cpp,
      track->cb[i].offset, track->maxy);
   return -EINVAL;
  }
 }
 track->cb_dirty = false;

 if (track->zb_dirty && track->z_enabled) {
  if (track->zb.robj == NULL) {
   DRM_ERROR("[drm] No buffer for z buffer !\n");
   return -EINVAL;
  }
  size = track->zb.pitch * track->zb.cpp * track->maxy;
  size += track->zb.offset;
  if (size > radeon_bo_size(track->zb.robj)) {
   DRM_ERROR("[drm] Buffer too small for z buffer "
      "(need %lu have %lu) !\n", size,
      radeon_bo_size(track->zb.robj));
   DRM_ERROR("[drm] zbuffer (%u %u %u %u)\n",
      track->zb.pitch, track->zb.cpp,
      track->zb.offset, track->maxy);
   return -EINVAL;
  }
 }
--> --------------------

--> maximum size reached

--> --------------------

Messung V0.5
C=95 H=95 G=94

¤ Dauer der Verarbeitung: 0.19 Sekunden  ¤

*© Formatika GbR, Deutschland






Wurzel

Suchen

Beweissystem der NASA

Beweissystem Isabelle

NIST Cobol Testsuite

Cephes Mathematical Library

Wiener Entwicklungsmethode

Haftungshinweis

Die Informationen auf dieser Webseite wurden nach bestem Wissen sorgfältig zusammengestellt. Es wird jedoch weder Vollständigkeit, noch Richtigkeit, noch Qualität der bereit gestellten Informationen zugesichert.

Bemerkung:

Die farbliche Syntaxdarstellung und die Messung sind noch experimentell.