Quelle  dw-hdmi.c   Sprache: C

// SPDX-License-Identifier: GPL-2.0-or-later
/*
 * DesignWare High-Definition Multimedia Interface (HDMI) driver
 *
 * Copyright (C) 2013-2015 Mentor Graphics Inc.
 * Copyright (C) 2011-2013 Freescale Semiconductor, Inc.
 * Copyright (C) 2010, Guennadi Liakhovetski <g.liakhovetski@gmx.de>
 */
#include <linux/clk.h>
#include <linux/delay.h>
#include <linux/err.h>
#include <linux/export.h>
#include <linux/hdmi.h>
#include <linux/i2c.h>
#include <linux/irq.h>
#include <linux/module.h>
#include <linux/mutex.h>
#include <linux/of.h>
#include <linux/pinctrl/consumer.h>
#include <linux/regmap.h>
#include <linux/dma-mapping.h>
#include <linux/spinlock.h>

#include <media/cec-notifier.h>

#include <linux/media-bus-format.h>
#include <linux/videodev2.h>

#include <drm/bridge/dw_hdmi.h>
#include <drm/display/drm_hdmi_helper.h>
#include <drm/display/drm_scdc_helper.h>
#include <drm/drm_atomic.h>
#include <drm/drm_atomic_helper.h>
#include <drm/drm_bridge.h>
#include <drm/drm_edid.h>
#include <drm/drm_of.h>
#include <drm/drm_print.h>
#include <drm/drm_probe_helper.h>

#include "dw-hdmi-audio.h"
#include "dw-hdmi-cec.h"
#include "dw-hdmi.h"

#define DDC_CI_ADDR  0x37
#define DDC_SEGMENT_ADDR 0x30

#define HDMI_EDID_LEN  512

/* DW-HDMI Controller >= 0x200a are at least compliant with SCDC version 1 */
#define SCDC_MIN_SOURCE_VERSION 0x1

#define HDMI14_MAX_TMDSCLK 340000000

static const u16 csc_coeff_default[3][4] = {
 { 0x2000, 0x0000, 0x0000, 0x0000 },
 { 0x0000, 0x2000, 0x0000, 0x0000 },
 { 0x0000, 0x0000, 0x2000, 0x0000 }
};

static const u16 csc_coeff_rgb_out_eitu601[3][4] = {
 { 0x2000, 0x6926, 0x74fd, 0x010e },
 { 0x2000, 0x2cdd, 0x0000, 0x7e9a },
 { 0x2000, 0x0000, 0x38b4, 0x7e3b }
};

static const u16 csc_coeff_rgb_out_eitu709[3][4] = {
 { 0x2000, 0x7106, 0x7a02, 0x00a7 },
 { 0x2000, 0x3264, 0x0000, 0x7e6d },
 { 0x2000, 0x0000, 0x3b61, 0x7e25 }
};

static const u16 csc_coeff_rgb_in_eitu601[3][4] = {
 { 0x2591, 0x1322, 0x074b, 0x0000 },
 { 0x6535, 0x2000, 0x7acc, 0x0200 },
 { 0x6acd, 0x7534, 0x2000, 0x0200 }
};

static const u16 csc_coeff_rgb_in_eitu709[3][4] = {
 { 0x2dc5, 0x0d9b, 0x049e, 0x0000 },
 { 0x62f0, 0x2000, 0x7d11, 0x0200 },
 { 0x6756, 0x78ab, 0x2000, 0x0200 }
};

static const u16 csc_coeff_rgb_full_to_rgb_limited[3][4] = {
 { 0x1b7c, 0x0000, 0x0000, 0x0020 },
 { 0x0000, 0x1b7c, 0x0000, 0x0020 },
 { 0x0000, 0x0000, 0x1b7c, 0x0020 }
};

struct hdmi_vmode {
 bool mdataenablepolarity;

 unsigned int mpixelclock;
 unsigned int mpixelrepetitioninput;
 unsigned int mpixelrepetitionoutput;
 unsigned int mtmdsclock;
};

struct hdmi_data_info {
 unsigned int enc_in_bus_format;
 unsigned int enc_out_bus_format;
 unsigned int enc_in_encoding;
 unsigned int enc_out_encoding;
 unsigned int pix_repet_factor;
 unsigned int hdcp_enable;
 struct hdmi_vmode video_mode;
 bool rgb_limited_range;
};

struct dw_hdmi_i2c {
 struct i2c_adapter adap;

 struct mutex  lock; /* used to serialize data transfers */
 struct completion cmp;
 u8   stat;

 u8   slave_reg;
 bool   is_regaddr;
 bool   is_segment;
};

struct dw_hdmi_phy_data {
 enum dw_hdmi_phy_type type;
 const char *name;
 unsigned int gen;
 bool has_svsret;
 int (*configure)(struct dw_hdmi *hdmi,
    const struct dw_hdmi_plat_data *pdata,
    unsigned long mpixelclock);
};

struct dw_hdmi {
 struct drm_connector connector;
 struct drm_bridge bridge;
 struct drm_bridge *next_bridge;

 unsigned int version;

 struct platform_device *audio;
 struct platform_device *cec;
 struct device *dev;
 struct dw_hdmi_i2c *i2c;

 struct hdmi_data_info hdmi_data;
 const struct dw_hdmi_plat_data *plat_data;

 int vic;

 u8 edid[HDMI_EDID_LEN];

 struct {
  const struct dw_hdmi_phy_ops *ops;
  const char *name;
  void *data;
  bool enabled;
 } phy;

 struct drm_display_mode previous_mode;

 struct i2c_adapter *ddc;
 void __iomem *regs;
 bool sink_is_hdmi;
 bool sink_has_audio;

 struct pinctrl *pinctrl;
 struct pinctrl_state *default_state;
 struct pinctrl_state *unwedge_state;

 struct mutex mutex;  /* for state below and previous_mode */
 enum drm_connector_force force; /* mutex-protected force state */
 struct drm_connector *curr_conn;/* current connector (only valid when !disabled) */
 bool disabled;   /* DRM has disabled our bridge */
 bool bridge_is_on;  /* indicates the bridge is on */
 bool rxsense;   /* rxsense state */
 u8 phy_mask;   /* desired phy int mask settings */
 u8 mc_clkdis;   /* clock disable register */

 spinlock_t audio_lock;
 struct mutex audio_mutex;
 unsigned int sample_non_pcm;
 unsigned int sample_width;
 unsigned int sample_rate;
 unsigned int channels;
 unsigned int audio_cts;
 unsigned int audio_n;
 bool audio_enable;

 unsigned int reg_shift;
 struct regmap *regm;
 void (*enable_audio)(struct dw_hdmi *hdmi);
 void (*disable_audio)(struct dw_hdmi *hdmi);

 struct mutex cec_notifier_mutex;
 struct cec_notifier *cec_notifier;

 hdmi_codec_plugged_cb plugged_cb;
 struct device *codec_dev;
 enum drm_connector_status last_connector_result;
};

#define HDMI_IH_PHY_STAT0_RX_SENSE \
 (HDMI_IH_PHY_STAT0_RX_SENSE0 | HDMI_IH_PHY_STAT0_RX_SENSE1 | \
  HDMI_IH_PHY_STAT0_RX_SENSE2 | HDMI_IH_PHY_STAT0_RX_SENSE3)

#define HDMI_PHY_RX_SENSE \
 (HDMI_PHY_RX_SENSE0 | HDMI_PHY_RX_SENSE1 | \
  HDMI_PHY_RX_SENSE2 | HDMI_PHY_RX_SENSE3)

static inline void hdmi_writeb(struct dw_hdmi *hdmi, u8 val, int offset)
{
 regmap_write(hdmi->regm, offset << hdmi->reg_shift, val);
}

static inline u8 hdmi_readb(struct dw_hdmi *hdmi, int offset)
{
 unsigned int val = 0;

 regmap_read(hdmi->regm, offset << hdmi->reg_shift, &val);

 return val;
}

static void handle_plugged_change(struct dw_hdmi *hdmi, bool plugged)
{
 if (hdmi->plugged_cb && hdmi->codec_dev)
  hdmi->plugged_cb(hdmi->codec_dev, plugged);
}

int dw_hdmi_set_plugged_cb(struct dw_hdmi *hdmi, hdmi_codec_plugged_cb fn,
      struct device *codec_dev)
{
 bool plugged;

 mutex_lock(&hdmi->mutex);
 hdmi->plugged_cb = fn;
 hdmi->codec_dev = codec_dev;
 plugged = hdmi->last_connector_result == connector_status_connected;
 handle_plugged_change(hdmi, plugged);
 mutex_unlock(&hdmi->mutex);

 return 0;
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_plugged_cb);

static void hdmi_modb(struct dw_hdmi *hdmi, u8 data, u8 mask, unsigned reg)
{
 regmap_update_bits(hdmi->regm, reg << hdmi->reg_shift, mask, data);
}

static void hdmi_mask_writeb(struct dw_hdmi *hdmi, u8 data, unsigned int reg,
        u8 shift, u8 mask)
{
 hdmi_modb(hdmi, data << shift, mask, reg);
}

static void dw_hdmi_i2c_init(struct dw_hdmi *hdmi)
{
 hdmi_writeb(hdmi, HDMI_PHY_I2CM_INT_ADDR_DONE_POL,
      HDMI_PHY_I2CM_INT_ADDR);

 hdmi_writeb(hdmi, HDMI_PHY_I2CM_CTLINT_ADDR_NAC_POL |
      HDMI_PHY_I2CM_CTLINT_ADDR_ARBITRATION_POL,
      HDMI_PHY_I2CM_CTLINT_ADDR);

 /* Software reset */
 hdmi_writeb(hdmi, 0x00, HDMI_I2CM_SOFTRSTZ);

 /* Set Standard Mode speed (determined to be 100KHz on iMX6) */
 hdmi_writeb(hdmi, 0x00, HDMI_I2CM_DIV);

 /* Set done, not acknowledged and arbitration interrupt polarities */
 hdmi_writeb(hdmi, HDMI_I2CM_INT_DONE_POL, HDMI_I2CM_INT);
 hdmi_writeb(hdmi, HDMI_I2CM_CTLINT_NAC_POL | HDMI_I2CM_CTLINT_ARB_POL,
      HDMI_I2CM_CTLINT);

 /* Clear DONE and ERROR interrupts */
 hdmi_writeb(hdmi, HDMI_IH_I2CM_STAT0_ERROR | HDMI_IH_I2CM_STAT0_DONE,
      HDMI_IH_I2CM_STAT0);

 /* Mute DONE and ERROR interrupts */
 hdmi_writeb(hdmi, HDMI_IH_I2CM_STAT0_ERROR | HDMI_IH_I2CM_STAT0_DONE,
      HDMI_IH_MUTE_I2CM_STAT0);
}

static bool dw_hdmi_i2c_unwedge(struct dw_hdmi *hdmi)
{
 /* If no unwedge state then give up */
 if (!hdmi->unwedge_state)
  return false;

 dev_info(hdmi->dev, "Attempting to unwedge stuck i2c bus\n");

 /*
 * This is a huge hack to workaround a problem where the dw_hdmi i2c
 * bus could sometimes get wedged.  Once wedged there doesn't appear
 * to be any way to unwedge it (including the HDMI_I2CM_SOFTRSTZ)
 * other than pulsing the SDA line.
 *
 * We appear to be able to pulse the SDA line (in the eyes of dw_hdmi)
 * by:
 * 1. Remux the pin as a GPIO output, driven low.
 * 2. Wait a little while.  1 ms seems to work, but we'll do 10.
 * 3. Immediately jump to remux the pin as dw_hdmi i2c again.
 *
 * At the moment of remuxing, the line will still be low due to its
 * recent stint as an output, but then it will be pulled high by the
 * (presumed) external pullup.  dw_hdmi seems to see this as a rising
 * edge and that seems to get it out of its jam.
 *
 * This wedging was only ever seen on one TV, and only on one of
 * its HDMI ports.  It happened when the TV was powered on while the
 * device was plugged in.  A scope trace shows the TV bringing both SDA
 * and SCL low, then bringing them both back up at roughly the same
 * time.  Presumably this confuses dw_hdmi because it saw activity but
 * no real STOP (maybe it thinks there's another master on the bus?).
 * Giving it a clean rising edge of SDA while SCL is already high
 * presumably makes dw_hdmi see a STOP which seems to bring dw_hdmi out
 * of its stupor.
 *
 * Note that after coming back alive, transfers seem to immediately
 * resume, so if we unwedge due to a timeout we should wait a little
 * longer for our transfer to finish, since it might have just started
 * now.
 */
 pinctrl_select_state(hdmi->pinctrl, hdmi->unwedge_state);
 msleep(10);
 pinctrl_select_state(hdmi->pinctrl, hdmi->default_state);

 return true;
}

static int dw_hdmi_i2c_wait(struct dw_hdmi *hdmi)
{
 struct dw_hdmi_i2c *i2c = hdmi->i2c;
 int stat;

 stat = wait_for_completion_timeout(&i2c->cmp, HZ / 10);
 if (!stat) {
  /* If we can't unwedge, return timeout */
  if (!dw_hdmi_i2c_unwedge(hdmi))
   return -EAGAIN;

  /* We tried to unwedge; give it another chance */
  stat = wait_for_completion_timeout(&i2c->cmp, HZ / 10);
  if (!stat)
   return -EAGAIN;
 }

 /* Check for error condition on the bus */
 if (i2c->stat & HDMI_IH_I2CM_STAT0_ERROR)
  return -EIO;

 return 0;
}

static int dw_hdmi_i2c_read(struct dw_hdmi *hdmi,
       unsigned char *buf, unsigned int length)
{
 struct dw_hdmi_i2c *i2c = hdmi->i2c;
 int ret;

 if (!i2c->is_regaddr) {
  dev_dbg(hdmi->dev, "set read register address to 0\n");
  i2c->slave_reg = 0x00;
  i2c->is_regaddr = true;
 }

 while (length--) {
  reinit_completion(&i2c->cmp);

  hdmi_writeb(hdmi, i2c->slave_reg++, HDMI_I2CM_ADDRESS);
  if (i2c->is_segment)
   hdmi_writeb(hdmi, HDMI_I2CM_OPERATION_READ_EXT,
        HDMI_I2CM_OPERATION);
  else
   hdmi_writeb(hdmi, HDMI_I2CM_OPERATION_READ,
        HDMI_I2CM_OPERATION);

  ret = dw_hdmi_i2c_wait(hdmi);
  if (ret)
   return ret;

  *buf++ = hdmi_readb(hdmi, HDMI_I2CM_DATAI);
 }
 i2c->is_segment = false;

 return 0;
}

static int dw_hdmi_i2c_write(struct dw_hdmi *hdmi,
        unsigned char *buf, unsigned int length)
{
 struct dw_hdmi_i2c *i2c = hdmi->i2c;
 int ret;

 if (!i2c->is_regaddr) {
  /* Use the first write byte as register address */
  i2c->slave_reg = buf[0];
  length--;
  buf++;
  i2c->is_regaddr = true;
 }

 while (length--) {
  reinit_completion(&i2c->cmp);

  hdmi_writeb(hdmi, *buf++, HDMI_I2CM_DATAO);
  hdmi_writeb(hdmi, i2c->slave_reg++, HDMI_I2CM_ADDRESS);
  hdmi_writeb(hdmi, HDMI_I2CM_OPERATION_WRITE,
       HDMI_I2CM_OPERATION);

  ret = dw_hdmi_i2c_wait(hdmi);
  if (ret)
   return ret;
 }

 return 0;
}

static int dw_hdmi_i2c_xfer(struct i2c_adapter *adap,
       struct i2c_msg *msgs, int num)
{
 struct dw_hdmi *hdmi = i2c_get_adapdata(adap);
 struct dw_hdmi_i2c *i2c = hdmi->i2c;
 u8 addr = msgs[0].addr;
 int i, ret = 0;

 if (addr == DDC_CI_ADDR)
  /*
 * The internal I2C controller does not support the multi-byte
 * read and write operations needed for DDC/CI.
 * TOFIX: Blacklist the DDC/CI address until we filter out
 * unsupported I2C operations.
 */
  return -EOPNOTSUPP;

 dev_dbg(hdmi->dev, "xfer: num: %d, addr: %#x\n", num, addr);

 for (i = 0; i < num; i++) {
  if (msgs[i].len == 0) {
   dev_dbg(hdmi->dev,
    "unsupported transfer %d/%d, no data\n",
    i + 1, num);
   return -EOPNOTSUPP;
  }
 }

 mutex_lock(&i2c->lock);

 /* Unmute DONE and ERROR interrupts */
 hdmi_writeb(hdmi, 0x00, HDMI_IH_MUTE_I2CM_STAT0);

 /* Set slave device address taken from the first I2C message */
 hdmi_writeb(hdmi, addr, HDMI_I2CM_SLAVE);

 /* Set slave device register address on transfer */
 i2c->is_regaddr = false;

 /* Set segment pointer for I2C extended read mode operation */
 i2c->is_segment = false;

 for (i = 0; i < num; i++) {
  dev_dbg(hdmi->dev, "xfer: num: %d/%d, len: %d, flags: %#x\n",
   i + 1, num, msgs[i].len, msgs[i].flags);
  if (msgs[i].addr == DDC_SEGMENT_ADDR && msgs[i].len == 1) {
   i2c->is_segment = true;
   hdmi_writeb(hdmi, DDC_SEGMENT_ADDR, HDMI_I2CM_SEGADDR);
   hdmi_writeb(hdmi, *msgs[i].buf, HDMI_I2CM_SEGPTR);
  } else {
   if (msgs[i].flags & I2C_M_RD)
    ret = dw_hdmi_i2c_read(hdmi, msgs[i].buf,
             msgs[i].len);
   else
    ret = dw_hdmi_i2c_write(hdmi, msgs[i].buf,
       msgs[i].len);
  }
  if (ret < 0)
   break;
 }

 if (!ret)
  ret = num;

 /* Mute DONE and ERROR interrupts */
 hdmi_writeb(hdmi, HDMI_IH_I2CM_STAT0_ERROR | HDMI_IH_I2CM_STAT0_DONE,
      HDMI_IH_MUTE_I2CM_STAT0);

 mutex_unlock(&i2c->lock);

 return ret;
}

static u32 dw_hdmi_i2c_func(struct i2c_adapter *adapter)
{
 return I2C_FUNC_I2C | I2C_FUNC_SMBUS_EMUL;
}

static const struct i2c_algorithm dw_hdmi_algorithm = {
 .master_xfer = dw_hdmi_i2c_xfer,
 .functionality = dw_hdmi_i2c_func,
};

static struct i2c_adapter *dw_hdmi_i2c_adapter(struct dw_hdmi *hdmi)
{
 struct i2c_adapter *adap;
 struct dw_hdmi_i2c *i2c;
 int ret;

 i2c = devm_kzalloc(hdmi->dev, sizeof(*i2c), GFP_KERNEL);
 if (!i2c)
  return ERR_PTR(-ENOMEM);

 mutex_init(&i2c->lock);
 init_completion(&i2c->cmp);

 adap = &i2c->adap;
 adap->owner = THIS_MODULE;
 adap->dev.parent = hdmi->dev;
 adap->algo = &dw_hdmi_algorithm;
 strscpy(adap->name, "DesignWare HDMI", sizeof(adap->name));
 i2c_set_adapdata(adap, hdmi);

 ret = i2c_add_adapter(adap);
 if (ret) {
  dev_warn(hdmi->dev, "cannot add %s I2C adapter\n", adap->name);
  devm_kfree(hdmi->dev, i2c);
  return ERR_PTR(ret);
 }

 hdmi->i2c = i2c;

 dev_info(hdmi->dev, "registered %s I2C bus driver\n", adap->name);

 return adap;
}

static void hdmi_set_cts_n(struct dw_hdmi *hdmi, unsigned int cts,
      unsigned int n)
{
 /* Must be set/cleared first */
 hdmi_modb(hdmi, 0, HDMI_AUD_CTS3_CTS_MANUAL, HDMI_AUD_CTS3);

 /* nshift factor = 0 */
 hdmi_modb(hdmi, 0, HDMI_AUD_CTS3_N_SHIFT_MASK, HDMI_AUD_CTS3);

 /* Use automatic CTS generation mode when CTS is not set */
 if (cts)
  hdmi_writeb(hdmi, ((cts >> 16) &
       HDMI_AUD_CTS3_AUDCTS19_16_MASK) |
      HDMI_AUD_CTS3_CTS_MANUAL,
       HDMI_AUD_CTS3);
 else
  hdmi_writeb(hdmi, 0, HDMI_AUD_CTS3);
 hdmi_writeb(hdmi, (cts >> 8) & 0xff, HDMI_AUD_CTS2);
 hdmi_writeb(hdmi, cts & 0xff, HDMI_AUD_CTS1);

 hdmi_writeb(hdmi, (n >> 16) & 0x0f, HDMI_AUD_N3);
 hdmi_writeb(hdmi, (n >> 8) & 0xff, HDMI_AUD_N2);
 hdmi_writeb(hdmi, n & 0xff, HDMI_AUD_N1);
}

static unsigned int hdmi_compute_n(unsigned int freq, unsigned long pixel_clk)
{
 unsigned int n = (128 * freq) / 1000;
 unsigned int mult = 1;

 while (freq > 48000) {
  mult *= 2;
  freq /= 2;
 }

 switch (freq) {
 case 32000:
  if (pixel_clk == 25175000)
   n = 4576;
  else if (pixel_clk == 27027000)
   n = 4096;
  else if (pixel_clk == 74176000 || pixel_clk == 148352000)
   n = 11648;
  else if (pixel_clk == 297000000)
   n = 3072;
  else
   n = 4096;
  n *= mult;
  break;

 case 44100:
  if (pixel_clk == 25175000)
   n = 7007;
  else if (pixel_clk == 74176000)
   n = 17836;
  else if (pixel_clk == 148352000)
   n = 8918;
  else if (pixel_clk == 297000000)
   n = 4704;
  else
   n = 6272;
  n *= mult;
  break;

 case 48000:
  if (pixel_clk == 25175000)
   n = 6864;
  else if (pixel_clk == 27027000)
   n = 6144;
  else if (pixel_clk == 74176000)
   n = 11648;
  else if (pixel_clk == 148352000)
   n = 5824;
  else if (pixel_clk == 297000000)
   n = 5120;
  else
   n = 6144;
  n *= mult;
  break;

 default:
  break;
 }

 return n;
}

/*
 * When transmitting IEC60958 linear PCM audio, these registers allow to
 * configure the channel status information of all the channel status
 * bits in the IEC60958 frame. For the moment this configuration is only
 * used when the I2S audio interface, General Purpose Audio (GPA),
 * or AHB audio DMA (AHBAUDDMA) interface is active
 * (for S/PDIF interface this information comes from the stream).
 */
void dw_hdmi_set_channel_status(struct dw_hdmi *hdmi,
    u8 *channel_status)
{
 /*
 * Set channel status register for frequency and word length.
 * Use default values for other registers.
 */
 hdmi_writeb(hdmi, channel_status[3], HDMI_FC_AUDSCHNLS7);
 hdmi_writeb(hdmi, channel_status[4], HDMI_FC_AUDSCHNLS8);
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_channel_status);

static void hdmi_set_clk_regenerator(struct dw_hdmi *hdmi,
 unsigned long pixel_clk, unsigned int sample_rate)
{
 unsigned long ftdms = pixel_clk;
 unsigned int n, cts;
 u8 config3;
 u64 tmp;

 n = hdmi_compute_n(sample_rate, pixel_clk);

 config3 = hdmi_readb(hdmi, HDMI_CONFIG3_ID);

 /* Compute CTS when using internal AHB audio or General Parallel audio*/
 if ((config3 & HDMI_CONFIG3_AHBAUDDMA) || (config3 & HDMI_CONFIG3_GPAUD)) {
  /*
 * Compute the CTS value from the N value.  Note that CTS and N
 * can be up to 20 bits in total, so we need 64-bit math.  Also
 * note that our TDMS clock is not fully accurate; it is
 * accurate to kHz.  This can introduce an unnecessary remainder
 * in the calculation below, so we don't try to warn about that.
 */
  tmp = (u64)ftdms * n;
  do_div(tmp, 128 * sample_rate);
  cts = tmp;

  dev_dbg(hdmi->dev, "%s: fs=%uHz ftdms=%lu.%03luMHz N=%d cts=%d\n",
   __func__, sample_rate,
   ftdms / 1000000, (ftdms / 1000) % 1000,
   n, cts);
 } else {
  cts = 0;
 }

 spin_lock_irq(&hdmi->audio_lock);
 hdmi->audio_n = n;
 hdmi->audio_cts = cts;
 hdmi_set_cts_n(hdmi, cts, hdmi->audio_enable ? n : 0);
 spin_unlock_irq(&hdmi->audio_lock);
}

static void hdmi_init_clk_regenerator(struct dw_hdmi *hdmi)
{
 mutex_lock(&hdmi->audio_mutex);
 hdmi_set_clk_regenerator(hdmi, 74250000, hdmi->sample_rate);
 mutex_unlock(&hdmi->audio_mutex);
}

static void hdmi_clk_regenerator_update_pixel_clock(struct dw_hdmi *hdmi)
{
 mutex_lock(&hdmi->audio_mutex);
 hdmi_set_clk_regenerator(hdmi, hdmi->hdmi_data.video_mode.mtmdsclock,
     hdmi->sample_rate);
 mutex_unlock(&hdmi->audio_mutex);
}

void dw_hdmi_set_sample_width(struct dw_hdmi *hdmi, unsigned int width)
{
 mutex_lock(&hdmi->audio_mutex);
 hdmi->sample_width = width;
 mutex_unlock(&hdmi->audio_mutex);
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_sample_width);

void dw_hdmi_set_sample_non_pcm(struct dw_hdmi *hdmi, unsigned int non_pcm)
{
 mutex_lock(&hdmi->audio_mutex);
 hdmi->sample_non_pcm = non_pcm;
 mutex_unlock(&hdmi->audio_mutex);
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_sample_non_pcm);

void dw_hdmi_set_sample_rate(struct dw_hdmi *hdmi, unsigned int rate)
{
 mutex_lock(&hdmi->audio_mutex);
 hdmi->sample_rate = rate;
 hdmi_set_clk_regenerator(hdmi, hdmi->hdmi_data.video_mode.mtmdsclock,
     hdmi->sample_rate);
 mutex_unlock(&hdmi->audio_mutex);
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_sample_rate);

void dw_hdmi_set_channel_count(struct dw_hdmi *hdmi, unsigned int cnt)
{
 u8 layout;

 mutex_lock(&hdmi->audio_mutex);
 hdmi->channels = cnt;

 /*
 * For >2 channel PCM audio, we need to select layout 1
 * and set an appropriate channel map.
 */
 if (cnt > 2)
  layout = HDMI_FC_AUDSCONF_AUD_PACKET_LAYOUT_LAYOUT1;
 else
  layout = HDMI_FC_AUDSCONF_AUD_PACKET_LAYOUT_LAYOUT0;

 hdmi_modb(hdmi, layout, HDMI_FC_AUDSCONF_AUD_PACKET_LAYOUT_MASK,
    HDMI_FC_AUDSCONF);

 /* Set the audio infoframes channel count */
 hdmi_modb(hdmi, (cnt - 1) << HDMI_FC_AUDICONF0_CC_OFFSET,
    HDMI_FC_AUDICONF0_CC_MASK, HDMI_FC_AUDICONF0);

 mutex_unlock(&hdmi->audio_mutex);
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_channel_count);

void dw_hdmi_set_channel_allocation(struct dw_hdmi *hdmi, unsigned int ca)
{
 mutex_lock(&hdmi->audio_mutex);

 hdmi_writeb(hdmi, ca, HDMI_FC_AUDICONF2);

 mutex_unlock(&hdmi->audio_mutex);
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_channel_allocation);

static void hdmi_enable_audio_clk(struct dw_hdmi *hdmi, bool enable)
{
 if (enable)
  hdmi->mc_clkdis &= ~HDMI_MC_CLKDIS_AUDCLK_DISABLE;
 else
  hdmi->mc_clkdis |= HDMI_MC_CLKDIS_AUDCLK_DISABLE;
 hdmi_writeb(hdmi, hdmi->mc_clkdis, HDMI_MC_CLKDIS);
}

static u8 *hdmi_audio_get_eld(struct dw_hdmi *hdmi)
{
 if (!hdmi->curr_conn)
  return NULL;

 return hdmi->curr_conn->eld;
}

static void dw_hdmi_gp_audio_enable(struct dw_hdmi *hdmi)
{
 const struct dw_hdmi_plat_data *pdata = hdmi->plat_data;
 int sample_freq = 0x2, org_sample_freq = 0xD;
 int ch_mask = BIT(hdmi->channels) - 1;

 switch (hdmi->sample_rate) {
 case 32000:
  sample_freq = 0x03;
  org_sample_freq = 0x0C;
  break;
 case 44100:
  sample_freq = 0x00;
  org_sample_freq = 0x0F;
  break;
 case 48000:
  sample_freq = 0x02;
  org_sample_freq = 0x0D;
  break;
 case 88200:
  sample_freq = 0x08;
  org_sample_freq = 0x07;
  break;
 case 96000:
  sample_freq = 0x0A;
  org_sample_freq = 0x05;
  break;
 case 176400:
  sample_freq = 0x0C;
  org_sample_freq = 0x03;
  break;
 case 192000:
  sample_freq = 0x0E;
  org_sample_freq = 0x01;
  break;
 default:
  break;
 }

 hdmi_set_cts_n(hdmi, hdmi->audio_cts, hdmi->audio_n);
 hdmi_enable_audio_clk(hdmi, true);

 hdmi_writeb(hdmi, 0x1, HDMI_FC_AUDSCHNLS0);
 hdmi_writeb(hdmi, hdmi->channels, HDMI_FC_AUDSCHNLS2);
 hdmi_writeb(hdmi, 0x22, HDMI_FC_AUDSCHNLS3);
 hdmi_writeb(hdmi, 0x22, HDMI_FC_AUDSCHNLS4);
 hdmi_writeb(hdmi, 0x11, HDMI_FC_AUDSCHNLS5);
 hdmi_writeb(hdmi, 0x11, HDMI_FC_AUDSCHNLS6);
 hdmi_writeb(hdmi, (0x3 << 4) | sample_freq, HDMI_FC_AUDSCHNLS7);
 hdmi_writeb(hdmi, (org_sample_freq << 4) | 0xb, HDMI_FC_AUDSCHNLS8);

 hdmi_writeb(hdmi, ch_mask, HDMI_GP_CONF1);
 hdmi_writeb(hdmi, 0x02, HDMI_GP_CONF2);
 hdmi_writeb(hdmi, 0x01, HDMI_GP_CONF0);

 hdmi_modb(hdmi,  0x3, 0x3, HDMI_FC_DATAUTO3);

 /* hbr */
 if (hdmi->sample_rate == 192000 && hdmi->channels == 8 &&
     hdmi->sample_width == 32 && hdmi->sample_non_pcm)
  hdmi_modb(hdmi, 0x01, 0x01, HDMI_GP_CONF2);

 if (pdata->enable_audio)
  pdata->enable_audio(hdmi,
        hdmi->channels,
        hdmi->sample_width,
        hdmi->sample_rate,
        hdmi->sample_non_pcm);
}

static void dw_hdmi_gp_audio_disable(struct dw_hdmi *hdmi)
{
 const struct dw_hdmi_plat_data *pdata = hdmi->plat_data;

 hdmi_set_cts_n(hdmi, hdmi->audio_cts, 0);

 hdmi_modb(hdmi,  0, 0x3, HDMI_FC_DATAUTO3);
 if (pdata->disable_audio)
  pdata->disable_audio(hdmi);

 hdmi_enable_audio_clk(hdmi, false);
}

static void dw_hdmi_ahb_audio_enable(struct dw_hdmi *hdmi)
{
 hdmi_set_cts_n(hdmi, hdmi->audio_cts, hdmi->audio_n);
}

static void dw_hdmi_ahb_audio_disable(struct dw_hdmi *hdmi)
{
 hdmi_set_cts_n(hdmi, hdmi->audio_cts, 0);
}

static void dw_hdmi_i2s_audio_enable(struct dw_hdmi *hdmi)
{
 hdmi_set_cts_n(hdmi, hdmi->audio_cts, hdmi->audio_n);
 hdmi_enable_audio_clk(hdmi, true);
}

static void dw_hdmi_i2s_audio_disable(struct dw_hdmi *hdmi)
{
 hdmi_enable_audio_clk(hdmi, false);
}

void dw_hdmi_audio_enable(struct dw_hdmi *hdmi)
{
 unsigned long flags;

 spin_lock_irqsave(&hdmi->audio_lock, flags);
 hdmi->audio_enable = true;
 if (hdmi->enable_audio)
  hdmi->enable_audio(hdmi);
 spin_unlock_irqrestore(&hdmi->audio_lock, flags);
}
EXPORT_SYMBOL_GPL(dw_hdmi_audio_enable);

void dw_hdmi_audio_disable(struct dw_hdmi *hdmi)
{
 unsigned long flags;

 spin_lock_irqsave(&hdmi->audio_lock, flags);
 hdmi->audio_enable = false;
 if (hdmi->disable_audio)
  hdmi->disable_audio(hdmi);
 spin_unlock_irqrestore(&hdmi->audio_lock, flags);
}
EXPORT_SYMBOL_GPL(dw_hdmi_audio_disable);

static bool hdmi_bus_fmt_is_rgb(unsigned int bus_format)
{
 switch (bus_format) {
 case MEDIA_BUS_FMT_RGB888_1X24:
 case MEDIA_BUS_FMT_RGB101010_1X30:
 case MEDIA_BUS_FMT_RGB121212_1X36:
 case MEDIA_BUS_FMT_RGB161616_1X48:
  return true;

 default:
  return false;
 }
}

static bool hdmi_bus_fmt_is_yuv444(unsigned int bus_format)
{
 switch (bus_format) {
 case MEDIA_BUS_FMT_YUV8_1X24:
 case MEDIA_BUS_FMT_YUV10_1X30:
 case MEDIA_BUS_FMT_YUV12_1X36:
 case MEDIA_BUS_FMT_YUV16_1X48:
  return true;

 default:
  return false;
 }
}

static bool hdmi_bus_fmt_is_yuv422(unsigned int bus_format)
{
 switch (bus_format) {
 case MEDIA_BUS_FMT_UYVY8_1X16:
 case MEDIA_BUS_FMT_UYVY10_1X20:
 case MEDIA_BUS_FMT_UYVY12_1X24:
  return true;

 default:
  return false;
 }
}

static bool hdmi_bus_fmt_is_yuv420(unsigned int bus_format)
{
 switch (bus_format) {
 case MEDIA_BUS_FMT_UYYVYY8_0_5X24:
 case MEDIA_BUS_FMT_UYYVYY10_0_5X30:
 case MEDIA_BUS_FMT_UYYVYY12_0_5X36:
 case MEDIA_BUS_FMT_UYYVYY16_0_5X48:
  return true;

 default:
  return false;
 }
}

static int hdmi_bus_fmt_color_depth(unsigned int bus_format)
{
 switch (bus_format) {
 case MEDIA_BUS_FMT_RGB888_1X24:
 case MEDIA_BUS_FMT_YUV8_1X24:
 case MEDIA_BUS_FMT_UYVY8_1X16:
 case MEDIA_BUS_FMT_UYYVYY8_0_5X24:
  return 8;

 case MEDIA_BUS_FMT_RGB101010_1X30:
 case MEDIA_BUS_FMT_YUV10_1X30:
 case MEDIA_BUS_FMT_UYVY10_1X20:
 case MEDIA_BUS_FMT_UYYVYY10_0_5X30:
  return 10;

 case MEDIA_BUS_FMT_RGB121212_1X36:
 case MEDIA_BUS_FMT_YUV12_1X36:
 case MEDIA_BUS_FMT_UYVY12_1X24:
 case MEDIA_BUS_FMT_UYYVYY12_0_5X36:
  return 12;

 case MEDIA_BUS_FMT_RGB161616_1X48:
 case MEDIA_BUS_FMT_YUV16_1X48:
 case MEDIA_BUS_FMT_UYYVYY16_0_5X48:
  return 16;

 default:
  return 0;
 }
}

/*
 * this submodule is responsible for the video data synchronization.
 * for example, for RGB 4:4:4 input, the data map is defined as
 * pin{47~40} <==> R[7:0]
 * pin{31~24} <==> G[7:0]
 * pin{15~8}  <==> B[7:0]
 */
static void hdmi_video_sample(struct dw_hdmi *hdmi)
{
 int color_format = 0;
 u8 val;

 switch (hdmi->hdmi_data.enc_in_bus_format) {
 case MEDIA_BUS_FMT_RGB888_1X24:
  color_format = 0x01;
  break;
 case MEDIA_BUS_FMT_RGB101010_1X30:
  color_format = 0x03;
  break;
 case MEDIA_BUS_FMT_RGB121212_1X36:
  color_format = 0x05;
  break;
 case MEDIA_BUS_FMT_RGB161616_1X48:
  color_format = 0x07;
  break;

 case MEDIA_BUS_FMT_YUV8_1X24:
 case MEDIA_BUS_FMT_UYYVYY8_0_5X24:
  color_format = 0x09;
  break;
 case MEDIA_BUS_FMT_YUV10_1X30:
 case MEDIA_BUS_FMT_UYYVYY10_0_5X30:
  color_format = 0x0B;
  break;
 case MEDIA_BUS_FMT_YUV12_1X36:
 case MEDIA_BUS_FMT_UYYVYY12_0_5X36:
  color_format = 0x0D;
  break;
 case MEDIA_BUS_FMT_YUV16_1X48:
 case MEDIA_BUS_FMT_UYYVYY16_0_5X48:
  color_format = 0x0F;
  break;

 case MEDIA_BUS_FMT_UYVY8_1X16:
  color_format = 0x16;
  break;
 case MEDIA_BUS_FMT_UYVY10_1X20:
  color_format = 0x14;
  break;
 case MEDIA_BUS_FMT_UYVY12_1X24:
  color_format = 0x12;
  break;

 default:
  return;
 }

 val = HDMI_TX_INVID0_INTERNAL_DE_GENERATOR_DISABLE |
  ((color_format << HDMI_TX_INVID0_VIDEO_MAPPING_OFFSET) &
  HDMI_TX_INVID0_VIDEO_MAPPING_MASK);
 hdmi_writeb(hdmi, val, HDMI_TX_INVID0);

 /* Enable TX stuffing: When DE is inactive, fix the output data to 0 */
 val = HDMI_TX_INSTUFFING_BDBDATA_STUFFING_ENABLE |
  HDMI_TX_INSTUFFING_RCRDATA_STUFFING_ENABLE |
  HDMI_TX_INSTUFFING_GYDATA_STUFFING_ENABLE;
 hdmi_writeb(hdmi, val, HDMI_TX_INSTUFFING);
 hdmi_writeb(hdmi, 0x0, HDMI_TX_GYDATA0);
 hdmi_writeb(hdmi, 0x0, HDMI_TX_GYDATA1);
 hdmi_writeb(hdmi, 0x0, HDMI_TX_RCRDATA0);
 hdmi_writeb(hdmi, 0x0, HDMI_TX_RCRDATA1);
 hdmi_writeb(hdmi, 0x0, HDMI_TX_BCBDATA0);
 hdmi_writeb(hdmi, 0x0, HDMI_TX_BCBDATA1);
}

static int is_color_space_conversion(struct dw_hdmi *hdmi)
{
 struct hdmi_data_info *hdmi_data = &hdmi->hdmi_data;
 bool is_input_rgb, is_output_rgb;

 is_input_rgb = hdmi_bus_fmt_is_rgb(hdmi_data->enc_in_bus_format);
 is_output_rgb = hdmi_bus_fmt_is_rgb(hdmi_data->enc_out_bus_format);

 return (is_input_rgb != is_output_rgb) ||
        (is_input_rgb && is_output_rgb && hdmi_data->rgb_limited_range);
}

static int is_color_space_decimation(struct dw_hdmi *hdmi)
{
 if (!hdmi_bus_fmt_is_yuv422(hdmi->hdmi_data.enc_out_bus_format))
  return 0;

 if (hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_in_bus_format) ||
     hdmi_bus_fmt_is_yuv444(hdmi->hdmi_data.enc_in_bus_format))
  return 1;

 return 0;
}

static int is_color_space_interpolation(struct dw_hdmi *hdmi)
{
 if (!hdmi_bus_fmt_is_yuv422(hdmi->hdmi_data.enc_in_bus_format))
  return 0;

 if (hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_out_bus_format) ||
     hdmi_bus_fmt_is_yuv444(hdmi->hdmi_data.enc_out_bus_format))
  return 1;

 return 0;
}

static bool is_csc_needed(struct dw_hdmi *hdmi)
{
 return is_color_space_conversion(hdmi) ||
        is_color_space_decimation(hdmi) ||
        is_color_space_interpolation(hdmi);
}

static void dw_hdmi_update_csc_coeffs(struct dw_hdmi *hdmi)
{
 const u16 (*csc_coeff)[3][4] = &csc_coeff_default;
 bool is_input_rgb, is_output_rgb;
 unsigned i;
 u32 csc_scale = 1;

 is_input_rgb = hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_in_bus_format);
 is_output_rgb = hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_out_bus_format);

 if (!is_input_rgb && is_output_rgb) {
  if (hdmi->hdmi_data.enc_out_encoding == V4L2_YCBCR_ENC_601)
   csc_coeff = &csc_coeff_rgb_out_eitu601;
  else
   csc_coeff = &csc_coeff_rgb_out_eitu709;
 } else if (is_input_rgb && !is_output_rgb) {
  if (hdmi->hdmi_data.enc_out_encoding == V4L2_YCBCR_ENC_601)
   csc_coeff = &csc_coeff_rgb_in_eitu601;
  else
   csc_coeff = &csc_coeff_rgb_in_eitu709;
  csc_scale = 0;
 } else if (is_input_rgb && is_output_rgb &&
     hdmi->hdmi_data.rgb_limited_range) {
  csc_coeff = &csc_coeff_rgb_full_to_rgb_limited;
 }

 /* The CSC registers are sequential, alternating MSB then LSB */
 for (i = 0; i < ARRAY_SIZE(csc_coeff_default[0]); i++) {
  u16 coeff_a = (*csc_coeff)[0][i];
  u16 coeff_b = (*csc_coeff)[1][i];
  u16 coeff_c = (*csc_coeff)[2][i];

  hdmi_writeb(hdmi, coeff_a & 0xff, HDMI_CSC_COEF_A1_LSB + i * 2);
  hdmi_writeb(hdmi, coeff_a >> 8, HDMI_CSC_COEF_A1_MSB + i * 2);
  hdmi_writeb(hdmi, coeff_b & 0xff, HDMI_CSC_COEF_B1_LSB + i * 2);
  hdmi_writeb(hdmi, coeff_b >> 8, HDMI_CSC_COEF_B1_MSB + i * 2);
  hdmi_writeb(hdmi, coeff_c & 0xff, HDMI_CSC_COEF_C1_LSB + i * 2);
  hdmi_writeb(hdmi, coeff_c >> 8, HDMI_CSC_COEF_C1_MSB + i * 2);
 }

 hdmi_modb(hdmi, csc_scale, HDMI_CSC_SCALE_CSCSCALE_MASK,
    HDMI_CSC_SCALE);
}

static void hdmi_video_csc(struct dw_hdmi *hdmi)
{
 int color_depth = 0;
 int interpolation = HDMI_CSC_CFG_INTMODE_DISABLE;
 int decimation = 0;

 /* YCC422 interpolation to 444 mode */
 if (is_color_space_interpolation(hdmi))
  interpolation = HDMI_CSC_CFG_INTMODE_CHROMA_INT_FORMULA1;
 else if (is_color_space_decimation(hdmi))
  decimation = HDMI_CSC_CFG_DECMODE_CHROMA_INT_FORMULA3;

 switch (hdmi_bus_fmt_color_depth(hdmi->hdmi_data.enc_out_bus_format)) {
 case 8:
  color_depth = HDMI_CSC_SCALE_CSC_COLORDE_PTH_24BPP;
  break;
 case 10:
  color_depth = HDMI_CSC_SCALE_CSC_COLORDE_PTH_30BPP;
  break;
 case 12:
  color_depth = HDMI_CSC_SCALE_CSC_COLORDE_PTH_36BPP;
  break;
 case 16:
  color_depth = HDMI_CSC_SCALE_CSC_COLORDE_PTH_48BPP;
  break;

 default:
  return;
 }

 /* Configure the CSC registers */
 hdmi_writeb(hdmi, interpolation | decimation, HDMI_CSC_CFG);
 hdmi_modb(hdmi, color_depth, HDMI_CSC_SCALE_CSC_COLORDE_PTH_MASK,
    HDMI_CSC_SCALE);

 dw_hdmi_update_csc_coeffs(hdmi);
}

/*
 * HDMI video packetizer is used to packetize the data.
 * for example, if input is YCC422 mode or repeater is used,
 * data should be repacked this module can be bypassed.
 */
static void hdmi_video_packetize(struct dw_hdmi *hdmi)
{
 unsigned int color_depth = 0;
 unsigned int remap_size = HDMI_VP_REMAP_YCC422_16bit;
 unsigned int output_select = HDMI_VP_CONF_OUTPUT_SELECTOR_PP;
 struct hdmi_data_info *hdmi_data = &hdmi->hdmi_data;
 u8 val, vp_conf;
 u8 clear_gcp_auto = 0;


 if (hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_out_bus_format) ||
     hdmi_bus_fmt_is_yuv444(hdmi->hdmi_data.enc_out_bus_format) ||
     hdmi_bus_fmt_is_yuv420(hdmi->hdmi_data.enc_out_bus_format)) {
  switch (hdmi_bus_fmt_color_depth(
     hdmi->hdmi_data.enc_out_bus_format)) {
  case 8:
   color_depth = 4;
   output_select = HDMI_VP_CONF_OUTPUT_SELECTOR_BYPASS;
   clear_gcp_auto = 1;
   break;
  case 10:
   color_depth = 5;
   break;
  case 12:
   color_depth = 6;
   break;
  case 16:
   color_depth = 7;
   break;
  default:
   output_select = HDMI_VP_CONF_OUTPUT_SELECTOR_BYPASS;
  }
 } else if (hdmi_bus_fmt_is_yuv422(hdmi->hdmi_data.enc_out_bus_format)) {
  switch (hdmi_bus_fmt_color_depth(
     hdmi->hdmi_data.enc_out_bus_format)) {
  case 0:
  case 8:
   remap_size = HDMI_VP_REMAP_YCC422_16bit;
   clear_gcp_auto = 1;
   break;
  case 10:
   remap_size = HDMI_VP_REMAP_YCC422_20bit;
   break;
  case 12:
   remap_size = HDMI_VP_REMAP_YCC422_24bit;
   break;

  default:
   return;
  }
  output_select = HDMI_VP_CONF_OUTPUT_SELECTOR_YCC422;
 } else {
  return;
 }

 /* set the packetizer registers */
 val = ((color_depth << HDMI_VP_PR_CD_COLOR_DEPTH_OFFSET) &
  HDMI_VP_PR_CD_COLOR_DEPTH_MASK) |
  ((hdmi_data->pix_repet_factor <<
  HDMI_VP_PR_CD_DESIRED_PR_FACTOR_OFFSET) &
  HDMI_VP_PR_CD_DESIRED_PR_FACTOR_MASK);
 hdmi_writeb(hdmi, val, HDMI_VP_PR_CD);

 /* HDMI1.4b specification section 6.5.3:
 * Source shall only send GCPs with non-zero CD to sinks
 * that indicate support for Deep Color.
 * GCP only transmit CD and do not handle AVMUTE, PP norDefault_Phase (yet).
 * Disable Auto GCP when 24-bit color for sinks that not support Deep Color.
 */
 val = hdmi_readb(hdmi, HDMI_FC_DATAUTO3);
 if (clear_gcp_auto == 1)
  val &= ~HDMI_FC_DATAUTO3_GCP_AUTO;
 else
  val |= HDMI_FC_DATAUTO3_GCP_AUTO;
 hdmi_writeb(hdmi, val, HDMI_FC_DATAUTO3);

 hdmi_modb(hdmi, HDMI_VP_STUFF_PR_STUFFING_STUFFING_MODE,
    HDMI_VP_STUFF_PR_STUFFING_MASK, HDMI_VP_STUFF);

 /* Data from pixel repeater block */
 if (hdmi_data->pix_repet_factor > 1) {
  vp_conf = HDMI_VP_CONF_PR_EN_ENABLE |
     HDMI_VP_CONF_BYPASS_SELECT_PIX_REPEATER;
 } else { /* data from packetizer block */
  vp_conf = HDMI_VP_CONF_PR_EN_DISABLE |
     HDMI_VP_CONF_BYPASS_SELECT_VID_PACKETIZER;
 }

 hdmi_modb(hdmi, vp_conf,
    HDMI_VP_CONF_PR_EN_MASK |
    HDMI_VP_CONF_BYPASS_SELECT_MASK, HDMI_VP_CONF);

 hdmi_modb(hdmi, 1 << HDMI_VP_STUFF_IDEFAULT_PHASE_OFFSET,
    HDMI_VP_STUFF_IDEFAULT_PHASE_MASK, HDMI_VP_STUFF);

 hdmi_writeb(hdmi, remap_size, HDMI_VP_REMAP);

 if (output_select == HDMI_VP_CONF_OUTPUT_SELECTOR_PP) {
  vp_conf = HDMI_VP_CONF_BYPASS_EN_DISABLE |
     HDMI_VP_CONF_PP_EN_ENABLE |
     HDMI_VP_CONF_YCC422_EN_DISABLE;
 } else if (output_select == HDMI_VP_CONF_OUTPUT_SELECTOR_YCC422) {
  vp_conf = HDMI_VP_CONF_BYPASS_EN_DISABLE |
     HDMI_VP_CONF_PP_EN_DISABLE |
     HDMI_VP_CONF_YCC422_EN_ENABLE;
 } else if (output_select == HDMI_VP_CONF_OUTPUT_SELECTOR_BYPASS) {
  vp_conf = HDMI_VP_CONF_BYPASS_EN_ENABLE |
     HDMI_VP_CONF_PP_EN_DISABLE |
     HDMI_VP_CONF_YCC422_EN_DISABLE;
 } else {
  return;
 }

 hdmi_modb(hdmi, vp_conf,
    HDMI_VP_CONF_BYPASS_EN_MASK | HDMI_VP_CONF_PP_EN_ENMASK |
    HDMI_VP_CONF_YCC422_EN_MASK, HDMI_VP_CONF);

 hdmi_modb(hdmi, HDMI_VP_STUFF_PP_STUFFING_STUFFING_MODE |
   HDMI_VP_STUFF_YCC422_STUFFING_STUFFING_MODE,
    HDMI_VP_STUFF_PP_STUFFING_MASK |
    HDMI_VP_STUFF_YCC422_STUFFING_MASK, HDMI_VP_STUFF);

 hdmi_modb(hdmi, output_select, HDMI_VP_CONF_OUTPUT_SELECTOR_MASK,
    HDMI_VP_CONF);
}

/* -----------------------------------------------------------------------------
 * Synopsys PHY Handling
 */

static inline void hdmi_phy_test_clear(struct dw_hdmi *hdmi,
           unsigned char bit)
{
 hdmi_modb(hdmi, bit << HDMI_PHY_TST0_TSTCLR_OFFSET,
    HDMI_PHY_TST0_TSTCLR_MASK, HDMI_PHY_TST0);
}

static bool hdmi_phy_wait_i2c_done(struct dw_hdmi *hdmi, int msec)
{
 u32 val;

 while ((val = hdmi_readb(hdmi, HDMI_IH_I2CMPHY_STAT0) & 0x3) == 0) {
  if (msec-- == 0)
   return false;
  udelay(1000);
 }
 hdmi_writeb(hdmi, val, HDMI_IH_I2CMPHY_STAT0);

 return true;
}

void dw_hdmi_phy_i2c_write(struct dw_hdmi *hdmi, unsigned short data,
      unsigned char addr)
{
 hdmi_writeb(hdmi, 0xFF, HDMI_IH_I2CMPHY_STAT0);
 hdmi_writeb(hdmi, addr, HDMI_PHY_I2CM_ADDRESS_ADDR);
 hdmi_writeb(hdmi, (unsigned char)(data >> 8),
      HDMI_PHY_I2CM_DATAO_1_ADDR);
 hdmi_writeb(hdmi, (unsigned char)(data >> 0),
      HDMI_PHY_I2CM_DATAO_0_ADDR);
 hdmi_writeb(hdmi, HDMI_PHY_I2CM_OPERATION_ADDR_WRITE,
      HDMI_PHY_I2CM_OPERATION_ADDR);
 hdmi_phy_wait_i2c_done(hdmi, 1000);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_i2c_write);

/* Filter out invalid setups to avoid configuring SCDC and scrambling */
static bool dw_hdmi_support_scdc(struct dw_hdmi *hdmi,
     const struct drm_display_info *display)
{
 /* Completely disable SCDC support for older controllers */
 if (hdmi->version < 0x200a)
  return false;

 /* Disable if no DDC bus */
 if (!hdmi->ddc)
  return false;

 /* Disable if SCDC is not supported, or if an HF-VSDB block is absent */
 if (!display->hdmi.scdc.supported ||
     !display->hdmi.scdc.scrambling.supported)
  return false;

 /*
 * Disable if display only support low TMDS rates and scrambling
 * for low rates is not supported either
 */
 if (!display->hdmi.scdc.scrambling.low_rates &&
     display->max_tmds_clock <= 340000)
  return false;

 return true;
}

/*
 * HDMI2.0 Specifies the following procedure for High TMDS Bit Rates:
 * - The Source shall suspend transmission of the TMDS clock and data
 * - The Source shall write to the TMDS_Bit_Clock_Ratio bit to change it
 * from a 0 to a 1 or from a 1 to a 0
 * - The Source shall allow a minimum of 1 ms and a maximum of 100 ms from
 * the time the TMDS_Bit_Clock_Ratio bit is written until resuming
 * transmission of TMDS clock and data
 *
 * To respect the 100ms maximum delay, the dw_hdmi_set_high_tmds_clock_ratio()
 * helper should called right before enabling the TMDS Clock and Data in
 * the PHY configuration callback.
 */
void dw_hdmi_set_high_tmds_clock_ratio(struct dw_hdmi *hdmi,
           const struct drm_display_info *display)
{
 unsigned long mtmdsclock = hdmi->hdmi_data.video_mode.mtmdsclock;

 /* Control for TMDS Bit Period/TMDS Clock-Period Ratio */
 if (dw_hdmi_support_scdc(hdmi, display)) {
  if (mtmdsclock > HDMI14_MAX_TMDSCLK)
   drm_scdc_set_high_tmds_clock_ratio(hdmi->curr_conn, 1);
  else
   drm_scdc_set_high_tmds_clock_ratio(hdmi->curr_conn, 0);
 }
}
EXPORT_SYMBOL_GPL(dw_hdmi_set_high_tmds_clock_ratio);

static void dw_hdmi_phy_enable_powerdown(struct dw_hdmi *hdmi, bool enable)
{
 hdmi_mask_writeb(hdmi, !enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_PDZ_OFFSET,
    HDMI_PHY_CONF0_PDZ_MASK);
}

static void dw_hdmi_phy_enable_tmds(struct dw_hdmi *hdmi, u8 enable)
{
 hdmi_mask_writeb(hdmi, enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_ENTMDS_OFFSET,
    HDMI_PHY_CONF0_ENTMDS_MASK);
}

static void dw_hdmi_phy_enable_svsret(struct dw_hdmi *hdmi, u8 enable)
{
 hdmi_mask_writeb(hdmi, enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_SVSRET_OFFSET,
    HDMI_PHY_CONF0_SVSRET_MASK);
}

void dw_hdmi_phy_gen2_pddq(struct dw_hdmi *hdmi, u8 enable)
{
 hdmi_mask_writeb(hdmi, enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_GEN2_PDDQ_OFFSET,
    HDMI_PHY_CONF0_GEN2_PDDQ_MASK);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_gen2_pddq);

void dw_hdmi_phy_gen2_txpwron(struct dw_hdmi *hdmi, u8 enable)
{
 hdmi_mask_writeb(hdmi, enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_GEN2_TXPWRON_OFFSET,
    HDMI_PHY_CONF0_GEN2_TXPWRON_MASK);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_gen2_txpwron);

static void dw_hdmi_phy_sel_data_en_pol(struct dw_hdmi *hdmi, u8 enable)
{
 hdmi_mask_writeb(hdmi, enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_SELDATAENPOL_OFFSET,
    HDMI_PHY_CONF0_SELDATAENPOL_MASK);
}

static void dw_hdmi_phy_sel_interface_control(struct dw_hdmi *hdmi, u8 enable)
{
 hdmi_mask_writeb(hdmi, enable, HDMI_PHY_CONF0,
    HDMI_PHY_CONF0_SELDIPIF_OFFSET,
    HDMI_PHY_CONF0_SELDIPIF_MASK);
}

void dw_hdmi_phy_gen1_reset(struct dw_hdmi *hdmi)
{
 /* PHY reset. The reset signal is active low on Gen1 PHYs. */
 hdmi_writeb(hdmi, 0, HDMI_MC_PHYRSTZ);
 hdmi_writeb(hdmi, HDMI_MC_PHYRSTZ_PHYRSTZ, HDMI_MC_PHYRSTZ);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_gen1_reset);

void dw_hdmi_phy_gen2_reset(struct dw_hdmi *hdmi)
{
 /* PHY reset. The reset signal is active high on Gen2 PHYs. */
 hdmi_writeb(hdmi, HDMI_MC_PHYRSTZ_PHYRSTZ, HDMI_MC_PHYRSTZ);
 hdmi_writeb(hdmi, 0, HDMI_MC_PHYRSTZ);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_gen2_reset);

void dw_hdmi_phy_i2c_set_addr(struct dw_hdmi *hdmi, u8 address)
{
 hdmi_phy_test_clear(hdmi, 1);
 hdmi_writeb(hdmi, address, HDMI_PHY_I2CM_SLAVE_ADDR);
 hdmi_phy_test_clear(hdmi, 0);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_i2c_set_addr);

static void dw_hdmi_phy_power_off(struct dw_hdmi *hdmi)
{
 const struct dw_hdmi_phy_data *phy = hdmi->phy.data;
 unsigned int i;
 u16 val;

 if (phy->gen == 1) {
  dw_hdmi_phy_enable_tmds(hdmi, 0);
  dw_hdmi_phy_enable_powerdown(hdmi, true);
  return;
 }

 dw_hdmi_phy_gen2_txpwron(hdmi, 0);

 /*
 * Wait for TX_PHY_LOCK to be deasserted to indicate that the PHY went
 * to low power mode.
 */
 for (i = 0; i < 5; ++i) {
  val = hdmi_readb(hdmi, HDMI_PHY_STAT0);
  if (!(val & HDMI_PHY_TX_PHY_LOCK))
   break;

  usleep_range(1000, 2000);
 }

 if (val & HDMI_PHY_TX_PHY_LOCK)
  dev_warn(hdmi->dev, "PHY failed to power down\n");
 else
  dev_dbg(hdmi->dev, "PHY powered down in %u iterations\n", i);

 dw_hdmi_phy_gen2_pddq(hdmi, 1);
}

static int dw_hdmi_phy_power_on(struct dw_hdmi *hdmi)
{
 const struct dw_hdmi_phy_data *phy = hdmi->phy.data;
 unsigned int i;
 u8 val;

 if (phy->gen == 1) {
  dw_hdmi_phy_enable_powerdown(hdmi, false);

  /* Toggle TMDS enable. */
  dw_hdmi_phy_enable_tmds(hdmi, 0);
  dw_hdmi_phy_enable_tmds(hdmi, 1);
  return 0;
 }

 dw_hdmi_phy_gen2_txpwron(hdmi, 1);
 dw_hdmi_phy_gen2_pddq(hdmi, 0);

 /* Wait for PHY PLL lock */
 for (i = 0; i < 5; ++i) {
  val = hdmi_readb(hdmi, HDMI_PHY_STAT0) & HDMI_PHY_TX_PHY_LOCK;
  if (val)
   break;

  usleep_range(1000, 2000);
 }

 if (!val) {
  dev_err(hdmi->dev, "PHY PLL failed to lock\n");
  return -ETIMEDOUT;
 }

 dev_dbg(hdmi->dev, "PHY PLL locked %u iterations\n", i);
 return 0;
}

/*
 * PHY configuration function for the DWC HDMI 3D TX PHY. Based on the available
 * information the DWC MHL PHY has the same register layout and is thus also
 * supported by this function.
 */
static int hdmi_phy_configure_dwc_hdmi_3d_tx(struct dw_hdmi *hdmi,
  const struct dw_hdmi_plat_data *pdata,
  unsigned long mpixelclock)
{
 const struct dw_hdmi_mpll_config *mpll_config = pdata->mpll_cfg;
 const struct dw_hdmi_curr_ctrl *curr_ctrl = pdata->cur_ctr;
 const struct dw_hdmi_phy_config *phy_config = pdata->phy_config;

 /* TOFIX Will need 420 specific PHY configuration tables */

 /* PLL/MPLL Cfg - always match on final entry */
 for (; mpll_config->mpixelclock != ~0UL; mpll_config++)
  if (mpixelclock <= mpll_config->mpixelclock)
   break;

 for (; curr_ctrl->mpixelclock != ~0UL; curr_ctrl++)
  if (mpixelclock <= curr_ctrl->mpixelclock)
   break;

 for (; phy_config->mpixelclock != ~0UL; phy_config++)
  if (mpixelclock <= phy_config->mpixelclock)
   break;

 if (mpll_config->mpixelclock == ~0UL ||
     curr_ctrl->mpixelclock == ~0UL ||
     phy_config->mpixelclock == ~0UL)
  return -EINVAL;

 dw_hdmi_phy_i2c_write(hdmi, mpll_config->res[0].cpce,
         HDMI_3D_TX_PHY_CPCE_CTRL);
 dw_hdmi_phy_i2c_write(hdmi, mpll_config->res[0].gmp,
         HDMI_3D_TX_PHY_GMPCTRL);
 dw_hdmi_phy_i2c_write(hdmi, curr_ctrl->curr[0],
         HDMI_3D_TX_PHY_CURRCTRL);

 dw_hdmi_phy_i2c_write(hdmi, 0, HDMI_3D_TX_PHY_PLLPHBYCTRL);
 dw_hdmi_phy_i2c_write(hdmi, HDMI_3D_TX_PHY_MSM_CTRL_CKO_SEL_FB_CLK,
         HDMI_3D_TX_PHY_MSM_CTRL);

 dw_hdmi_phy_i2c_write(hdmi, phy_config->term, HDMI_3D_TX_PHY_TXTERM);
 dw_hdmi_phy_i2c_write(hdmi, phy_config->sym_ctr,
         HDMI_3D_TX_PHY_CKSYMTXCTRL);
 dw_hdmi_phy_i2c_write(hdmi, phy_config->vlev_ctr,
         HDMI_3D_TX_PHY_VLEVCTRL);

 /* Override and disable clock termination. */
 dw_hdmi_phy_i2c_write(hdmi, HDMI_3D_TX_PHY_CKCALCTRL_OVERRIDE,
         HDMI_3D_TX_PHY_CKCALCTRL);

 return 0;
}

static int hdmi_phy_configure(struct dw_hdmi *hdmi,
         const struct drm_display_info *display)
{
 const struct dw_hdmi_phy_data *phy = hdmi->phy.data;
 const struct dw_hdmi_plat_data *pdata = hdmi->plat_data;
 unsigned long mpixelclock = hdmi->hdmi_data.video_mode.mpixelclock;
 unsigned long mtmdsclock = hdmi->hdmi_data.video_mode.mtmdsclock;
 int ret;

 dw_hdmi_phy_power_off(hdmi);

 dw_hdmi_set_high_tmds_clock_ratio(hdmi, display);

 /* Leave low power consumption mode by asserting SVSRET. */
 if (phy->has_svsret)
  dw_hdmi_phy_enable_svsret(hdmi, 1);

 dw_hdmi_phy_gen2_reset(hdmi);

 hdmi_writeb(hdmi, HDMI_MC_HEACPHY_RST_ASSERT, HDMI_MC_HEACPHY_RST);

 dw_hdmi_phy_i2c_set_addr(hdmi, HDMI_PHY_I2CM_SLAVE_ADDR_PHY_GEN2);

 /* Write to the PHY as configured by the platform */
 if (pdata->configure_phy)
  ret = pdata->configure_phy(hdmi, pdata->priv_data, mpixelclock);
 else
  ret = phy->configure(hdmi, pdata, mpixelclock);
 if (ret) {
  dev_err(hdmi->dev, "PHY configuration failed (clock %lu)\n",
   mpixelclock);
  return ret;
 }

 /* Wait for resuming transmission of TMDS clock and data */
 if (mtmdsclock > HDMI14_MAX_TMDSCLK)
  msleep(100);

 return dw_hdmi_phy_power_on(hdmi);
}

static int dw_hdmi_phy_init(struct dw_hdmi *hdmi, void *data,
       const struct drm_display_info *display,
       const struct drm_display_mode *mode)
{
 int i, ret;

 /* HDMI Phy spec says to do the phy initialization sequence twice */
 for (i = 0; i < 2; i++) {
  dw_hdmi_phy_sel_data_en_pol(hdmi, 1);
  dw_hdmi_phy_sel_interface_control(hdmi, 0);

  ret = hdmi_phy_configure(hdmi, display);
  if (ret)
   return ret;
 }

 return 0;
}

static void dw_hdmi_phy_disable(struct dw_hdmi *hdmi, void *data)
{
 dw_hdmi_phy_power_off(hdmi);
}

enum drm_connector_status dw_hdmi_phy_read_hpd(struct dw_hdmi *hdmi,
            void *data)
{
 return hdmi_readb(hdmi, HDMI_PHY_STAT0) & HDMI_PHY_HPD ?
  connector_status_connected : connector_status_disconnected;
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_read_hpd);

void dw_hdmi_phy_update_hpd(struct dw_hdmi *hdmi, void *data,
       bool force, bool disabled, bool rxsense)
{
 u8 old_mask = hdmi->phy_mask;

 if (force || disabled || !rxsense)
  hdmi->phy_mask |= HDMI_PHY_RX_SENSE;
 else
  hdmi->phy_mask &= ~HDMI_PHY_RX_SENSE;

 if (old_mask != hdmi->phy_mask)
  hdmi_writeb(hdmi, hdmi->phy_mask, HDMI_PHY_MASK0);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_update_hpd);

void dw_hdmi_phy_setup_hpd(struct dw_hdmi *hdmi, void *data)
{
 /*
 * Configure the PHY RX SENSE and HPD interrupts polarities and clear
 * any pending interrupt.
 */
 hdmi_writeb(hdmi, HDMI_PHY_HPD | HDMI_PHY_RX_SENSE, HDMI_PHY_POL0);
 hdmi_writeb(hdmi, HDMI_IH_PHY_STAT0_HPD | HDMI_IH_PHY_STAT0_RX_SENSE,
      HDMI_IH_PHY_STAT0);

 /* Enable cable hot plug irq. */
 hdmi_writeb(hdmi, hdmi->phy_mask, HDMI_PHY_MASK0);

 /* Clear and unmute interrupts. */
 hdmi_writeb(hdmi, HDMI_IH_PHY_STAT0_HPD | HDMI_IH_PHY_STAT0_RX_SENSE,
      HDMI_IH_PHY_STAT0);
 hdmi_writeb(hdmi, ~(HDMI_IH_PHY_STAT0_HPD | HDMI_IH_PHY_STAT0_RX_SENSE),
      HDMI_IH_MUTE_PHY_STAT0);
}
EXPORT_SYMBOL_GPL(dw_hdmi_phy_setup_hpd);

static const struct dw_hdmi_phy_ops dw_hdmi_synopsys_phy_ops = {
 .init = dw_hdmi_phy_init,
 .disable = dw_hdmi_phy_disable,
 .read_hpd = dw_hdmi_phy_read_hpd,
 .update_hpd = dw_hdmi_phy_update_hpd,
 .setup_hpd = dw_hdmi_phy_setup_hpd,
};

/* -----------------------------------------------------------------------------
 * HDMI TX Setup
 */

static void hdmi_tx_hdcp_config(struct dw_hdmi *hdmi)
{
 u8 de;

 if (hdmi->hdmi_data.video_mode.mdataenablepolarity)
  de = HDMI_A_VIDPOLCFG_DATAENPOL_ACTIVE_HIGH;
 else
  de = HDMI_A_VIDPOLCFG_DATAENPOL_ACTIVE_LOW;

 /* disable rx detect */
 hdmi_modb(hdmi, HDMI_A_HDCPCFG0_RXDETECT_DISABLE,
    HDMI_A_HDCPCFG0_RXDETECT_MASK, HDMI_A_HDCPCFG0);

 hdmi_modb(hdmi, de, HDMI_A_VIDPOLCFG_DATAENPOL_MASK, HDMI_A_VIDPOLCFG);

 hdmi_modb(hdmi, HDMI_A_HDCPCFG1_ENCRYPTIONDISABLE_DISABLE,
    HDMI_A_HDCPCFG1_ENCRYPTIONDISABLE_MASK, HDMI_A_HDCPCFG1);
}

static void hdmi_config_AVI(struct dw_hdmi *hdmi,
       const struct drm_connector *connector,
       const struct drm_display_mode *mode)
{
 struct hdmi_avi_infoframe frame;
 u8 val;

 /* Initialise info frame from DRM mode */
 drm_hdmi_avi_infoframe_from_display_mode(&frame, connector, mode);

 if (hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_out_bus_format)) {
  drm_hdmi_avi_infoframe_quant_range(&frame, connector, mode,
         hdmi->hdmi_data.rgb_limited_range ?
         HDMI_QUANTIZATION_RANGE_LIMITED :
         HDMI_QUANTIZATION_RANGE_FULL);
 } else {
  frame.quantization_range = HDMI_QUANTIZATION_RANGE_DEFAULT;
  frame.ycc_quantization_range =
   HDMI_YCC_QUANTIZATION_RANGE_LIMITED;
 }

 if (hdmi_bus_fmt_is_yuv444(hdmi->hdmi_data.enc_out_bus_format))
  frame.colorspace = HDMI_COLORSPACE_YUV444;
 else if (hdmi_bus_fmt_is_yuv422(hdmi->hdmi_data.enc_out_bus_format))
  frame.colorspace = HDMI_COLORSPACE_YUV422;
 else if (hdmi_bus_fmt_is_yuv420(hdmi->hdmi_data.enc_out_bus_format))
  frame.colorspace = HDMI_COLORSPACE_YUV420;
 else
  frame.colorspace = HDMI_COLORSPACE_RGB;

 /* Set up colorimetry */
 if (!hdmi_bus_fmt_is_rgb(hdmi->hdmi_data.enc_out_bus_format)) {
  switch (hdmi->hdmi_data.enc_out_encoding) {
  case V4L2_YCBCR_ENC_601:
   if (hdmi->hdmi_data.enc_in_encoding == V4L2_YCBCR_ENC_XV601)
    frame.colorimetry = HDMI_COLORIMETRY_EXTENDED;
   else
    frame.colorimetry = HDMI_COLORIMETRY_ITU_601;
   frame.extended_colorimetry =
     HDMI_EXTENDED_COLORIMETRY_XV_YCC_601;
   break;
  case V4L2_YCBCR_ENC_709:
   if (hdmi->hdmi_data.enc_in_encoding == V4L2_YCBCR_ENC_XV709)
    frame.colorimetry = HDMI_COLORIMETRY_EXTENDED;
   else
    frame.colorimetry = HDMI_COLORIMETRY_ITU_709;
   frame.extended_colorimetry =
     HDMI_EXTENDED_COLORIMETRY_XV_YCC_709;
   break;
  default: /* Carries no data */
   frame.colorimetry = HDMI_COLORIMETRY_ITU_601;
   frame.extended_colorimetry =
     HDMI_EXTENDED_COLORIMETRY_XV_YCC_601;
   break;
  }
 } else {
  frame.colorimetry = HDMI_COLORIMETRY_NONE;
  frame.extended_colorimetry =
   HDMI_EXTENDED_COLORIMETRY_XV_YCC_601;
 }

 /*
 * The Designware IP uses a different byte format from standard
 * AVI info frames, though generally the bits are in the correct
 * bytes.
 */

 /*
 * AVI data byte 1 differences: Colorspace in bits 0,1 rather than 5,6,
 * scan info in bits 4,5 rather than 0,1 and active aspect present in
 * bit 6 rather than 4.
 */
 val = (frame.scan_mode & 3) << 4 | (frame.colorspace & 3);
 if (frame.active_aspect & 15)
  val |= HDMI_FC_AVICONF0_ACTIVE_FMT_INFO_PRESENT;
 if (frame.top_bar || frame.bottom_bar)
  val |= HDMI_FC_AVICONF0_BAR_DATA_HORIZ_BAR;
 if (frame.left_bar || frame.right_bar)
  val |= HDMI_FC_AVICONF0_BAR_DATA_VERT_BAR;
 hdmi_writeb(hdmi, val, HDMI_FC_AVICONF0);

 /* AVI data byte 2 differences: none */
 val = ((frame.colorimetry & 0x3) << 6) |
       ((frame.picture_aspect & 0x3) << 4) |
       (frame.active_aspect & 0xf);
 hdmi_writeb(hdmi, val, HDMI_FC_AVICONF1);

 /* AVI data byte 3 differences: none */
 val = ((frame.extended_colorimetry & 0x7) << 4) |
       ((frame.quantization_range & 0x3) << 2) |
       (frame.nups & 0x3);
 if (frame.itc)
  val |= HDMI_FC_AVICONF2_IT_CONTENT_VALID;
 hdmi_writeb(hdmi, val, HDMI_FC_AVICONF2);

 /* AVI data byte 4 differences: none */
 val = frame.video_code & 0x7f;
 hdmi_writeb(hdmi, val, HDMI_FC_AVIVID);

 /* AVI Data Byte 5- set up input and output pixel repetition */
 val = (((hdmi->hdmi_data.video_mode.mpixelrepetitioninput + 1) <<
  HDMI_FC_PRCONF_INCOMING_PR_FACTOR_OFFSET) &
  HDMI_FC_PRCONF_INCOMING_PR_FACTOR_MASK) |
  ((hdmi->hdmi_data.video_mode.mpixelrepetitionoutput <<
  HDMI_FC_PRCONF_OUTPUT_PR_FACTOR_OFFSET) &
  HDMI_FC_PRCONF_OUTPUT_PR_FACTOR_MASK);
 hdmi_writeb(hdmi, val, HDMI_FC_PRCONF);

 /*
 * AVI data byte 5 differences: content type in 0,1 rather than 4,5,
 * ycc range in bits 2,3 rather than 6,7
 */
 val = ((frame.ycc_quantization_range & 0x3) << 2) |
       (frame.content_type & 0x3);
 hdmi_writeb(hdmi, val, HDMI_FC_AVICONF3);

 /* AVI Data Bytes 6-13 */
 hdmi_writeb(hdmi, frame.top_bar & 0xff, HDMI_FC_AVIETB0);
 hdmi_writeb(hdmi, (frame.top_bar >> 8) & 0xff, HDMI_FC_AVIETB1);
 hdmi_writeb(hdmi, frame.bottom_bar & 0xff, HDMI_FC_AVISBB0);
 hdmi_writeb(hdmi, (frame.bottom_bar >> 8) & 0xff, HDMI_FC_AVISBB1);
 hdmi_writeb(hdmi, frame.left_bar & 0xff, HDMI_FC_AVIELB0);
 hdmi_writeb(hdmi, (frame.left_bar >> 8) & 0xff, HDMI_FC_AVIELB1);
 hdmi_writeb(hdmi, frame.right_bar & 0xff, HDMI_FC_AVISRB0);
 hdmi_writeb(hdmi, (frame.right_bar >> 8) & 0xff, HDMI_FC_AVISRB1);
}

static void hdmi_config_vendor_specific_infoframe(struct dw_hdmi *hdmi,
        const struct drm_connector *connector,
        const struct drm_display_mode *mode)
{
 struct hdmi_vendor_infoframe frame;
 u8 buffer[10];
 ssize_t err;

 err = drm_hdmi_vendor_infoframe_from_display_mode(&frame, connector,
         mode);
 if (err < 0)
  /*
 * Going into that statement does not means vendor infoframe
 * fails. It just informed us that vendor infoframe is not
 * needed for the selected mode. Only 4k or stereoscopic 3D
 * mode requires vendor infoframe. So just simply return.
 */
  return;

 err = hdmi_vendor_infoframe_pack(&frame, buffer, sizeof(buffer));
 if (err < 0) {
  dev_err(hdmi->dev, "Failed to pack vendor infoframe: %zd\n",
   err);
  return;
 }
 hdmi_mask_writeb(hdmi, 0, HDMI_FC_DATAUTO0, HDMI_FC_DATAUTO0_VSD_OFFSET,
   HDMI_FC_DATAUTO0_VSD_MASK);

 /* Set the length of HDMI vendor specific InfoFrame payload */
 hdmi_writeb(hdmi, buffer[2], HDMI_FC_VSDSIZE);

 /* Set 24bit IEEE Registration Identifier */
 hdmi_writeb(hdmi, buffer[4], HDMI_FC_VSDIEEEID0);
 hdmi_writeb(hdmi, buffer[5], HDMI_FC_VSDIEEEID1);
 hdmi_writeb(hdmi, buffer[6], HDMI_FC_VSDIEEEID2);

 /* Set HDMI_Video_Format and HDMI_VIC/3D_Structure */
 hdmi_writeb(hdmi, buffer[7], HDMI_FC_VSDPAYLOAD0);
 hdmi_writeb(hdmi, buffer[8], HDMI_FC_VSDPAYLOAD1);

 if (frame.s3d_struct >= HDMI_3D_STRUCTURE_SIDE_BY_SIDE_HALF)
  hdmi_writeb(hdmi, buffer[9], HDMI_FC_VSDPAYLOAD2);

 /* Packet frame interpolation */
 hdmi_writeb(hdmi, 1, HDMI_FC_DATAUTO1);

 /* Auto packets per frame and line spacing */
 hdmi_writeb(hdmi, 0x11, HDMI_FC_DATAUTO2);

 /* Configures the Frame Composer On RDRB mode */
 hdmi_mask_writeb(hdmi, 1, HDMI_FC_DATAUTO0, HDMI_FC_DATAUTO0_VSD_OFFSET,
   HDMI_FC_DATAUTO0_VSD_MASK);
}

static void hdmi_config_drm_infoframe(struct dw_hdmi *hdmi,
          const struct drm_connector *connector)
{
 const struct drm_connector_state *conn_state = connector->state;
 struct hdmi_drm_infoframe frame;
 u8 buffer[30];
 ssize_t err;
 int i;

 if (!hdmi->plat_data->use_drm_infoframe)
  return;

 hdmi_modb(hdmi, HDMI_FC_PACKET_TX_EN_DRM_DISABLE,
    HDMI_FC_PACKET_TX_EN_DRM_MASK, HDMI_FC_PACKET_TX_EN);

 err = drm_hdmi_infoframe_set_hdr_metadata(&frame, conn_state);
 if (err < 0)
  return;

 err = hdmi_drm_infoframe_pack(&frame, buffer, sizeof(buffer));
 if (err < 0) {
  dev_err(hdmi->dev, "Failed to pack drm infoframe: %zd\n", err);
  return;
 }

 hdmi_writeb(hdmi, frame.version, HDMI_FC_DRM_HB0);
 hdmi_writeb(hdmi, frame.length, HDMI_FC_DRM_HB1);

 for (i = 0; i < frame.length; i++)
  hdmi_writeb(hdmi, buffer[4 + i], HDMI_FC_DRM_PB0 + i);

 hdmi_writeb(hdmi, 1, HDMI_FC_DRM_UP);
 hdmi_modb(hdmi, HDMI_FC_PACKET_TX_EN_DRM_ENABLE,
    HDMI_FC_PACKET_TX_EN_DRM_MASK, HDMI_FC_PACKET_TX_EN);
}

static void hdmi_av_composer(struct dw_hdmi *hdmi,
        const struct drm_display_info *display,
        const struct drm_display_mode *mode)
{
 u8 inv_val, bytes;
 const struct drm_hdmi_info *hdmi_info = &display->hdmi;
 struct hdmi_vmode *vmode = &hdmi->hdmi_data.video_mode;
 int hblank, vblank, h_de_hs, v_de_vs, hsync_len, vsync_len;
 unsigned int vdisplay, hdisplay;

 vmode->mpixelclock = mode->clock * 1000;

 dev_dbg(hdmi->dev, "final pixclk = %d\n", vmode->mpixelclock);

 vmode->mtmdsclock = vmode->mpixelclock;

 if (!hdmi_bus_fmt_is_yuv422(hdmi->hdmi_data.enc_out_bus_format)) {
  switch (hdmi_bus_fmt_color_depth(
    hdmi->hdmi_data.enc_out_bus_format)) {
  case 16:
   vmode->mtmdsclock = vmode->mpixelclock * 2;
   break;
  case 12:
   vmode->mtmdsclock = vmode->mpixelclock * 3 / 2;
   break;
  case 10:
   vmode->mtmdsclock = vmode->mpixelclock * 5 / 4;
   break;
  }
 }

 if (hdmi_bus_fmt_is_yuv420(hdmi->hdmi_data.enc_out_bus_format))
  vmode->mtmdsclock /= 2;

 dev_dbg(hdmi->dev, "final tmdsclock = %d\n", vmode->mtmdsclock);

 /* Set up HDMI_FC_INVIDCONF */
 inv_val = (hdmi->hdmi_data.hdcp_enable ||
     (dw_hdmi_support_scdc(hdmi, display) &&
      (vmode->mtmdsclock > HDMI14_MAX_TMDSCLK ||
       hdmi_info->scdc.scrambling.low_rates)) ?
  HDMI_FC_INVIDCONF_HDCP_KEEPOUT_ACTIVE :
  HDMI_FC_INVIDCONF_HDCP_KEEPOUT_INACTIVE);

 inv_val |= mode->flags & DRM_MODE_FLAG_PVSYNC ?
  HDMI_FC_INVIDCONF_VSYNC_IN_POLARITY_ACTIVE_HIGH :
  HDMI_FC_INVIDCONF_VSYNC_IN_POLARITY_ACTIVE_LOW;

 inv_val |= mode->flags & DRM_MODE_FLAG_PHSYNC ?
  HDMI_FC_INVIDCONF_HSYNC_IN_POLARITY_ACTIVE_HIGH :
  HDMI_FC_INVIDCONF_HSYNC_IN_POLARITY_ACTIVE_LOW;

 inv_val |= (vmode->mdataenablepolarity ?
  HDMI_FC_INVIDCONF_DE_IN_POLARITY_ACTIVE_HIGH :
  HDMI_FC_INVIDCONF_DE_IN_POLARITY_ACTIVE_LOW);

 if (hdmi->vic == 39)
  inv_val |= HDMI_FC_INVIDCONF_R_V_BLANK_IN_OSC_ACTIVE_HIGH;
 else
  inv_val |= mode->flags & DRM_MODE_FLAG_INTERLACE ?
   HDMI_FC_INVIDCONF_R_V_BLANK_IN_OSC_ACTIVE_HIGH :
   HDMI_FC_INVIDCONF_R_V_BLANK_IN_OSC_ACTIVE_LOW;

 inv_val |= mode->flags & DRM_MODE_FLAG_INTERLACE ?
  HDMI_FC_INVIDCONF_IN_I_P_INTERLACED :
  HDMI_FC_INVIDCONF_IN_I_P_PROGRESSIVE;

 inv_val |= hdmi->sink_is_hdmi ?
  HDMI_FC_INVIDCONF_DVI_MODEZ_HDMI_MODE :
  HDMI_FC_INVIDCONF_DVI_MODEZ_DVI_MODE;

 hdmi_writeb(hdmi, inv_val, HDMI_FC_INVIDCONF);

 hdisplay = mode->hdisplay;
 hblank = mode->htotal - mode->hdisplay;
 h_de_hs = mode->hsync_start - mode->hdisplay;
 hsync_len = mode->hsync_end - mode->hsync_start;

 /*
 * When we're setting a YCbCr420 mode, we need
 * to adjust the horizontal timing to suit.
 */
 if (hdmi_bus_fmt_is_yuv420(hdmi->hdmi_data.enc_out_bus_format)) {
  hdisplay /= 2;
  hblank /= 2;
  h_de_hs /= 2;
  hsync_len /= 2;
 }

 vdisplay = mode->vdisplay;
 vblank = mode->vtotal - mode->vdisplay;
 v_de_vs = mode->vsync_start - mode->vdisplay;
 vsync_len = mode->vsync_end - mode->vsync_start;

 /*
 * When we're setting an interlaced mode, we need
 * to adjust the vertical timing to suit.
 */
 if (mode->flags & DRM_MODE_FLAG_INTERLACE) {
  vdisplay /= 2;
  vblank /= 2;
  v_de_vs /= 2;
  vsync_len /= 2;
 }

 /* Scrambling Control */
 if (dw_hdmi_support_scdc(hdmi, display)) {
  if (vmode->mtmdsclock > HDMI14_MAX_TMDSCLK ||
      hdmi_info->scdc.scrambling.low_rates) {
   /*
 * HDMI2.0 Specifies the following procedure:
 * After the Source Device has determined that
 * SCDC_Present is set (=1), the Source Device should
 * write the accurate Version of the Source Device
 * to the Source Version field in the SCDCS.
 * Source Devices compliant shall set the
 * Source Version = 1.
 */
   drm_scdc_readb(hdmi->ddc, SCDC_SINK_VERSION,
           &bytes);
   drm_scdc_writeb(hdmi->ddc, SCDC_SOURCE_VERSION,
    min_t(u8, bytes, SCDC_MIN_SOURCE_VERSION));

   /* Enabled Scrambling in the Sink */
   drm_scdc_set_scrambling(hdmi->curr_conn, 1);

   /*
 * To activate the scrambler feature, you must ensure
 * that the quasi-static configuration bit
 * fc_invidconf.HDCP_keepout is set at configuration
 * time, before the required mc_swrstzreq.tmdsswrst_req
 * reset request is issued.
 */
   hdmi_writeb(hdmi, (u8)~HDMI_MC_SWRSTZ_TMDSSWRST_REQ,
        HDMI_MC_SWRSTZ);
   hdmi_writeb(hdmi, 1, HDMI_FC_SCRAMBLER_CTRL);
  } else {
   hdmi_writeb(hdmi, 0, HDMI_FC_SCRAMBLER_CTRL);
   hdmi_writeb(hdmi, (u8)~HDMI_MC_SWRSTZ_TMDSSWRST_REQ,
        HDMI_MC_SWRSTZ);
   drm_scdc_set_scrambling(hdmi->curr_conn, 0);
  }
 }

 /* Set up horizontal active pixel width */
 hdmi_writeb(hdmi, hdisplay >> 8, HDMI_FC_INHACTV1);
 hdmi_writeb(hdmi, hdisplay, HDMI_FC_INHACTV0);

 /* Set up vertical active lines */
 hdmi_writeb(hdmi, vdisplay >> 8, HDMI_FC_INVACTV1);
 hdmi_writeb(hdmi, vdisplay, HDMI_FC_INVACTV0);

 /* Set up horizontal blanking pixel region width */
 hdmi_writeb(hdmi, hblank >> 8, HDMI_FC_INHBLANK1);
 hdmi_writeb(hdmi, hblank, HDMI_FC_INHBLANK0);

 /* Set up vertical blanking pixel region width */
 hdmi_writeb(hdmi, vblank, HDMI_FC_INVBLANK);

 /* Set up HSYNC active edge delay width (in pixel clks) */
 hdmi_writeb(hdmi, h_de_hs >> 8, HDMI_FC_HSYNCINDELAY1);
 hdmi_writeb(hdmi, h_de_hs, HDMI_FC_HSYNCINDELAY0);

 /* Set up VSYNC active edge delay (in lines) */
 hdmi_writeb(hdmi, v_de_vs, HDMI_FC_VSYNCINDELAY);

 /* Set up HSYNC active pulse width (in pixel clks) */
 hdmi_writeb(hdmi, hsync_len >> 8, HDMI_FC_HSYNCINWIDTH1);
 hdmi_writeb(hdmi, hsync_len, HDMI_FC_HSYNCINWIDTH0);

 /* Set up VSYNC active edge delay (in lines) */
 hdmi_writeb(hdmi, vsync_len, HDMI_FC_VSYNCINWIDTH);
}

/* HDMI Initialization Step B.4 */
static void dw_hdmi_enable_video_path(struct dw_hdmi *hdmi)
{
 /* control period minimum duration */
 hdmi_writeb(hdmi, 12, HDMI_FC_CTRLDUR);
 hdmi_writeb(hdmi, 32, HDMI_FC_EXCTRLDUR);
 hdmi_writeb(hdmi, 1, HDMI_FC_EXCTRLSPAC);

 /* Set to fill TMDS data channels */
 hdmi_writeb(hdmi, 0x0B, HDMI_FC_CH0PREAM);
 hdmi_writeb(hdmi, 0x16, HDMI_FC_CH1PREAM);
 hdmi_writeb(hdmi, 0x21, HDMI_FC_CH2PREAM);

 /* Enable pixel clock and tmds data path */
 hdmi->mc_clkdis |= HDMI_MC_CLKDIS_HDCPCLK_DISABLE |
      HDMI_MC_CLKDIS_CSCCLK_DISABLE |
      HDMI_MC_CLKDIS_AUDCLK_DISABLE |
      HDMI_MC_CLKDIS_PREPCLK_DISABLE |
      HDMI_MC_CLKDIS_TMDSCLK_DISABLE;
 hdmi->mc_clkdis &= ~HDMI_MC_CLKDIS_PIXELCLK_DISABLE;
 hdmi_writeb(hdmi, hdmi->mc_clkdis, HDMI_MC_CLKDIS);

 hdmi->mc_clkdis &= ~HDMI_MC_CLKDIS_TMDSCLK_DISABLE;
 hdmi_writeb(hdmi, hdmi->mc_clkdis, HDMI_MC_CLKDIS);

 /* Enable csc path */
 if (is_csc_needed(hdmi)) {
  hdmi->mc_clkdis &= ~HDMI_MC_CLKDIS_CSCCLK_DISABLE;
  hdmi_writeb(hdmi, hdmi->mc_clkdis, HDMI_MC_CLKDIS);

  hdmi_writeb(hdmi, HDMI_MC_FLOWCTRL_FEED_THROUGH_OFF_CSC_IN_PATH,
       HDMI_MC_FLOWCTRL);
 } else {
  hdmi->mc_clkdis |= HDMI_MC_CLKDIS_CSCCLK_DISABLE;
  hdmi_writeb(hdmi, hdmi->mc_clkdis, HDMI_MC_CLKDIS);

  hdmi_writeb(hdmi, HDMI_MC_FLOWCTRL_FEED_THROUGH_OFF_CSC_BYPASS,
       HDMI_MC_FLOWCTRL);
 }
}

/* Workaround to clear the overflow condition */
static void dw_hdmi_clear_overflow(struct dw_hdmi *hdmi)
{
 unsigned int count;
 unsigned int i;
 u8 val;

 /*
 * Under some circumstances the Frame Composer arithmetic unit can miss
 * an FC register write due to being busy processing the previous one.
 * The issue can be worked around by issuing a TMDS software reset and
 * then write one of the FC registers several times.
 *
 * The number of iterations matters and depends on the HDMI TX revision
 * (and possibly on the platform).
 * 4 iterations for i.MX6Q(v1.30a) and 1 iteration for others.
 * i.MX6DL (v1.31a), Allwinner SoCs (v1.32a), Rockchip RK3288 SoC (v2.00a),
 * Amlogic Meson GX SoCs (v2.01a), RK3328/RK3399 SoCs (v2.11a)
 * and i.MX8MPlus (v2.13a) have been identified as needing the workaround
 * with a single iteration.
 */

 switch (hdmi->version) {
 case 0x130a:
  count = 4;
  break;
 default:
  count = 1;
  break;
 }

 /* TMDS software reset */
 hdmi_writeb(hdmi, (u8)~HDMI_MC_SWRSTZ_TMDSSWRST_REQ, HDMI_MC_SWRSTZ);

 val = hdmi_readb(hdmi, HDMI_FC_INVIDCONF);
 for (i = 0; i < count; i++)
  hdmi_writeb(hdmi, val, HDMI_FC_INVIDCONF);
}

static void hdmi_disable_overflow_interrupts(struct dw_hdmi *hdmi)
{
 hdmi_writeb(hdmi, HDMI_IH_MUTE_FC_STAT2_OVERFLOW_MASK,
      HDMI_IH_MUTE_FC_STAT2);
}

static int dw_hdmi_setup(struct dw_hdmi *hdmi,
    const struct drm_connector *connector,
    const struct drm_display_mode *mode)
{
 int ret;

 hdmi_disable_overflow_interrupts(hdmi);

 hdmi->vic = drm_match_cea_mode(mode);

 if (!hdmi->vic) {
  dev_dbg(hdmi->dev, "Non-CEA mode used in HDMI\n");
 } else {
  dev_dbg(hdmi->dev, "CEA mode used vic=%d\n", hdmi->vic);
 }

 if ((hdmi->vic == 6) || (hdmi->vic == 7) ||
     (hdmi->vic == 21) || (hdmi->vic == 22) ||
     (hdmi->vic == 2) || (hdmi->vic == 3) ||
     (hdmi->vic == 17) || (hdmi->vic == 18))
  hdmi->hdmi_data.enc_out_encoding = V4L2_YCBCR_ENC_601;
 else
  hdmi->hdmi_data.enc_out_encoding = V4L2_YCBCR_ENC_709;

 hdmi->hdmi_data.video_mode.mpixelrepetitionoutput = 0;
 hdmi->hdmi_data.video_mode.mpixelrepetitioninput = 0;

 if (hdmi->hdmi_data.enc_in_bus_format == MEDIA_BUS_FMT_FIXED)
  hdmi->hdmi_data.enc_in_bus_format = MEDIA_BUS_FMT_RGB888_1X24;

 /* TOFIX: Get input encoding from plat data or fallback to none */
 if (hdmi->plat_data->input_bus_encoding)
  hdmi->hdmi_data.enc_in_encoding =
   hdmi->plat_data->input_bus_encoding;
 else
  hdmi->hdmi_data.enc_in_encoding = V4L2_YCBCR_ENC_DEFAULT;

 if (hdmi->hdmi_data.enc_out_bus_format == MEDIA_BUS_FMT_FIXED)
  hdmi->hdmi_data.enc_out_bus_format = MEDIA_BUS_FMT_RGB888_1X24;

 hdmi->hdmi_data.rgb_limited_range = hdmi->sink_is_hdmi &&
  drm_default_rgb_quant_range(mode) ==
  HDMI_QUANTIZATION_RANGE_LIMITED;

 hdmi->hdmi_data.pix_repet_factor = 0;
 hdmi->hdmi_data.hdcp_enable = 0;
 hdmi->hdmi_data.video_mode.mdataenablepolarity = true;

 /* HDMI Initialization Step B.1 */
 hdmi_av_composer(hdmi, &connector->display_info, mode);

 /* HDMI Initializateion Step B.2 */
 ret = hdmi->phy.ops->init(hdmi, hdmi->phy.data,
      &connector->display_info,
      &hdmi->previous_mode);
 if (ret)
  return ret;
 hdmi->phy.enabled = true;

 /* HDMI Initialization Step B.3 */
 dw_hdmi_enable_video_path(hdmi);

 if (hdmi->sink_has_audio) {
  dev_dbg(hdmi->dev, "sink has audio support\n");

  /* HDMI Initialization Step E - Configure audio */
  hdmi_clk_regenerator_update_pixel_clock(hdmi);
--> --------------------

--> maximum size reached

--> --------------------