Помощь DLE - удаления дубликатов новостей.

[steop4k]

Всем привет!
Если не секрет, как можно удалить повторные новость на ДЛЕ?
Поиск юзал но не нашел ничего внятного, может плохо искал.
Думаю тема многих интересует.

 

[wmaximum]

Для удаления по одинаковым заголовкам я использовал скрипт.

<?
$user='пользователь БД';
$pass='пароль к БД';
$base='имя БД';
$rest=1;

$tip='title';
$pole='dle_post';
$info=0;

$link = mysql_connect("localhost", "$user", "$pass") 
or die (mysql_error());
mysql_select_db ("$base") or die (mysql_error());

$sql = "SELECT $tip, id FROM $pole";
$result = mysql_query($sql);
while ($r = mysql_fetch_assoc($result))
{
if($real[$r[$tip]])
{
if($rest)
{
mysql_query("DELETE FROM $pole WHERE id=$r[id]");
$info++;
}
else
{
$info.= $r[$tip]."n";
}
}
else
{
$real[$r[$tip]]=$r[id];
}
}
echo "Удалено <b>".$info."</b> дубляжей.<br />";
if($info == 0)echo "Вы хорошо следите за Вашим сайтом!";
else echo "Больше внимания уделяйте Вашему сайту. Следите за мусором!";
mysql_close($link);
?>

Пробуй.

 

[steop4k]

Спасибо протестирую на локал хосте посмотрим как работает

 

[kl3vO]

Для удаления по одинаковым заголовкам я использовал скрипт.

<?
$user='пользователь БД';
$pass='пароль к БД';
$base='имя БД';
$rest=1;
$tip='title';
$pole='dle_post';
$info=0;
$link = mysql_connect("localhost", "$user", "$pass") 
or die (mysql_error());
mysql_select_db ("$base") or die (mysql_error());
$sql = "SELECT $tip, id FROM $pole";
$result = mysql_query($sql);
while ($r = mysql_fetch_assoc($result))
{
if($real[$r[$tip]])
{
if($rest)
{
mysql_query("DELETE FROM $pole WHERE id=$r[id]");
$info++;
}
else
{
$info.= $r[$tip]."n";
}
}
else
{
$real[$r[$tip]]=$r[id];
}
}
echo "Удалено <b>".$info."</b> дубляжей.<br />";
if($info == 0)echo "Вы хорошо следите за Вашим сайтом!";
else echo "Больше внимания уделяйте Вашему сайту. Следите за мусором!";
mysql_close($link);
?>

Пробуй.

Да не работает...... этот....

 

[mihan]

Для удаления по одинаковым заголовкам я использовал скрипт.

<?
$user='пользователь БД';
$pass='пароль к БД';
$base='имя БД';
$rest=1;
$tip='title';
$pole='dle_post';
$info=0;
$link = mysql_connect("localhost", "$user", "$pass") 
or die (mysql_error());
mysql_select_db ("$base") or die (mysql_error());
$sql = "SELECT $tip, id FROM $pole";
$result = mysql_query($sql);
while ($r = mysql_fetch_assoc($result))
{
if($real[$r[$tip]])
{
if($rest)
{
mysql_query("DELETE FROM $pole WHERE id=$r[id]");
$info++;
}
else
{
$info.= $r[$tip]."n";
}
}
else
{
$real[$r[$tip]]=$r[id];
}
}
echo "Удалено <b>".$info."</b> дубляжей.<br />";
if($info == 0)echo "Вы хорошо следите за Вашим сайтом!";
else echo "Больше внимания уделяйте Вашему сайту. Следите за мусором!";
mysql_close($link);
?>

Пробуй.

Хм...попробовал скрипт, вроде работает. Только есть одна непонятка: сам скрипт написал в конце работы, что удалил 136 дубликатов, а по админке DLE видно, что новостей около 3000 исчезло. Вот и пойми теперь чего он там наудалял

 

[oncat]

О, а я давно себе голову ломал, чем бы почистить архивы варезников, а тут такое простое решение. Просто отлично.
Вопрос. А вот под Joomla можно его подстроить? Там префиксы поменять и т.д. Вообще возможно такое в принципе?

 

[steop4k]

у меня заработала на ура, удалила 1400 дублей

 

[-=ber$erk=-]

а кто его может подкорректировать чтоб он считывал данные из конфигов дле?
ужасно лень для каждого сайта прописывать руками базу/юзера/пароль
а так кинул в корень, поставил на крон и отдыхай

 

[komyak]

ХЗ, вроде должен работать:

<?php
define ( "DATALIFEENGINE", true );
include( "./engine/classes/mysql.class.php" );
include( "./engine/data/dbconfig.php" );

$rest = 1;
$tip = 'title';
$pole = PREFIX . '_post';
$info = 0;
$link = mysql_connect( DBHOST, DBUSER, DBPASS )
or die ( mysql_error() );
mysql_select_db ( DBNAME ) or die ( mysql_error() );
$sql = "SELECT $tip, id FROM $pole";
$result = mysql_query( $sql );
while ( $r = mysql_fetch_assoc( $result ) ) {
	if ( $real[$r[$tip]] ) {
		if ( $rest ) {
			mysql_query( "DELETE FROM $pole WHERE id=$r[id]" );
			$info++;
		} else {
			$info .= $r[$tip] . "n";
		} 
	} else {
		$real[$r[$tip]] = $r[id];
	} 
} 
echo "Удалено <b>" . $info . "</b> дубляжей.<br />";
if ( $info == 0 )echo "Вы хорошо следите за Вашим сайтом!";
else echo "Больше внимания уделяйте Вашему сайту. Следите за мусором!";
mysql_close( $link );

?>

Добавлено через 2 минуты
Функция уникальности(да простит меня её автор

<?
function d_CheckUnique($title)
	{
//Valar
	$checked_one = mysql_query("SELECT COUNT(*) FROM `".PREFIX."_post` WHERE `title` = '".mysql_real_escape_string($title)."'");
	if ($checked_one === false or mysql_result($checked_one, 0) === '0') return true;
	else return false;
	}
?>

Легко можно к грабберу прикрутить.

 

[NaiZer]

такой исключительно для варезников подойдет. Хорошо бы придумали, что бы контент проверял. Только что бы не один в один, а так сказать на похожесть и предлагал просмотреть или удалить