udev-node: optimize device node symlink creation

If multiple devices requested the same device node symlink with the same
priority, then previously we read O(N^2) of files saved in
/run/udev/links.

This makes if the requested symlink already exists with equal or higher
priority, then the symlink is kept, and skip to read all existing files,
except for one related to the current device node, in /run/udev/links.
Hence, the total amount of file read becomes O(N).

This improves performance of testcase_simultaneous_events_2 added by the
previous commit about 30%.
Before (32.8 sec):
```
 ## 3 iterations start: 11:13:44.690953163
 ## 3 iterations end: 11:14:17.493974927
```
After (23.8 sec):
```
 ## 3 iterations start: 11:17:53.869938387
 ## 3 iterations end: 11:18:17.624268345
```

This is based on the idea and analysis by Franck Bui.

Replaces #25839.

Co-authored-by: Franck Bui <fbui@suse.com>

it.po: minor updates

Merge pull request #28020 from DaanDeMeyer/followups

Followups

Merge pull request #27952 from mrc0mmand/drop-TEST-61

test: merge TEST-61-UNITTESTS-QEMU with TEST-02-UNITTESTS

Merge pull request #27977 from DaanDeMeyer/update-mkosi

Update mkosi

man: document "s" is default --vacuum-time= suffix

rm-rf: Fix assertion

This doesn't cover every case but cases where people try to do
rm_rf(dir_fd, ".") are covered by unlinkat() simply failing.

fd-util: Add extra shortcut to path_is_root_at()

btrfs-util: Drop redundant parentheses

repart: Store dm_name in DecryptedPartitionTarget

This means we don't have to do a fallible allocation in the
DecryptedPartitionTarget destructor. Also use log_warning_error_errno()
for the failure we ignore in the destructor.

mkosi: Remove explicit /testok check

vsock should work properly after the latest release of mkosi. But
to make sure it works, let's exit with 123 in case of success and
check for that in Github Actions.

mkosi: Update to latest

We update our configuration to replace the removed
RepositoryDirectories= option with the new PackageManagerTrees=
option.

mkosi: Make sure we build custom kernels with EROFS support

mkosi: Add bpftool to final image

Useful for debugging bpf.

mkosi: Add socat to the final image

Useful for debugging vsock stuff

Merge pull request #28010 from DaanDeMeyer/vsock-type

Vsock improvements

udevadm-control: fix error message

Extracted from #25523 by Lennart.

sd-daemon: Add vsock fallback to SOCK_STREAM

SOCK_SEQPACKET is only supported on recent kernels. Let's add a
fallback to SOCK_STREAM if it is not supported.

To accomodate SOCK_STREAM, we also modify
pid_notify_with_fds_internal() to do sendmsg() in a loop as with
SOCK_STREAM, sendmsg() is not guaranteed to write all data in a single
syscall or fail otherwise.

sd-daemon: Use socket type from vsock address if set

If a socket type is explicitly provided in the vsock address, let's
make sure we try only that socket type.

socket-util: Allow specifying socket type in vsock address

socket: bump listen() backlog to INT_MAX everywhere

This is a rework of #24764 by Cristian Rodríguez
<crodriguez@owncloud.com>, which stalled.

Instead of assigning -1 we'll use a macro defined to INT_MAX however.

Merge pull request #28014 from bluca/portable_fixes

portabled fixes

Merge pull request #28017 from poettering/link-tmpfile-flags

teach link_tmpfile_at() to properly sync

portable: make sure to fsync after extracting/copying

Just in case we are on a flimsy filesystem/disk

test: re-enable TEST-02 on ppc64le

test: make sure ping works for unprivileged users

test: copy file xattrs (if any) as well

test: merge TEST-61-UNITTESTS-QEMU with TEST-02-UNITTESTS

The test was originally introduced for Ubuntu CI, as it uses
PREFER_NSPAWN=1, but it was subsequently disabled two years ago [0], so
it was pretty much useless. Let's merge it into TEST-02 and tweak it a
bit to run only certain tests under QEMU when $TEST_PREFER_NSPAWN is
set.

[0] b152adbfa9b708dade8559b9962241902bf2eb7c

proc-cmdline: parse the whole /proc/cmdline

The kernel command line may contain newlines which kernel happily
accepts, but we'd ignore everything past the first newline. Let's fix
that by replacing read_one_line_file() with read_full_file().

tree-wide: start properly syncing at various places we so far didn't

Let's better be safe than sorry, and install files fully safely now that
is is easy.

coredump: port over code to new LINK_TMPFILE_SYNC flag

tmpfile-util: add new LINK_TMPFILE_SYNC flag for syncing properly before/after linking in the file

This syncs the data before linking it in, and both data + dir once done.
This should give us proper semantics for installing files safely into
the fs.

tmpfile-util: turn last parameter of link_tmpfile() into a proper flags

This changes a boolean param into a proper bitflag field.

Given this only defines a single flag for now this doesn't look like
much of an improvement. But we'll add another flag shortly, where it
starts to make more sense.

portable: do not extract empty unit files

Bare minimum sanity check, an empty unit is an invalid unit so
skip it early.

update TODO

boot: Unify protocol opening

We are using HandleProtocol everywhere except in these few cases. This
unifies on HandleProtocol as it is simpler to use and equivalent to
OpenProtocol.

The only difference between the two is that OpenProtocol attributes the
opened protocol to a firmware-owned handle instead of our image handle.
This has no real use for regular UEFI applications as any protocols
opened via BY_HANDLE or GET_PROTOCOL is not required to be closed. In
fact, when a protocol is uninstalled it will do nothing more than reduce
the open count for these.

man: explain timesyncd epoch mtime touch files in a bit more detail

Let's mention what /usr/lib/clock-epoch precisely does, and underline we
only *advance* the time based on it.

Inspired by Darkdragon-001's #23214.

Replaces #23214

Merge pull request #27989 from poettering/message-append-string-set

common helpers for serializing Set of strings into bus message

bus-util: add bus_property_get_string_set() helper

This is a common implementation of a property getter for a Set of
strings.

bus-util: add bus_message_append_string_set() helper

This new helper adds all strings from a Set object as a string array to
a message.

Various places where we have similar code are then ported over to this.

test: drop test for IFLA_NUM_RX_QUEUES

The attribute is not included in the netlink message if the kernel
built with CONFIG_RPS disabled.

Fixes #27969.

meson: add systemd.pc and udev.pc to 'devel' target/tag

Same as the other pkg-config files, it is useful to install these in a specific
target that doesn't require compiling anything

test: make coverage runs happy again

Merge pull request #27980 from bluca/tests

add unit tests for *DirectorySymlink= and deserialize_strv helper

execute: fix minor type confusion

The .gl_pathc field is size_t, hence count in size_t too, to not
accidentally drop 32 of 64bits on the floor.

hwdb: fix arrow keys on HP Elite Dragonfly G3

battery-util: debug log when we're unsure about the battery level

man: 'flag' parameter in portable1 spec is now used

It has been used for a while, and it is described fully a couple of
paragraphs below, but this snippet was not deleted.

tree-wide: fix typos of "boottime"/"BOOTTIME"

serialize: add deserialize_strv helper

test-execute: add unit tests for *DirectorySymlink=

xdg-autostart-generator: extend start timeout

The current start + stop timeouts for xdg autostart files are *very*
short with 5s. On a busy system this might be too easy to hit even in
unintended case.

Apparently, the intention here was to cut the shutdown logic short.
(https://github.com/systemd/systemd/issues/27919#issuecomment-1580576178)
Let's hence stick to the very short timeout for that (under the
assumption that apps are written in a safe enough style to not lose data
if killed too early). But for starting XGD autostrat services, use our
regular timeouts.

See: #27919

boot: Fix memory leak

Merge pull request #26059 from DaanDeMeyer/cred-glob

creds: Add ImportCredential=

Merge pull request #26848 from yuwata/kernel-install

kernel-install: rewrite in C

integritysetup: support mode=(journal|bitmap|direct)

Add a parameter to the integritytab file to set the mode in which to
open the integrity volume. The mode can be journaled (the default),
bitmap without a journal, or direct mode without a journal or a bitmap.

This change removes the `no-journal' option because it is redundant,
being replaced with `mode=direct'.

Supercedes commit bcc1ee56c, from a week ago, which implemented
`no-journal'.

Resolves #27587

man/os-release: Add VENDOR_NAME= and VENDOR_URL= keys to os-release

These will be used in UIs to refer to the company or organization which
produces the OS separately from referring to the OS itself.

Signed-off-by: Philip Withnall <pwithnall@endlessos.org>
Fixes: #27777

man: document that "systemctl mask" doesn't work for units whose file is in /etc

Fixes: #27965

Merge pull request #27712 from ddstreet/tpm2_simplify_srk

Tpm2 simplify srk

ac-power: fix a typo

man: reference naming of triggered services of timer unit

Fixes: #27116

Merge pull request #27968 from poettering/may-gc-tweaks

pid1: some minor GC logic tweaks

Merge pull request #27961 from poettering/journalctl-user-unit-man-fix

journalctl: fix --user when invoked by system users

units: Use ImportCredential= where applicable

creds: Add ImportCredential=

ImportCredential= takes a credential name and searches for a matching
credential in all the credential stores we know about it. It supports
globs which are expanded so that all matching credentials are loaded.

tpm2: add tpm2_get_legacy_template() and tpm2_get_srk_template()

Add functions to get either the 'legacy' or standard SRK template, for RSA or
ECC. The 'legacy' templates are those used with earlier code, where a transient
key was created to use for tpm sealing; the standard SRK is the persistent
shared key as defined in TCG guidance docs.

This also replaces tpm2_get_primary_template() with the new functions; that
function's use of flags is confusing and unnecessary.

tpm2: add tpm2_read_public()

tpm2: add tpm2_get_capability_handle(), tpm2_esys_handle_from_tpm_handle()

Add tpm2_get_capability_handle() to query if a "TPM handle" (meaning, a
location/address in TPM storage) is populated in the TPM, and
tpm2_get_capability_handles() to query for a specific number of handles.

Add tpm2_esys_handle_from_tpm_handle() to create an "esys handle" (an opaque
reference for use with the TPM EAPI that represents a TPM handle address) for an
existing TPM handle.

Since the TPM handle already exists in the TPM, this also also requires
updating the cleanup code for Tpm2Handle objects to close the object (free its
resources only from the EAPI code, but leave the handle in the TPM) instead of
flush the object (which frees its EAPI resources and removes it from the TPM).

execute: Make credential_search_path() more flexible

Let's also allow looking up only the encrypted credential search
path.

core: do not GC units/jobs that are in the D-Bus queue

Let's make sure that D-Bus messages are always sent out when pending,
before we might GC a unit/job.

This is kinda a follow-up for 8db998981a4fefd0122bcf5f965726b63c9045c2,
and a similar logic really applies: GC should only be done if we
processed everything else, generated evertyhing else and really don't
need it anymore.

unit: don't gc unit in oom queue

This is a follow-up for 8db998981a4fefd0122bcf5f965726b63c9045c2, and
follows a similar logic: a pending OOM event really trumps everything:
we should not GC a unit while it is pending.

man: document how calendar times catch up after system suspend/hibernation

Fixes: #26166

update TODO

man: document that journalctl --user requires Storage=persistent

Fixes: #25061

sd-journal: when SD_JOURNAL_CURRENT_USER is set, and called from system UID, imply SD_JOURNAL_SYSTEM

Fixes: #26742 #23679

journald: move uid_for_system_journal() to uid-alloc-range.h

Let's move this helper call from journald specific code to src/basic/,
so that we can use it from sd-journal.

While we are at it, slightly extend it to also cover container uids,
which are also routed to the system journal now.

This places the call in uid-alloc-range.[ch] which contains similar
functions that match UID ranges for specific purposes.

shared: move uid-alloc-range.[ch] from src/shared/ → src/basic/

This way we can use it in libsystemd

man: suffix --unit with an equal sign, since it expects an argument

As per our usual syntax in the docs.

tpm2: replace _cleanup_tpm2_* macros with _cleanup_()

Remove _cleanup_tpm2_context_ and _cleanup_tpm2_handle_ macros, replacing their
use with _cleanup_(tpm2_context_unrefp) and _cleanup_(tpm2_handle_freep),
respectively.

man: drop documentation of internal lookup flags

This removes documentation of SD_RESOLVED_REQUIRE_PRIMARY and
SD_RESOLVED_CLAMP_TTL, which are internal flags, and not usable from
outside of resolved. They are refused by D-Bus APIs, for a reason.

Various other fixes/clean-ups of the relevant docs (including reordering
of the flags docs by "grouping" rather than bit values).

Fixes: #26619

Merge pull request #27958 from mrc0mmand/test-functions-tweaks

test: a couple of assorted test-functions tweaks

pam_systemd_home: suppress LOG_DEBUG msgs if debugging is off

This is a "sequel" to commit 2675747f3cdd6f1e6236bbb2f79abfa53fb307f1 .

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2210770

preset: enable systemd-networkd-wait-online.service by default

As #25459 points out our default preset is contradictory. Let's fix
that.

This enables systemd-networkd-wait-online.service, as we enable
systemd-networkd.service which enables that anyway.

This is safe since network-online.target should not be pulled in by
default.

Fixes: #25459

Merge pull request #27960 from DaanDeMeyer/update-mkosi

mkosi: Update to latest

test: wrap agetty & getfacl when running with sanitizers

The list is getting slightly ridiculous.

mkosi: Update to latest

mkosi's match syntax was changed so we update our config files to
use the new match syntax which mimicks the systemd condition syntax.

test: drop $SKIP_INITRD

It's pointless nowadays, since we always need an initrd for the test VMs
as we require modules that are usually not compiled in the kernel.

test: rebuild the ldconfig cache after changing its configuration

Follow-up to ba79e8c2cc.

man: mention that OnCalendar= combines well with systemd-time-wait-sync.service

Fixes: #23440

Fix zsh completion for "localectl set-locale"

When running:

    $ localectl set-locale LC_MESSAGES=<TAB>

One is prompted with a list of locale fields instead of the list of
valid locales. This is because by calling "compset -P1 '*='", we modify
the $PREFIX special parameter before testing whether it contains an
equal sign. Therefore

    if [[ -prefix 1 *\= ]]

is always false, and we always suggest a list of locale fields to the
user.

Fixes: #27955

kbd-model-map: change the order of Hungarian keymaps

This changes the console layout from 'hu101' to 'hu' when the user calls 'localectl set-x11-keymap hu', because 'hu' is the expected layout instead of 'hu101' for most users.

Merge pull request #27629 from ddstreet/tpm2_verify_sym_params

Tpm2 verify sym params

Merge pull request #27882 from DaanDeMeyer/repart-truncate

copy: Add COPY_TRUNCATE

resolved: add comment clarifying why we decompress DNS names when parsing SRV

Fixes: #22838

man: document which IP ports resolved listens on, and what for

Fixes: #23045

Merge pull request #27885 from DaanDeMeyer/please-dont-make-me-write-more-openat-helpers

Add more openat like helper functions

pam: add call to pam_umask

Setting umask for user sessions via UMASK setting in /etc/login.defs is
a well-known feature. Let's make sure that user manager also runs with
this umask value.

Follow-up for 5e37d1930b41b24c077ce37c6db0e36c745106c7.

sd-login: add sd_session_get_leader interface

Merge pull request #27925 from DaanDeMeyer/repart-encrypt

repart: Do online encryption when loop devices are available

units: change TimeoutSec=0 to TimeoutSec=infinity

Follow-up for #27936

Let's also update a bunch of static unit files, matching what we just
did for the generators.